ScrapeGraphAI – это библиотека на Python для веб-скрейпинга, которая использует LLM и логику прямых графов для создания скрейпинговых пайплайнов для веб-сайтов и локальных документов (XML, HTML, JSON и т.д.).
Просто укажите, какую информацию вы хотите извлечь, и библиотека сделает все за вас!
Существует несколько стандартных пайплайнов для извлечения информации с веб-сайта (или локального файла):
🔹 SmartScraperGraph: одностраничный скрейпер, который требует только пользовательского запроса и исходного файла;
🔹 SearchGraph: многопостраничный скрейпер, который извлекает информацию из топ n результатов поиска в поисковой системе;
🔹 SpeechGraph: одностраничный скрейпер, который извлекает информацию с веб-сайта и генерирует аудиофайл;
🔹 ScriptCreatorGraph: одностраничный скрейпер, который извлекает информацию с веб-сайта и генерирует Python-скрипт;
🔹 SmartScraperMultiGraph: многопостраничный скрейпер, который извлекает информацию с нескольких страниц по одному запросу и списку источников;
🔹 ScriptCreatorMultiGraph: многопостраничный скрейпер, который генерирует Python-скрипт для извлечения информации с нескольких страниц по одному запросу и списку источников.
Можно использовать различные LLM через API, такие как OpenAI, Groq, Azure и Gemini, или локальные модели, используя Ollama.
#ScrapeGraphAI #WebScraping #Python #DataExtraction #AI #MachineLearning #BigData #Automation #Tech #Innovation #LLM #APIs #OpenAI #Azure #Groq #Gemini #Ollama
https://github.com/VinciGit00/Scrapegraph-ai
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4⚡2👍1🤔1