📱ScrapeGraphAI.

ScrapeGraphAI – это библиотека на Python для веб-скрейпинга, которая использует LLM и логику прямых графов для создания скрейпинговых пайплайнов для веб-сайтов и локальных документов (XML, HTML, JSON и т.д.).

Просто укажите, какую информацию вы хотите извлечь, и библиотека сделает все за вас!

🔗Использование:
Существует несколько стандартных пайплайнов для извлечения информации с веб-сайта (или локального файла):

🔹 SmartScraperGraph: одностраничный скрейпер, который требует только пользовательского запроса и исходного файла;

🔹 SearchGraph: многопостраничный скрейпер, который извлекает информацию из топ n результатов поиска в поисковой системе;

🔹 SpeechGraph: одностраничный скрейпер, который извлекает информацию с веб-сайта и генерирует аудиофайл;

🔹 ScriptCreatorGraph: одностраничный скрейпер, который извлекает информацию с веб-сайта и генерирует Python-скрипт;

🔹 SmartScraperMultiGraph: многопостраничный скрейпер, который извлекает информацию с нескольких страниц по одному запросу и списку источников;

🔹 ScriptCreatorMultiGraph: многопостраничный скрейпер, который генерирует Python-скрипт для извлечения информации с нескольких страниц по одному запросу и списку источников.

Можно использовать различные LLM через API, такие как OpenAI, Groq, Azure и Gemini, или локальные модели, используя Ollama.

✅Начните пользоваться ScrapeGraphAI уже сегодня и упростите процесс извлечения данных!

#ScrapeGraphAI #WebScraping #Python #DataExtraction #AI #MachineLearning #BigData #Automation #Tech #Innovation #LLM #APIs #OpenAI #Azure #Groq #Gemini #Ollama

📱Ссылка на репозиторий:
https://github.com/VinciGit00/Scrapegraph-ai

📱Diagrams.

Diagrams — это инструмент, который позволяет создавать диаграммы архитектуры облачных систем с помощью Python-кода.

✅Он был создан для быстрого прототипирования новой архитектуры систем без использования инструментов для дизайна. Также можно описывать или визуализировать существующую архитектуру системы.

🔧Diagrams поддерживает основные облачные провайдеры, включая AWS, Azure, GCP, Kubernetes, Alibaba Cloud, Oracle Cloud и другие. Также доступны On-Premise узлы, SaaS и основные фреймворки и языки программирования.

📌Где используется Diagrams?

🔘Apache Airflow — самый популярный оркестратор рабочих процессов данных. Airflow использует Diagrams для генерации архитектурных диаграмм в своей документации.

🔘Cloudiscovery помогает анализировать ресурсы в вашем облаке (AWS/GCP/Azure/Alibaba/IBM). Он позволяет создавать диаграмму существующей облачной инфраструктуры на основе библиотеки Diagrams.

🔘Airflow Diagrams — плагин для Airflow, который позволяет легко визуализировать ваши DAGs на уровне сервисов от таких провайдеров, как AWS, GCP, Azure и другие, с помощью диаграмм.

#Diagrams #CloudArchitecture #Python #AWS #Azure #GCP #Kubernetes #DevOps #SaaS #Программирование #АрхитектураСистем #ИТ #Airflow #Cloudiscovery #DAGs

📱Ссылка на репозиторий:
https://github.com/mingrammer/diagrams