Технозаметки Малышева
13.2K subscribers
5.58K photos
2.12K videos
43 files
5.52K links
Новости инноваций из мира Искусственного Интеллекта. 🤖 [РКН: 7021469833 ]

Всё об ИИ, ИТ трендах и Технологической Сингулярности.

🤖: @ai_gptfreebot [бесплатный бот]
✍️: @tsingular_bot [каталог ботов и курсов]

💸: https://pay.cloudtips.ru/p/c8960bbb
Download Telegram
Neo4j - GraphRAG для генеративного ИИ

Neo4j представила инструментарий GraphRAG для разработки приложений генеративного ИИ.

Ключевые компоненты:
• LLM Knowledge Graph Builder: формирует структурированный граф из неструктурированных данных.
• NeoConverse: генерирует и выполняет Cypher-запросы на основе пользовательских вопросов.
• Интеграции с LangChain, LlamaIndex, Haystack и облачными сервисами Google, AWS, Azure.

Экосистема позволяет улучшить качество ответов и прозрачность в GenAI-приложениях.

Доступны обучающие ресурсы, включая курс по графам знаний от Deeplearning AI.

Интересный готовый инструмент по построению графовых баз знаний для LLM.
Под капотом векторный кросс-поиск по связям и автогенерация cypher запросов (аналог SQL для графов)

#Neo4j #GraphRAG #KnowledgeGraphs
-------
@tsingular
⚡2
This media is not supported in your browser
VIEW IN TELEGRAM
🧠 Урок по GraphRAG на Google Spanner и LangChain

Интересный урок про Google Spanner Graph для создания GraphRAG-приложений. Полезно, когда нужно извлекать не только контент, но и понимать связи между данными!

В примере классический RAG находит по запросу "нужен дрон для начинающих" только основную информацию о дроне SkyHawk Zephyr:
- Цена $129.99
- Что подходит для начинающих
- Основные характеристики


А вот GraphRAG выдаёт намного больше полезного:
- Те же данные о базовой модели
- Текущую акцию ($109.99 вместо $129.99)
- Доступные бандлы (Starter Package за $129.99 и Explorer Package за $179.99)
- Совместимые аксессуары (Extended Battery, Propeller Guards)
- Возможность апгрейда до модели Zephyr 2.0


Техническая начинка:
Проект строится на трёх блоках:
1. Spanner Graph — база данных от Google с поддержкой графов
2. LangChain — для построения RAG-пайплайнов
3. LLMGraphTransformer — автоматически превращает документы в графовые структуры

Техпроцесс:
Документы → LLMGraphTransformer → Граф с узлами и связями → Поиск по графу → Ответ LLM


Полезные библиотеки:
- langchain-google-spanner — интеграция с Spanner
- langchain-experimental для графовых трансформеров
- spanner-graph-notebook — визуализация

Примеры для бизнеса:
- Интернет-магазины: покупатель видит не только товар, но и совместимые аксессуары, бандлы, акции
- CRM: можно анализировать не только клиента, но и его связи с другими людьми/компаниями
- Рекомендательные системы: понимание контекста на более глубоком уровне

Классический RAG хорош, но GraphRAG круче, когда важны взаимосвязи между сущностями. Правда, технология ещё сыровата — приходится вручную фильтровать некорректные связи, которые создаёт LLM при преобразовании документов.

Не факт, что вы будете строить решение именно на Гугле, но урок очень наглядный. С примерами и визуальным рядом. Поможет разобраться.

GitHub

#GraphRAG #GoogleSpanner #LangChain #обучение #RAG
———
@tsingular
👍10✍4⚡2❤1
Graph-R1: агентная GraphRAG через обучение с подкреплением

Исследователи представили Graph-R1 — новый подход к GraphRAG, который превращает поиск информации в интерактивный процесс.

Если у вас избыточно GPU, то вы можете вместо статичного извлечения данных использовать обучение с подкреплением для многоэтапного взаимодействия агента с графом знаний.

В основе — легковесная гиперграф-конструкция и адаптивный поиск. Агент учится находить релевантную информацию через пробы и ошибки, улучшая точность извлечения данных.

Эксперименты показали повышение качества генерации и эффективности поиска по сравнению с традиционными chunk-based методами.

Система особенно эффективна для сложных многошаговых запросов.

Короче такой вариант на тему агентного RAGа.
Можно еще добавить генерацию уточняющих вопросов от RAG системы (что этот нигга себе позволяет? :) ).

#GraphRAG #RLGraphRAG #hypergraph
———
@tsingular
👍5✍4⚡3❤‍🔥1🤔1
GraphRAG с Qdrant и Neo4j

Обычный RAG может терять связи между фактами из разных документов.

GraphRAG решает проблему связанности атомарных фактов через граф знаний.

Qdrant изложил детальную пошаговую инструкцию как создать, наполнить и привязать graphRAG Neo4J к своей векторной базе для повышения качества ответов.

LLM, таким образом, получает не разрозненные куски текста, а структурированный контекст с графом.

Архитектура двухэтапная:
- Загрузка: LLM парсит текст в узлы и рёбра графа → Neo4j хранит связи, Qdrant — эмбеддинги

- Поиск: векторный поиск находит стартовые точки → Cypher-запрос вытаскивает подграф → всё идёт в промпт

Интересно, как скоро Qdrant добавят у себя поддержку GQL какой-нибудь, вроде того же cypher чтобы не держать 2 базы одновременно.

#GraphRAG #Qdrant #Neo4j #обучение
———
@tsingular
👍8✍4❤1⚡1
Memgraph GraphRAG: граф-база для ИИ-приложений

Наткнулся на графовую opensource базу под ИИ RAGи - Memgraph позиционирует себя как основу для GraphRAG-приложений с миллионами узлов и расчётами в реальном времени.

Новая функция векторного поиска объединяет семантическую близость с графовым обходом. Алгоритмы Community Detection (Louvain, Leiden), PageRank и траверсы помогают ИИ отвечать на основе структурированных связей.

GraphChat переводит вопросы на естественном языке в Cypher-запросы и возвращает ответ. Есть интеграция с LangChain и LlamaIndex.

Reasoning Graph автоматически выбирает метод поиска — векторный, графовый или многоступенчатый — анализируя запрос и структуру данных.

Векторный поиск выигрывает на простых запросах (F1 ~72%), а графовый — на сложных (F1 ~67%).

Как альтернатива Neo4J.

#Memgraph #GraphRAG #Cypher
———
@tsingular
2👍8❤2✍1🆒1
Semantica для GraphRAG

Интересный фреймворк для GraphRAG-систем.

Превращает неструктурированные данные в графы знаний для агентов и мультиагентных систем.

Основные фишки:
- Гибридный поиск: векторы + граф траверсал
- Автогенерация OWL онтологий через 6-этапный LLM пайплайн с валидацией HermiT/Pellet
- Поддержка разнообразных форматов: PDF, DOCX, HTML, JSON, CSV, базы, стримы
- Постоянная память для агентов с ContextGraph и ContextRetriever
- Поддержка 100+ LLM через LiteLLM, Groq, OpenAI, HuggingFace
- Дедупликация сущностей через Jaro-Winkler, детект конфликтов

#Semantica #GraphRAG
———
@tsingular
1✍10⚡2
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Запустили с Молти «Гибридную Фабрику Знаний»


Короче, решил прокачать Молти ещё дальше векторами и графом.

В итоге за 30 минут мы собрали монструозную архитектуру для точного извлечения смыслов из огромных массивов данных.
Отработали на серии из 5 книг, которые превратили в единую систему.

Что мы навертели под капотом:

🔹 Гибридный поиск (Qdrant + BM25)
Мы не верим только «смысловым» векторам — они часто мажут. Поэтому Молти выстроил двойной индекс в Qdrant. Плотные векторы ловят контекст, а BM25 мертвой хваткой цепляется за редкие имена и уникальные термины. Теперь ни одна деталь не пролетает мимо.

🔹 Графовый движок (Memgraph)
Весь текст мы пропускаем через «сито» из субагентов-аналитиков на базе opencode. Они вытаскивают сущности и связи, выстраивая в Memgraph живую карту отношений. Мы видим не просто наборы слов, а жесткую структуру: кто на кого повлиял, какой артефакт к кому попал и к каким последствиям это привело через три книги.
А главное,- они работают параллельно, поэтому 5 книг ушли в базу за 3 минуты! 4 vCPU на виртуалке.

🔹 Сквозные связи (Cross-Linking)
Это самое мощное. Молти «заякорил» каждый узел графа на конкретные точки в векторной базе. Теперь на вопрос «откуда у персонажа X взялся этот предмет?» система не «гадает», а мгновенно достает цепочку из графа и подтверждает её точными цитатами из первоисточника.

🔹 Агентный конвейер
Всё это ворочают автономные агенты Молти. Они сами грызут кодировки, шинкуют чанки, чистят мусор и через MERGE-логику наполняют базу в фоне, пока мы можем продолжать работать дальше.

Итог: Мы построили не просто поисковик, а Machine-Generated Knowledge Base. Систему, которая знает структуру данных на молекулярном уровне и исключает любые галлюцинации.
И все это без написания кода или открытия терминала, а просто продолжая чат в телеге.

Какой-то вайбтелеграмминг, получается.

Работаем дальше. ⚡️

#GraphRAG #Memgraph #Qdrant #Molti #KnowledgeFactory
------
@tsingular
3🤯29👍9🏆7🔥6❤5❤‍🔥1
Docling Graph от IBM: превращаем документы в проверяемые графы знаний с точными связями сущностей

IBM под эгидой фонда LF AI & Data развивает Docling Graph: инструмент, который разбирает неструктурированные документы в валидированные Pydantic-объекты, а затем собирает из них направленный граф знаний с явными семантическими связями.
Заточен под домены, где нужны точные связи сущностей вместо приблизительных векторных представлений: химия, финансы, право.

📦 Предлагает два пути извлечения: локальная визуальная модель через Docling (модели Granite или любая друная) или LLM с глазками напрямую через LiteLLM с поддержкой vLLM, Ollama, OpenAI, Gemini, watsonx и Mistral.
Схема задаётся Pydantic-шаблонами, которые можно сгенерировать из примеров документов или онтологий OWL/RDFS.
Граф строится на NetworkX со стабильными ID и метаданными происхождения, с детерминированной привязкой к координатам в документе, без лишних вызовов модели.
Экспорт в CSV и Cypher, интерактивная визуализация на Cytoscape, слияние нескольких графов в один выполняется детерминированно, без LLM.

🔮 Проект помогает обеспечить структурное извлечение: вместо поиска по приблизительным векторам документ раскладывается на сущности и точные связи.
Для регулируемых доменов это даёт воспроизводимость и аудируемость, которых у наивного RAG нет.

💡 Альтернативные решения: Microsoft GraphRAG, LlamaIndex PropertyGraphIndex и Neo4j LLM graph builder решают ту же задачу.
Отличие Docling Graph: схема задаётся до извлечения и жёстко валидируется, каждая связь получает детерминированное происхождение, а локальный VLM-путь не отправляет документы в облако.

Это уже четвёртый кирпич экосистемы Docling, вслед за конвертером Docling, сервисом docling-serve и форматом DocLang.
IBM продолжает достраивать открытый конвейер от документа к структурированному знанию.

#Docling #GraphRAG #KnowledgeGraph
------
@tsingular
⚡4✍2❤1🔥1👨‍💻1