pip install chromadb langchain sentence-transformers

pip install hf_xetс

import os
import chromadb
from langchain.text_splitter import RecursiveCharacterTextSplitter
from sentence_transformers import SentenceTransformer

## 1. Настройки и подготовка
FILE_PATHS = ['article1.txt', 'article2.txt']
DB_PATH = './my_chroma_db'
COLLECTION_NAME = 'my_text_chunks'
QUERY_TEXT = "почему люди путешествуют?"

## 2. Инициализация клиента
client = chromadb.PersistentClient(path=DB_PATH)

## 3. Получение или создание коллекции
collection = client.get_or_create_collection(name=COLLECTION_NAME)

## 4. Проверка и индексация данных (если коллекция пуста)
if collection.count() == 0:
    print("🚀 Коллекция пуста. Начинаем подготовку данных из двух файлов...")

    all_chunks = []
    all_metadatas = []
    all_ids = []

    # Загружаем и разделяем тексты из всех файлов
    for file_path in FILE_PATHS:
        if os.path.exists(file_path):
            with open(file_path, 'r', encoding='utf-8') as f:
                text_data = f.read()

            text_splitter = RecursiveCharacterTextSplitter(
                chunk_size=500,
                chunk_overlap=50
            )
            chunks = text_splitter.split_text(text_data)

            # Добавляем метаданные для каждого фрагмента, чтобы знать его источник
            metadatas = [{"source": file_path} for _ in chunks]
            ids = [f"{os.path.basename(file_path)}_id_{i}" for i in range(len(chunks))]

            all_chunks.extend(chunks)
            all_metadatas.extend(metadatas)
            all_ids.extend(ids)
            print(f"✅ Файл '{file_path}' обработан. Найдено {len(chunks)} фрагментов.")
        else:
            print(f"⚠️ Файл '{file_path}' не найден. Проверьте путь.")

    # Генерируем векторы для всех фрагментов
    model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
    embeddings = model.encode(all_chunks).tolist()

    # Сохраняем данные в коллекцию
    collection.add(
        documents=all_chunks,
        embeddings=embeddings,
        metadatas=all_metadatas,
        ids=all_ids
    )
    print(f"✅ Данные успешно проиндексированы. Всего документов: {collection.count()}")
else:
    print("✅ Коллекция уже содержит данные. Переходим к поиску.")

## 5. Выполнение поиска
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
query_embedding = model.encode([QUERY_TEXT]).tolist()

results = collection.query(
    query_embeddings=query_embedding,
    n_results=2,  # Ищем два самых релевантных результата
    include=['documents', 'distances', 'metadatas']
)

## 6. Вывод результатов
print(f"\n🔍 Запрос: '{QUERY_TEXT}'")
print("-" * 30)
for doc, dist, meta in zip(results['documents'][0], results['distances'][0], results['metadatas'][0]):
    print(f"📄 Найден документ: {doc}\n   Источник: {meta['source']}\n   Степень схожести: {dist:.4f}")
    print("-" * 30)

MATCH (alice:Reader {nickname: "Alice"})-[:READS]->(alice_article:Article)
MATCH (alice_article)-[:BELONGS_TO]->(category:Category)
MATCH (other_reader:Reader)-[:READS]->(other_article:Article)-[:BELONGS_TO]->(category)
WHERE alice <> other_reader AND alice_article <> other_article
RETURN DISTINCT other_article.title