▶️ Неудачный опыт создания чатбота на локальных данных.

Обычно никто не пишет о своих неудачах, но тут мой опыт важен, так как возможно кто то пойдет моим путем и не потратит время как я.

Я попытался построить RAG (Retrieval-Augmented Generation) на своем ноутбуке без мощной видеокарты и проца.

Что я делал:
👉 беру документы (в моём случае - HTML-файлы, около 3000)
👉 режу текст на чанки
👉 считаю для каждого chunks embeddings (векторы)
👉 сохраняю эти векторы в векторное хранилище
👉 при запросе в чатботе:

▶️считаю embedding запроса
▶️ищу по векторной базе самые похожие фрагменты
▶️передаю найденные куски в LLM как контекст для ответа

Реализовал все это на AnythingLLM , векторизация иногда создавалась до 6 часов (зависит от параметров ноута).

➡️Результаты:
Как я не тестил, с какими параметрами не пробовал, результаты отрицательные. Основная проблема кроется в нехватке LLM токенов для анализа информации.
Данные в html содержат более 20К текста в среднем и даже после резки на чанки не хватает контекста.

При использовании локальных LLM (LLama 4 и другие, перебрал с полдесятка) чатбот неизбежно галлюцинирует из за объема текста который в него подается.
Если в настройках ограничивать поиск, устанавливая более высокий порог сходства документов (>0.75) контекта иногда хватает, но режется большее количество данных и чатботу не хватает данных для анализа.

Пробовал использовать API доступ к моделям GROK которые доступны по API (не локальные), поиск улучшается, можно уменьшать порог сходства, но проблему галлюцинаций это не решает.

Итог отрицательный. Если кому то удалось - напишите в личку, поделитесь опытом.

Google обучат понимать пользовательский интент на основе не только текста, но и визуального взаимодействия с интерфейсом.

Вот основные аспекты работы, описанные языком поисковой оптимизации и анализа пользовательского пути:

➡️1. Интент как последовательность действий (User Journey)

В SEO мы привыкли работать с интентом поискового запроса. Авторы исследования идут глубже и формализуют задачу извлечения интента (Intent Extraction) из целой «траектории» действий пользователя.
Траектория — это последовательность скриншотов и конкретных кликов/свайпов.
Цель — сгенерировать описание того, что пользователь на самом деле пытался достичь (например, «купить билет в Лувр»).
Для SEO это важно, так как подчеркивает: интент — это не статичное слово, а динамический процесс, который Google учится восстанавливать даже по обрывочным действиям.

➡️2. Двухэтапная архитектура: от микро-действий к макро-цели

Исследователи предложили метод декомпозиции, который позволяет даже малым моделям (small models), работающим на устройствах, превосходить по качеству понимания гигантские LLM (такие как Gemini 1.5 Pro).

Этап 1: Структурированное суммаризирование взаимодействия. Модель анализирует каждый отдельный шаг (скриншот + действие) и выделяет только важные детали экрана и суть клика.

Этап 2: Извлечение итогового интента. На основе агрегированных мини-отчетов со всех шагов формируется финальное описание цели.
SEO-инсайт: Точность понимания повышается, когда алгоритм сначала «сканирует» отдельные блоки/этапы страницы (структуру), а затем синтезирует их в общее понимание ценности страницы для пользователя.

➡️3. Критерии «качественного» интента

В работе четко определены три параметра, по которым оценивается, насколько правильно модель поняла пользователя.

Эти критерии можно переложить на оценку качества контента:

☑️Faithfulness (Достоверность): описание должно соответствовать только тем действиям, которые реально произошли.
☑️Comprehensiveness (Полнота): наличие всей информации, необходимой для воспроизведения действий.
☑️Relevance (Релевантность): отсутствие лишнего «шума», не относящегося к достижению цели.

➡️4. Борьба с «галлюцинациями» и шумом в данных

Авторы столкнулись с проблемой: при обучении модели часто «додумывают» детали, которых не было на экране (галлюцинируют). Чтобы решить это, они использовали Label Refinement — очистку обучающих данных от любой информации, которую нельзя напрямую вывести из скриншотов.
Это напоминает работу с поисковыми сниппетами: если в описании (description) указано то, чего нет на странице, это снижает доверие и качество опыта. Google стремится к тому, чтобы описание интента было максимально очищено от субъективности.

➡️5. Метрики понимания: BiFact vs BLEU

Интересен подход к оценке. Традиционные SEO-метрики (вроде текстового совпадения ключей) здесь сравниваются с лексическими метриками (BLEU/ROUGE), которые работают плохо, так как оценивают только совпадение слов. Вместо них Google использует семантические метрики, такие как BiFact, которые разбивают интент на атомарные факты и проверяют их точность и полноту. Это подтверждает тренд на Entity-based SEO и переход от анализа «ключевиков» к анализу «смысловых сущностей».

Почему это важно для будущего SEO?

Поиск становится агентским: Google активно развивает модели, которые смогут не просто выдавать ссылки, но и выполнять действия за пользователя (UI Automation). Понимание интента — фундамент для этого.

Визуальный контекст решает: Модели теперь «видят» структуру сайта (DOM, иерархию, кнопки) почти как человек. Оптимизация интерфейса (UI/UX) становится прямой частью поисковой оптимизации.

Локальные модели: Акцент на малых моделях, работающих on-device (прямо в браузере или телефоне), означает, что понимание пользователя будет происходить мгновенно и приватно, без обращения к облачным серверам, что ускоряет персонализацию выдачи.

🔍 Как подтвердить E-E-A-T через авторов: чек-лист для оценки качества

В 2026 году уровень E-E-A-T (Опыт, Компетентность, Авторитетность и Надежность) остается фундаментом доверия к контенту. Чтобы доказать поисковикам и пользователям, что вашему автору можно верить, используйте эти методы:

1. Прозрачность и внутренняя информация
Сайт должен открыто заявлять, кто стоит за текстом.

🔹Разделы «О нас» и «Контакты»: обязательная точка входа для оценки у асессоров. Более новые ИИ агенты также умеют анализировать и находить эти страницы.

🔹Профессиональный бэкграунд: для сложных ниш ищите (и указывайте) образование, ученые степени, реальный опыт работы и награды (в особенности с внешними ссылками подтверждающие факты).

2. Внешнее подтверждение репутации

Самопрезентации недостаточно — нужны независимые источники. Ссылки на социальные сети, колонки на профильных СМИ или порталах обязательны.

🔹Репутационный поиск: упоминания в СМИ, биографии на сторонних ресурсах (Wiki, тематические ресурсы), отзывы коллег.

🔹Признание экспертов: для ученых и журналистов важны цитирования, соавторство с экспертами и престижные премии.

🔹Голос сообщества: для блогеров — комментарии лидеров мнений в нише и обсуждения на профильных форумах.

3. Личный опыт (Experience) как доказательство ✨
Иногда практика важнее диплома.

🔹Пруфы взаимодействия (личный опыт): доказательства того, что автор лично держал продукт в руках или посещал место (фото, уникальные детали).

🔹Демонстрация мастерства: видео процесса (ремонт, туториал) наглядно подтверждает компетенцию лучше любых слов.

4. Особый контроль для YMYL-тем 🔍
В темах «Кошелек или жизнь» (здоровье, финансы, безопасность) правила строже:

🔹Эксперт vs Практик: советы должны давать только профи. Личный опыт здесь уместен только для моральной поддержки, но не для медицинских назначений.

🔹Консенсус: контент обязан соответствовать устоявшемуся мнению научного или экспертного сообщества (гугл проверяет факты).

5. Красные флаги (Низкое качество) 🚩
Чего стоит избегать:

♦️Конфликт интересов: производитель не может писать «независимый» обзор на свой товар. Поэтому писать рейтинги и включать себя на первое место не стоит.

♦️ИИ-персоны: использование генеративных фото и выдуманных биографий — верный путь к низкому рейтингу. Проверяйте с помощью Гугл линзы свои фото.

♦️Анонимность в YMYL: если на финансовом или медицинском сайте нет автора — доверие равно нулю. Исключение - статьи от самого ресурса при наличии редакции в разделе О нас.

Важно: Репутация автора должна быть релевантна теме. Эксперт по стендапу не должен давать советы по инвестициям.

#SEO #EEAT #Google #YMYL

🫥Как Google агрегирует отзывы о услугах и товарах?

Этот патент описывает систему, которая собирает мнения о контенте со всей сети и агрегирует все в один документ для анализа.
.
⚙️ Как работает алгоритм?
Система агрегирует данные из двух типов источников:

🔹Прямые: комментарии, оставленные через функции браузера (API Chrome например или сторонние БД), на вашем сайте.
🔹Независимые: посты в блогах, новости, отзывы о товарах и компаниях, услугах (в том числе Твиттер, фейсбук, Reddit).

Алгоритм ищет ссылки в постах и превращает сам пост в «комментарий» к целевой странице. Таким образом получается большой документ, который содержит все о вашей услуге или товаре.

🧨 Факторы ранжирования (Score)
Google не просто агрегирует все подряд, а присваивает каждому комментарию (посту, отзыву) балл на основе:
🔹Author Rank: Насколько авторитетен автор и много ли он пишет.

🔹User Feedback: Лайки, дизлайки и оценки «полезности» от других людей.

🔹Freshness: Свежие комментарии и те, что чаще обновляются, ценятся выше.

🔹Качество контента: Использование сленга, капслока или плохая грамматика снижают балл.

🚬 Что делать SEO-специалисту?

Стимулируйте процес получения ссылок: ссылки на конкретные статьи или продукты в блогах воспринимаются алгоритмом как релевантные «комментарии», в отличие от ссылок на главную.

Переносите обсуждение своих товаров или услуг на Реддит, Фейсбук и другие review площадки, люди будут писать на них комментарии и спустя время Гугл агрегирует данные.

Работайте с лидерами мнений: Отзыв от автора с высокой репутацией (Author Rank) улучшает ранжирование товара или услуги.

Провоцируйте активность: Важно не просто наличие отзыва, а взаимодействие с ним (лайки других пользователей к примеру в GMB или на сайте отзовике), что напрямую повышает его вес в системе.

⚙️ Чем интересен данный патент?

Он показывает, что Гугл ранжирует ваш сайт не как общий, а может отдельно ранжировать категории, товары или услуги.

Например ваша фирма занимается услугами:

Рытье котлованов (5 отзывов рейтинг 4.5)
Установка бассейнов (8 отзывов рейтинг 5)
Сантехника (2 отзыва, рейтинг 3)

Для Google это отдельные услуги и услуга сантехника будет ранжироваться намного хуже, несмотря на весь траст вашего сайта.

Очевидно что патент устарел, но он дает понимание работы с отзывами и улучшения позиций конкретных услуг и товаров. Сейчас наличие обратных ссылок на товар не обязательно, Гугл без проблем определяет названия брендов, а через сущности понимает об чем идет речь.

💯 Бесплатный Python-сервер с 16 гигами оперативки?

Хостинг для ML-проектов и Python-скриптов прямо в облаке.
✅Бесплатно, без карты.

🛠 Как запустить:

1️⃣ Создаем репозиторий:
Переходим на huggingface.co/new-space.

🔹Space name: название проекта.

🔹SDK: Выбираем Gradio для Python.

🔹Hardware: Оставляем CPU basic (бесплатно).

2️⃣ Загружаем код:
Всё делается в браузере. Идем во вкладку Files and versions ➔ Add file ➔ Create new file.

🔹Называем файл app.py.

Вставляем ваш код, ИИ поможет.
Если вообще не понятно что делать - вот видео от индуса по визуальной части.

3️⃣ Настраиваем окружение:
Если нужны сторонние библиотеки (например, requests или pandas), создаем файл requirements.txt и просто перечисляем их названия в столбик.

💡 Условия и параметры (что нужно знать):

Железо: На бесплатном тарифе дают 2 vCPU и 16 ГБ RAM. Этого с головой хватит для большинства ботов и легких нейросетей.

Режим сна: Если к твоему Space никто не заходит в течение 48 часов, сервер «засыпает». При первом заходе после паузы придется подождать минуту, пока он проснется.

Лайфхак - можно использовать cron-job.org - Просто укажите URL, выберите время и периодичность — и сервис будет регулярно «проверять» этот адрес: раз в минуту, час, день или по сложному расписанию.
Это же можно сделать в Google Apps Script.
Таким образом ваш сервер никогда не перейдет в режим сна.

Лимиты: Дисковое пространство ограничено (~50 ГБ), поэтому тяжелые модели лучше подгружать динамически, а не хранить в репозитории.

Публичность: По умолчанию Space видят все. Если нужны приватные данные (API-ключи), прописывай их в Settings ➔ Variables and secrets, а не в коде.

Зачем сервер seo специалисту? Возможность построить свои API, сервисы. К примеру загрузить BERT модель, чекать embedding, каждый день использовать выделяемые API нейросетей, чекать выдачу или позиции.

#python #huggingface #dev #ml #hosting