Интересная иллюстрация эволюции ИИ моделей.

Сначала долго тренируется самая сильная, самая большая версия и дальше, пока тренируется следующая, - нарезаются и дистиллируются её младшие, упрощённые варианты.

Вот и, похоже, именно этот шаг дистилляции малых моделей и автоматизирован уже.

И именно он позволит Крупной модели следующего поколения динамически создавать рои специализированных моделек для выполнения более точных задач.

С этой точки зрения не очень понятно где Claude 3.5 Opus? Доколе! :)

#training #GPT #swarm
———
@tsingular

Как тренируют модели с рефлексией.
Филип Шмид. техлид HuggingFace

Реализация
1️⃣ Подготовка данных: соберите набор данных математических задач или задач кодирования
2️⃣ Сгенерируйте размышления: для каждой проблемы (пары вопрос-ответ) сгенерируйте альтернативные рассуждения, которые используют разные подходы или перспективы для решения и последующего рассуждения, которое является аналогиями, связанными с исходной проблемой.
3️⃣ Расширение данных: интегрируйте размышления в обучающие примеры. Теперь каждый обучающий экземпляр будет содержать исходную задачу, ее решение и раздел размышлений.
4️⃣ Тонкая настройка: тонкая настройка LLM с использованием расширенного набора данных, гарантирует, что модель изучит как прямые рассуждения для быстрых решений, так и рефлексивные рассуждения.

Результаты:
🧠 Повышает точность математических ответов на 6,8 балла
💻 Повышает производительность в написании кода на +3,5 балла в метрике Pass@1
👀 +81,11% в исправлении ошибок с использованием рефлексии > DeepSeek Math
🔬 Превосходит традиционную цепочку мыслей (CoT) в задачах на рассуждение
📈 С увеличением количества обучающих данных производительность улучшается

🚀 Выпущен код, подсказки, набор данных и скрипты:

paper HF
GitHub

#HF #Reflection #training #guide
———
@tsingular

ИИ модели используют материалы из отозванных научных статей

Исследователи из MIT обнаружили, что большие языковые модели активно цитируют и воспроизводят содержимое научных публикаций, которые позже были отозваны из-за ошибок или мошенничества.

Проблема серьёзная: 67,4% отзывов связаны с научным мошенничеством, а в 2023 году отозвали свыше 10 000 работ.

Модели не различают достоверные данные от сомнительных. Они просто заучивают всё подряд из тренировочных датасетов.

Крупные издательства вроде Taylor & Francis и Wiley заключают многомиллионные соглашения на использование контента для обучения ИИ, но механизмов отслеживания отозванных материалов нет.

Технически отфильтровать такой контент крайне сложно - нужно постоянно обновлять чёрные списки и переобучать модели.

Получается ИИ не только галлюцинирует, но ещё и цитирует лженауку.

Хавает что попало, а люди верят и пишут новые научные статьи. :)

#Retractions #Training #Data
------
@tsingular