Llama3 с нуля: гайд от Андрея Карпатый

Пошаговая реализация модели Llama3 с подробрым разбором токенизации, создания слоёв, матричного умножения, загрузки тензоров, эмбеддингов, расчёта ключей, фокуса внимания, ротационного позиционирования и всего, что необходимо что бы получить универсальный ответ на главный вопрос о жизни, вселенной и всем таком.

Для тех, кто хочет разобраться как оно всё устроено под капотом в картинках - must read! 🧙‍♂️🔮

#Llama3 #Karpathy #guide
-------
@tsingular

Как тренируют модели с рефлексией.
Филип Шмид. техлид HuggingFace

Реализация
1️⃣ Подготовка данных: соберите набор данных математических задач или задач кодирования
2️⃣ Сгенерируйте размышления: для каждой проблемы (пары вопрос-ответ) сгенерируйте альтернативные рассуждения, которые используют разные подходы или перспективы для решения и последующего рассуждения, которое является аналогиями, связанными с исходной проблемой.
3️⃣ Расширение данных: интегрируйте размышления в обучающие примеры. Теперь каждый обучающий экземпляр будет содержать исходную задачу, ее решение и раздел размышлений.
4️⃣ Тонкая настройка: тонкая настройка LLM с использованием расширенного набора данных, гарантирует, что модель изучит как прямые рассуждения для быстрых решений, так и рефлексивные рассуждения.

Результаты:
🧠 Повышает точность математических ответов на 6,8 балла
💻 Повышает производительность в написании кода на +3,5 балла в метрике Pass@1
👀 +81,11% в исправлении ошибок с использованием рефлексии > DeepSeek Math
🔬 Превосходит традиционную цепочку мыслей (CoT) в задачах на рассуждение
📈 С увеличением количества обучающих данных производительность улучшается

🚀 Выпущен код, подсказки, набор данных и скрипты:

paper HF
GitHub

#HF #Reflection #training #guide
———
@tsingular

Code Intelligence 2025: руководство по кодовым агентам от ByteDance.

ByteDance решили не отставать от Гугла и выкатили свой гайд как нужно варить агентов.
Полное руководство на 300 страниц, поэтому даю выжимку для тех, у кого времени нет:

Суть: Мы переходим от эпохи AI-Assisted (где ИИ — это автодополнение, как Copilot) к эпохе AI-Driven/Autonomous (где ИИ — это агенты, выполняющие инженерные задачи целиком).

1. Главные тренды в моделях
- Специализация рулит: Общие LLM (GPT-4o) хороши, но специализированные "Code LLMs" (DeepSeek-Coder-V3, Qwen2.5-Coder, StarCoder2) часто эффективнее и дешевле в деплое.

- Архитектура: Все уходят в MoE (Mixture-of-Experts). Это стандарт для баланса между огромными знаниями и скоростью инференса.

- Контекст: Окно контекста растет (128k – 1M+ токенов). Модели теперь "видят" не один файл, а весь репозиторий (Repository-Level Understanding).

2. Секреты обучения (Training Recipes)
- RLVR (Reinforcement Learning with Verifiable Rewards): Это новый Грааль. Вместо простого RLHF (где оценивает человек), используют RL на юнит-тестах. Если код скомпилировался и прошел тесты — модель получает награду. Это позволяет моделям "рассуждать" и самопроверяться (как серия OpenAI o1/o3 или DeepSeek-R1).

- Данные: Просто парсить GitHub уже мало (там много мусора). Фокус сместился на синтетические данные высокого качества и строгую фильтрацию (дедупликация, проверка лицензий, удаление PII).

3. Агенты (SWE Agents)
- Сдвиг парадигмы: ИИ теперь не просто пишет функцию, а берет на себя роль Software Engineer.
- Цикл: Планирование -> Кодинг -> Тестирование -> Дебаг -> Деплой.
- Инструменты: Агенты активно юзают терминал, браузер и MCP (Model Context Protocol) для подключения к внешним тулзам.
- Примеры: OpenHands, Devin, SWE-Agent.

4. Бенчмарки (Как измеряют крутость)
- HumanEval устарел: Он слишком простой, модели щелкают его на 90%+.
- Новый стандарт — SWE-bench: Это реальные задачи (Issues) из популярных open-source репозиториев. Если модель может закрыть реальный тикет на GitHub - она крутая.
- LiveCodeBench: Тесты на задачах с соревнований (LeetCode, Codeforces), вышедших после обучения модели, чтобы исключить заучивание.

5. Безопасность (Safety)
- Проблема: Модели, обученные на GitHub, отлично воспроизводят уязвимости (SQL-инъекции, XSS), потому что в обучающей выборке много плохого кода.
- Решение: Обычные фильтры не помогают. Нужен Safety Post-training — дообучение модели на "безопасный код" и защита от атак (джейлбрейков через обфускацию кода).

Итого для практика:
Если вы внедряете ИИ в разработку: смотрите в сторону инструментов, которые умеют работать с контекстом всего проекта (Cursor, Windsurf) и агентных решений, способных самостоятельно запускать код и тесты.

Эпоха простого "чат-бота для кода" заканчивается, начинается эпоха автономных инженеров.

#ByteDance #guide #обучение
———
@tsingular