Let's build GPT: from scratch, in code, spelled out.

Андрей Карпатный доступно объясняет, как с нуля построить языковую модель GPT.

Обучение на Tiny Shakespeare: Используется для демонстрации обучения Transformer-модели на большом тексте.
NanoGPT: Реализация Transformer в GitHub, состоящая из двух файлов кода для обучения и моделирования.
Токенизация: Обсуждение подходов к токенизации, включая символьный уровень для упрощенной модели и подсловный уровень для более крупных моделей, например, GPT.
Размер пакета и блока: обеспечение вычислительной эффективности и адаптации к контекстам различных длин.
Генерация текста и оценка потерь: Использование перекрестной энтропии для оценки производительности модели.
Практическая реализация в PyTorch: Детали реализации, включая обработку тензоров для обучения и генерации.

На протяжении видео демонстрируется, как модель итеративно улучшается, учась на основе имеющегося текстового набора.

Полезно посмотреть на праздниках.

#Learning #Karpathy #NaturalLanguageProcessing

Llama3 с нуля: гайд от Андрея Карпатый

Пошаговая реализация модели Llama3 с подробрым разбором токенизации, создания слоёв, матричного умножения, загрузки тензоров, эмбеддингов, расчёта ключей, фокуса внимания, ротационного позиционирования и всего, что необходимо что бы получить универсальный ответ на главный вопрос о жизни, вселенной и всем таком.

Для тех, кто хочет разобраться как оно всё устроено под капотом в картинках - must read! 🧙‍♂️🔮

#Llama3 #Karpathy #guide
-------
@tsingular

Пишем GPT-2 своими руками с Андреем Карпати

В новом видео Андрей Карпати демонстрирует процесс создания модели GPT-2 объемом 124B.

Основная цель — обучение модели GPT2 с использованием веб-данных.

В 4х часовом видео разобраны процедуры подбора параметров под объем GPU и общие требования к модели, валидация, оценка потерь.
Потери на валидации выводятся каждые 100 итераций.
В качестве дополнительной оценки используется набор данных H-SWAG, который представляет из себя тест с множественным выбором, где нужно выбрать наиболее вероятное продолжение предложения.

Задача H-SWAG — выбор естественного продолжения предложения.

Скрипт всего процесса опубликован на GitHub.
- build-nanogpt GitHub repo, with all the changes in this video as individual commits: https://github.com/karpathy/build-nanogpt
- nanoGPT repo: https://github.com/karpathy/nanoGPT
- llm.c repo: https://github.com/karpathy/llm.c

#AIResearch #Karpathy #GPT2
-------
@tsingular

Карпати потестил Grok 3 в раннем доступе.

🎯 Ключевые выводы:

Сильные стороны:
- Уровень мышления ("Think" button) на уровне топовых моделей OpenAI
- Отлично справляется со сложными математическими задачами и рассуждениями
- Успешно работает с документами (тест на GPT-2 paper)
- Качественный Deep Search (аналог Deep Research от OpenAI/Perplexity)

Технические тесты:
- Успешно генерирует hex-сетку для Settlers of Catan (что не могут DeepSeek-R1, Gemini 2.0 и Claude)
- Правильно решает сложные задачи на подсчет FLOPS для тренировки моделей
- Хорошо справляется с простыми логическими головоломками

Слабые места:
- Проблемы с декодированием Unicode variation selectors
- Генерация некорректных tic-tac-toe досок
- Иногда галлюцинирует несуществующие URL
- Слабый уровень юмора (типичная проблема LLM)
- Излишняя "этическая чувствительность"

💡 Практический вывод:
1. Модель находится на уровне o1-pro от OpenAI ($200/месяц)
2. Превосходит DeepSeek-R1 и Gemini 2.0 Flash Thinking
3. Особенно впечатляет скорость развития: команда достигла state-of-the-art за ~1 год

🔮 Бизнес-применение:
- Сильная аналитическая составляющая делает модель полезной для исследовательских задач
- Deep Search функционал может заменить дорогие инструменты поиска решений
- Качественное решение математических и логических задач делает возможным технический анализа

🎯 Важный момент:
xAI показывает невероятную скорость развития — от нуля до уровня топовых моделей за год. Это может существенно повлиять на расстановку сил на рынке AI в ближайшем будущем.
(для всех, у кого есть 200 тыс видеокарт :) )

#grok3 #karpathy
———
@tsingular

DeepSeek-OCR: Одна картинка стоит тысячи слов

DeepSeek выпустил OCR-модель, которая превращает документы в изображения и обрабатывает их как визуальные токены вместо классических текстовых. Звучит странно, но работает - и может изменить архитектуру LLM.

Попробуем разобраться что за зверь выкатили китайцы на этот раз:
Вместо обработки текста токен за токеном, DeepSeek-OCR рендерит его в картинку и сжимает в визуальные токены.

Один токен изображения заменяет 10-20 текстовых токенов без особых потерь качества.

Ключевые цифры:
- 97% точность при сжатии в 10×
- 60% точность даже при сжатии в 20×
- 100 визуальных токенов против 6000+ текстовых на OmniDocBench
- 200k+ страниц/день обработки на одной A100-40G

Как работает:
DeepEncoder с window+global attention пропускает изображение документа через 16× compressor. Результат — компактное представление, которое LLM легко декодирует обратно в текст.

🔥 Даже Карпатый тут высказался:

"Может, вообще все входы в LLM делать картинками? Даже чистый текст рендерить и подавать пикселями."

Его аргументы:
- Компрессия - контекст в 10-20 раз короче
- Универсальность - не важно что на картинке,- жирный текст, таблица, цвета шрифтов
- Bidirectional attention — пиксели можно смотреть "в обе стороны"
- Смерть токенизатору — уходит весь багаж Unicode, дыры в безопасности, странности с распознаванием эмодзи, когда то, что человек видит одинаково, - машина интерпретирует по разному.

"Vision→text работает. Text→text можно сделать vision→text. Обратно — нельзя."

Карпатый уже планирует переписать наночат версию с пиксельным входом.

На практике это даст:
- Сверх-длинные по нынешним меркам диалоги - старые сообщения превращаются в картинки и сжимаются
- Механизм "забывания" - как в памяти человека: свежее будет чётче, старое размыто
- Безграничные контексты - теоретически возможны через прогрессивное сжатие
- Генерация трейнинг-данных для LLM/VLM в промышленных масштабах

Если идея зайдёт, токенизатор может стать артефактом истории, как дискеты.

Мы наблюдаем реально фундаментальные прорывы в ИИ со стороны Китая.
Эффект количественного превосходства отличников.

#DeepSeek #OCR #Karpathy #Китай
———
@tsingular

LLM Council: Карпатый запустил совет директоров из нейросетей

Андрей тоже на выходных вайбкодит и опубликовал приложение, которое отправляет запрос сразу нескольким моделям через OpenRouter, заставляет их оценить ответы друг друга, а затем модель-председатель синтезирует финальный результат.

Идея появилась когда Карпатый читал книги вместе с LLM и хотел видеть разные ответы параллельно.

Внутри три этапа:
- Все модели из совета отвечают на вопрос
- Взаимная оценка и ранжирование ответов
- Председатель выдает итоговый вердикт

Навайбкодили демократию за выходные :)

Вообще совет ИИ экспертов популярная фишка будет, я смотрю.
Нарекаю трендом :)

#Karpathy #OpenRouter #Council #dev
———
@tsingular