Let's build GPT: from scratch, in code, spelled out.

Андрей Карпатный доступно объясняет, как с нуля построить языковую модель GPT.

Обучение на Tiny Shakespeare: Используется для демонстрации обучения Transformer-модели на большом тексте.
NanoGPT: Реализация Transformer в GitHub, состоящая из двух файлов кода для обучения и моделирования.
Токенизация: Обсуждение подходов к токенизации, включая символьный уровень для упрощенной модели и подсловный уровень для более крупных моделей, например, GPT.
Размер пакета и блока: обеспечение вычислительной эффективности и адаптации к контекстам различных длин.
Генерация текста и оценка потерь: Использование перекрестной энтропии для оценки производительности модели.
Практическая реализация в PyTorch: Детали реализации, включая обработку тензоров для обучения и генерации.

На протяжении видео демонстрируется, как модель итеративно улучшается, учась на основе имеющегося текстового набора.

Полезно посмотреть на праздниках.

#Learning #Karpathy #NaturalLanguageProcessing