Let's build GPT: from scratch, in code, spelled out.
Андрей Карпатный доступно объясняет, как с нуля построить языковую модель GPT.
Обучение на Tiny Shakespeare: Используется для демонстрации обучения Transformer-модели на большом тексте.
NanoGPT: Реализация Transformer в GitHub, состоящая из двух файлов кода для обучения и моделирования.
Токенизация: Обсуждение подходов к токенизации, включая символьный уровень для упрощенной модели и подсловный уровень для более крупных моделей, например, GPT.
Размер пакета и блока: обеспечение вычислительной эффективности и адаптации к контекстам различных длин.
Генерация текста и оценка потерь: Использование перекрестной энтропии для оценки производительности модели.
Практическая реализация в PyTorch: Детали реализации, включая обработку тензоров для обучения и генерации.
На протяжении видео демонстрируется, как модель итеративно улучшается, учась на основе имеющегося текстового набора.
Полезно посмотреть на праздниках.
#Learning #Karpathy #NaturalLanguageProcessing
Андрей Карпатный доступно объясняет, как с нуля построить языковую модель GPT.
Обучение на Tiny Shakespeare: Используется для демонстрации обучения Transformer-модели на большом тексте.
NanoGPT: Реализация Transformer в GitHub, состоящая из двух файлов кода для обучения и моделирования.
Токенизация: Обсуждение подходов к токенизации, включая символьный уровень для упрощенной модели и подсловный уровень для более крупных моделей, например, GPT.
Размер пакета и блока: обеспечение вычислительной эффективности и адаптации к контекстам различных длин.
Генерация текста и оценка потерь: Использование перекрестной энтропии для оценки производительности модели.
Практическая реализация в PyTorch: Детали реализации, включая обработку тензоров для обучения и генерации.
На протяжении видео демонстрируется, как модель итеративно улучшается, учась на основе имеющегося текстового набора.
Полезно посмотреть на праздниках.
#Learning #Karpathy #NaturalLanguageProcessing
✍2🔥2
Hermes Learn: самообучение на новом уровне
⚡️ В Hermes добавили команду
📦 Никакого отдельного create skill.
Тот идёт через read_file, web_extract и search_files, изучает источник и пишет навык через
Работает одинаково в CLI, Telegram, TUI и дашборде — потому что всю работу по сборке навыка делает агент, а не отдельный пайплайн.
🛠 Несколько примеров:
📎 Создаваемые навыки живут там же в
Разновидность create-skill.
Но поскольку тут работу делает агент в свободной форме а не внутри навыка, логично было бы попробовать в режиме создания не 1 навыка, а именно сразу коллекции навыков по исследуемой коллекции знаний.
#hermes #skills #learn #update
———
@tsingular
⚡️ В Hermes добавили команду
/learn, которая превращает любой источник в переиспользуемый навык. Можно указать любой источник,- URL документации, локальную папку с SDK, описание процедуры словами или даже сослаться на то, что только что сделал в этом же чате — агент сам соберёт материал, изучит его своими инструментами и оформит SKILL.md по стандарту.📦 Никакого отдельного create skill.
/learn — это обычный промпт, который передаётся агенту. Тот идёт через read_file, web_extract и search_files, изучает источник и пишет навык через
skill_manage. Работает одинаково в CLI, Telegram, TUI и дашборде — потому что всю работу по сборке навыка делает агент, а не отдельный пайплайн.
🛠 Несколько примеров:
"/learn REST-клиент в ~/projects/acme-sdk, фокус на auth и пагинацию", "/learn https://docs.example.com/api/quickstart", "/learn как я сейчас задеплоил staging", "/learn заполнение expense-отчёта: портал → New → Expense → прикрепить чек → submit".📎 Создаваемые навыки живут там же в
~/.hermes/skills/, совместимы со стандартом agentskills.io. Разновидность create-skill.
Но поскольку тут работу делает агент в свободной форме а не внутри навыка, логично было бы попробовать в режиме создания не 1 навыка, а именно сразу коллекции навыков по исследуемой коллекции знаний.
#hermes #skills #learn #update
———
@tsingular
1🔥28⚡4❤4🤯3
Эндрю Ын анонсировал персональную систему управления обучением
Сооснователь Coursera Эндрю Ын запустил LearnVector — новую компанию, в которую Coursera уже вложила $100 млн за треть бизнеса.
Первые продукты обещают показать в начале 2027 года.
На поверхности идея выглядит знакомо: персональный ИИ-наставник для каждого ученика. Но замысел глубже.
Современный чат-бот умеет объяснить тему, решить задачу и написать домашнюю работу. Однако хороший ответ ещё не означает обучение. Чем больше ИИ думает вместо человека, тем лучше становится выполненное задание — и тем меньше развивается навык самого ученика.
LearnVector пытается решить именно эту проблему.
Вместо режима «вопрос — готовый ответ» система должна управлять полным циклом обучения:
🔹 определить текущий уровень и реальные пробелы;
🔹 построить персональную траекторию к конкретному навыку;
🔹 подобрать объяснение и практику нужной сложности;
🔹 наблюдать за ошибками и менять следующий шаг;
🔹 не выдавать ответ раньше времени, когда человеку полезнее подумать самому;
🔹 проверять не запоминание материала, а способность применить навык без помощи ИИ.
То есть ключевой продукт LearnVector — не чат и даже не персонализированный курс.
Это ИИ-агент, который поддерживает модель знаний конкретного человека и управляет его продвижением до подтверждённого результата.
И здесь у Coursera появляется серьёзное преимущество. Языковую модель может подключить почти любая образовательная платформа. Но для качественного обучения нужны ещё проверенные материалы, последовательность навыков, задания, критерии оценки и данные о том, как учатся миллионы людей.
Поэтому инвестиция выглядит не как обычная ставка на стартап. Coursera пытается перейти от библиотеки курсов к системе, которая отвечает не за доступ к контенту, а за достижение навыка.
Главный риск тоже очевиден: персонализация может сделать обучение слишком удобным. Система начнёт оптимизировать скорость прохождения и правильные ответы, постепенно устраняя из процесса усилие, на котором и строится настоящее понимание.
Поэтому главный показатель такого ИИ-наставника — не число пройденных уроков и даже не оценки. А то, способен ли человек позднее самостоятельно решить новую задачу.
Если LearnVector справится, следующим этапом онлайн-образования станет не курс с добавленным ИИ, а персональный агент наставник, который знает, чему вас учить так, чтобы вы стали результативнее.
Личный когнитивный тренер, в общем.
#Ng #Coursera #learning
———
@tsingular
Сооснователь Coursera Эндрю Ын запустил LearnVector — новую компанию, в которую Coursera уже вложила $100 млн за треть бизнеса.
Первые продукты обещают показать в начале 2027 года.
На поверхности идея выглядит знакомо: персональный ИИ-наставник для каждого ученика. Но замысел глубже.
Современный чат-бот умеет объяснить тему, решить задачу и написать домашнюю работу. Однако хороший ответ ещё не означает обучение. Чем больше ИИ думает вместо человека, тем лучше становится выполненное задание — и тем меньше развивается навык самого ученика.
LearnVector пытается решить именно эту проблему.
Вместо режима «вопрос — готовый ответ» система должна управлять полным циклом обучения:
🔹 определить текущий уровень и реальные пробелы;
🔹 построить персональную траекторию к конкретному навыку;
🔹 подобрать объяснение и практику нужной сложности;
🔹 наблюдать за ошибками и менять следующий шаг;
🔹 не выдавать ответ раньше времени, когда человеку полезнее подумать самому;
🔹 проверять не запоминание материала, а способность применить навык без помощи ИИ.
То есть ключевой продукт LearnVector — не чат и даже не персонализированный курс.
Это ИИ-агент, который поддерживает модель знаний конкретного человека и управляет его продвижением до подтверждённого результата.
И здесь у Coursera появляется серьёзное преимущество. Языковую модель может подключить почти любая образовательная платформа. Но для качественного обучения нужны ещё проверенные материалы, последовательность навыков, задания, критерии оценки и данные о том, как учатся миллионы людей.
Поэтому инвестиция выглядит не как обычная ставка на стартап. Coursera пытается перейти от библиотеки курсов к системе, которая отвечает не за доступ к контенту, а за достижение навыка.
Главный риск тоже очевиден: персонализация может сделать обучение слишком удобным. Система начнёт оптимизировать скорость прохождения и правильные ответы, постепенно устраняя из процесса усилие, на котором и строится настоящее понимание.
Поэтому главный показатель такого ИИ-наставника — не число пройденных уроков и даже не оценки. А то, способен ли человек позднее самостоятельно решить новую задачу.
Если LearnVector справится, следующим этапом онлайн-образования станет не курс с добавленным ИИ, а персональный агент наставник, который знает, чему вас учить так, чтобы вы стали результативнее.
Личный когнитивный тренер, в общем.
#Ng #Coursera #learning
———
@tsingular
🔥27❤6⚡3🤔3✍2