New Stanford+Together AI paper shows teams that learn to check each other's work solve problems none of them got right alone.
📘 Paper
@datascienceiot
📘 Paper
@datascienceiot
ML-проект не заканчивается на обучении модели
В Data Science есть довольно знакомый момент: сначала всё работает почти идеально. Есть датасет, ноутбук, модель и несколько экспериментов. Но когда модель нужно использовать регулярно, внезапно выясняется, что сам алгоритм — только часть задачи.
Данные нужно где-то хранить, регулярно обновлять и обрабатывать. Пайплайны — запускать по расписанию. Результаты — отдавать в аналитические системы. А ещё нужно не потерять воспроизводимость всего процесса, когда экспериментов становится больше. По сути, вокруг модели постепенно появляется полноценная data-платформа.
Один из вариантов собрать такой контур внутри корпоративной инфраструктуры — использовать PaaS-компоненты Yandex Cloud в Stackland. В обновлении платформы появились ClickHouse и PostgreSQL для работы с данными, Object Storage и Trino для аналитического слоя, Airflow для оркестрации и DataLens для визуализации.
При таком подходе ML-процесс выглядит уже не как «модель + ноутбук», а как последовательный конвейер: данные поступают в хранилище, проходят обработку, используются для подготовки признаков и обучения, а результаты возвращаются в аналитический контур.
Таким образом, появляется одна из главных точек перехода от экспериментов к production: сложность постепенно смещается с самой модели на инфраструктуру, которая должна обеспечивать её работу.
В Data Science есть довольно знакомый момент: сначала всё работает почти идеально. Есть датасет, ноутбук, модель и несколько экспериментов. Но когда модель нужно использовать регулярно, внезапно выясняется, что сам алгоритм — только часть задачи.
Данные нужно где-то хранить, регулярно обновлять и обрабатывать. Пайплайны — запускать по расписанию. Результаты — отдавать в аналитические системы. А ещё нужно не потерять воспроизводимость всего процесса, когда экспериментов становится больше. По сути, вокруг модели постепенно появляется полноценная data-платформа.
Один из вариантов собрать такой контур внутри корпоративной инфраструктуры — использовать PaaS-компоненты Yandex Cloud в Stackland. В обновлении платформы появились ClickHouse и PostgreSQL для работы с данными, Object Storage и Trino для аналитического слоя, Airflow для оркестрации и DataLens для визуализации.
При таком подходе ML-процесс выглядит уже не как «модель + ноутбук», а как последовательный конвейер: данные поступают в хранилище, проходят обработку, используются для подготовки признаков и обучения, а результаты возвращаются в аналитический контур.
Таким образом, появляется одна из главных точек перехода от экспериментов к production: сложность постепенно смещается с самой модели на инфраструктуру, которая должна обеспечивать её работу.
"PrimeScientist: Strategic Allocation of Research Effort in Autonomous Research"
📓 Read
@datascienceiot
📓 Read
@datascienceiot
Shockingly Simple Self-retrospection Improves Agentic Models Without RL
"Can a language-model agent improve its future actions by training only on explanations of its own experience? We investigate this question by studying Retrospection-Only Fine-Tuning (ROFT), a minimal online procedure designed to isolate the effect of explanation-only training on subsequent behavior. The agent attempts a task, observes available feedback, generates a retrospective explanation, and is fine-tuned with a next-token prediction loss on the explanation tokens alone."
📓 Read
@datascienceiot
"Can a language-model agent improve its future actions by training only on explanations of its own experience? We investigate this question by studying Retrospection-Only Fine-Tuning (ROFT), a minimal online procedure designed to isolate the effect of explanation-only training on subsequent behavior. The agent attempts a task, observes available feedback, generates a retrospective explanation, and is fine-tuned with a next-token prediction loss on the explanation tokens alone."
📓 Read
@datascienceiot
📚 Классика, которую стоит прочитать: бесплатная книга Давида Кризеля о нейросетях
Если хочется разобраться, как нейросети устроены на уровне основ, а не только вызывать API, есть отличный бесплатный материал: A Brief Introduction to Neural Networks Давида Кризеля. Книга выросла из семинара в Боннском университете, первая версия вышла ещё в 2005 году, и с тех пор её дорабатывали.
Книга разделена на три большие части. Первая ведёт от биологии к формализации: биологический нейрон, компоненты искусственных сетей и основы обучения. Вторая посвящена обучению с учителем: перцептроны, backpropagation, RBF-сети и рекуррентные сети. Третья про обучение без учителя: сети Хопфилда, самоорганизующиеся карты Кохонена и теорию адаптивного резонанса.
Отдельно есть экскурсы в кластеризацию, предсказание временных рядов и обучение с подкреплением.
Главное достоинство книги в подаче. Каждое понятие объясняется сначала простыми словами, а потом строго математически, поэтому её одинаково удобно читать и новичку, и тому, кто хочет формул. Иллюстрации автор рисовал сам, в конце глав есть упражнения, а примеры связаны с его Java-библиотекой SNIPE.
Про трансформеры и LLM здесь ничего нет. Зато это хороший фундамент, без которого современные архитектуры понимаются хуже. Распространяется бесплатно по лицензии Creative Commons.
https://dkriesel.com/_media/science/neuronalenetze-en-zeta2-2col-dkrieselcom.pdf
Если хочется разобраться, как нейросети устроены на уровне основ, а не только вызывать API, есть отличный бесплатный материал: A Brief Introduction to Neural Networks Давида Кризеля. Книга выросла из семинара в Боннском университете, первая версия вышла ещё в 2005 году, и с тех пор её дорабатывали.
Книга разделена на три большие части. Первая ведёт от биологии к формализации: биологический нейрон, компоненты искусственных сетей и основы обучения. Вторая посвящена обучению с учителем: перцептроны, backpropagation, RBF-сети и рекуррентные сети. Третья про обучение без учителя: сети Хопфилда, самоорганизующиеся карты Кохонена и теорию адаптивного резонанса.
Отдельно есть экскурсы в кластеризацию, предсказание временных рядов и обучение с подкреплением.
Главное достоинство книги в подаче. Каждое понятие объясняется сначала простыми словами, а потом строго математически, поэтому её одинаково удобно читать и новичку, и тому, кто хочет формул. Иллюстрации автор рисовал сам, в конце глав есть упражнения, а примеры связаны с его Java-библиотекой SNIPE.
Про трансформеры и LLM здесь ничего нет. Зато это хороший фундамент, без которого современные архитектуры понимаются хуже. Распространяется бесплатно по лицензии Creative Commons.
https://dkriesel.com/_media/science/neuronalenetze-en-zeta2-2col-dkrieselcom.pdf
AgentBug-Smith: Automatically Reproducing Real-World Harness Bugs in Agentic Systems
📓 Read
@datascienceiot
📓 Read
@datascienceiot
📚 Обновили огромный учебник по математике для Computer Science и Machine Learning - 2220 страниц.
Внутри сразу несколько фундаментальных тем:
— алгебра
— топология
— дифференциальное исчисление
— теория оптимизации
— математический аппарат для CS и ML
Хороший вариант, если хочется не просто использовать формулы в ML, а понимать, откуда они берутся и почему работают.
Книга доступна здесь:
https://www.cis.upenn.edu/~jean/gbooks/
@datascienceiot
Внутри сразу несколько фундаментальных тем:
— алгебра
— топология
— дифференциальное исчисление
— теория оптимизации
— математический аппарат для CS и ML
Хороший вариант, если хочется не просто использовать формулы в ML, а понимать, откуда они берутся и почему работают.
Книга доступна здесь:
https://www.cis.upenn.edu/~jean/gbooks/
@datascienceiot
📚 280 страниц о машинном обучении в инвестициях от J.P. Morgan
Big Data and AI Strategies Марко Колановича и Раджеша Кришнамачари: масштабный отчёт о том, как использовать ML и альтернативные данные для анализа рынков.
Внутри:
• Какие данные могут дополнять финансовую отчётность: соцсети, поисковые запросы, транзакции и другие источники.
• Как оценивать их качество и полезность.
• Обзор методов машинного обучения для анализа данных.
• Возможности и ограничения применения этих подходов в инвестициях.
Отчёт вышел в 2017 году. Его стоит читать как фундаментальный материал по ML и данным в финансах, учитывая возраст примеров.
PDF доступен бесплатно, на английском:
📓 Книга
@datascienceiot
Big Data and AI Strategies Марко Колановича и Раджеша Кришнамачари: масштабный отчёт о том, как использовать ML и альтернативные данные для анализа рынков.
Внутри:
• Какие данные могут дополнять финансовую отчётность: соцсети, поисковые запросы, транзакции и другие источники.
• Как оценивать их качество и полезность.
• Обзор методов машинного обучения для анализа данных.
• Возможности и ограничения применения этих подходов в инвестициях.
Отчёт вышел в 2017 году. Его стоит читать как фундаментальный материал по ML и данным в финансах, учитывая возраст примеров.
PDF доступен бесплатно, на английском:
📓 Книга
@datascienceiot
Бесплатные учебники по математике от профессора Университета Альберты
Джереми Сильвестр, доцент кафедры математики Университета Альберты, выложил свои учебники в открытый доступ. Их можно читать онлайн, а часть скачать в PDF.
Главная находка здесь Discover Linear Algebra, полноценный курс линейной алгебры на два семестра. Для тех, кому нужно быстрее, есть сокращённая версия на один семестр. Для ML это база: векторы, матрицы, собственные значения, разложения и всё, на чём держатся нейросети.
Ещё два учебника: Calculus Concepts & Modelling по матанализу и дифференциальным уравнениям с упором на моделирование и Elementary Foundations по дискретной математике и логике, который автор обещает скоро открыть полностью.
Хороший вариант, если хочется подтянуть математику под машинное обучение по нормальным университетским учебникам и бесплатно.
https://sites.ualberta.ca/~jsylvest/
Джереми Сильвестр, доцент кафедры математики Университета Альберты, выложил свои учебники в открытый доступ. Их можно читать онлайн, а часть скачать в PDF.
Главная находка здесь Discover Linear Algebra, полноценный курс линейной алгебры на два семестра. Для тех, кому нужно быстрее, есть сокращённая версия на один семестр. Для ML это база: векторы, матрицы, собственные значения, разложения и всё, на чём держатся нейросети.
Ещё два учебника: Calculus Concepts & Modelling по матанализу и дифференциальным уравнениям с упором на моделирование и Elementary Foundations по дискретной математике и логике, который автор обещает скоро открыть полностью.
Хороший вариант, если хочется подтянуть математику под машинное обучение по нормальным университетским учебникам и бесплатно.
https://sites.ualberta.ca/~jsylvest/
Forwarded from Machinelearning
Платформа, которая хостит модели Cursor, Notion и Harvey, выложила в открытый доступ книгу
Inference Engineering за авторством Филипа Кайли. который четыре года работает в Baseten и написал её по интервью с инженерами компании и собственным докладам.Среди рецензентов - автор FlashAttention Три Дао.
Книга собирает в одном месте путь от выбора модели и GPU до мониторинга работающего сервиса.
Baseten основана в 2019 году тремя выходцами из Gumroad, четвёртым сооснователем стал Панкадж Гупта из Uber.
Компания продаёт выделенные развёртывания открытых и собственных моделей клиентов, готовые Model APIs и инфраструктуру для дообучения, а также развивает открытый фреймворк упаковки моделей Truss.
Восемь глав объясняют, как сформулировать требования к продукту, как устроены модели и где они тормозят, прежде всего в механизме внимания, разбирают GPU NVIDIA поколений Hopper и Blackwell и программный уровень, от CUDA и PyTorch до движков vLLM, SGLang, TensorRT-LLM и Dynamo.
Отдельные главы посвящены методам ускорения, моделям для речи, изображений и видео, а также эксплуатации - от автомасштабирования и батчинга до постепенной выкатки новых версий.
Новичку книга даёт карту области и порядок действий - как определить задачу, бюджет задержки, стоимости и подобрать модель, а в последующем заняться оптимизацией.
Базовые понятия вроде предзаполнения, декодирования и KV-кэша объяснены с нуля, а незнакомые термины можно найти в глоссарии.
Опытным инженерам будут интересны пороги и практические правила. Для каждой техники ускорения автор объясняет, как она устроена, при каком трафике и размере модели окупается и чем рискует качество ответов.
Отдельно сравниваются движки инференса и разобраны задачи эксплуатации, которые обычно приходится решать методом проб и ошибок.
Последний раздел посвящён продуктам компании, а оборудование рассматривается почти целиком на примере NVIDIA, другим ускорителям отведено около двух страниц.
@ai_machinelearning_big_data
#AI #ML #Inference #Book #Baseten
Please open Telegram to view this post
VIEW IN TELEGRAM
Catching Developers in the Flow: Low-Latency Agentic Program Repair at Google Scale
📓 Read
@datascienceiot
📓 Read
@datascienceiot
Media is too big
VIEW IN TELEGRAM
Physical AI: почему научить робота брать предметы сложнее, чем кажется
Манипуляция объектами остаётся одной из актуальных задач робототехники. Антропоморфному роботу нужно оценить положение объекта, рассчитать силу захвата и скорректировать движение до того, как предмет упадёт. Отдельная проблема — генерализация: модели пока с трудом применяют освоенные навыки в новых условиях, поэтому о массовом появлении домашних роботов говорить рано.
Как решаются эти задачи и на что уже способны современные роботы, разобрали CEO MWS Павел Воронин и руководитель Лаборатории интеллектуальной космической робототехники Сколтеха Дмитрий Тетерюков.
Посмотреть выпуск подкаста «Паша AI AI AI» — тут.
@datascienceiot
Манипуляция объектами остаётся одной из актуальных задач робототехники. Антропоморфному роботу нужно оценить положение объекта, рассчитать силу захвата и скорректировать движение до того, как предмет упадёт. Отдельная проблема — генерализация: модели пока с трудом применяют освоенные навыки в новых условиях, поэтому о массовом появлении домашних роботов говорить рано.
Как решаются эти задачи и на что уже способны современные роботы, разобрали CEO MWS Павел Воронин и руководитель Лаборатории интеллектуальной космической робототехники Сколтеха Дмитрий Тетерюков.
Посмотреть выпуск подкаста «Паша AI AI AI» — тут.
@datascienceiot
Scaling Graph Neural Networks for Friend Recommendation: Multi-Hash User Embeddings and Temporal Neighbor Sampling
📓 Read
@datascienceiot
📓 Read
@datascienceiot
LLM-to-Flow Distillation: Teaching Natural Language Goals to Scientific Generators
📓 Read
@datascienceiot
📓 Read
@datascienceiot
🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку
Окружение решает больше, чем кажется.
Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.
AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: https://t.me/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://t.me/gamedev
Haskell: t.me/haskell_tg
Собеседования и карьера:
DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview
Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.me/addlist/mzMMG3RPZhY2M2Iy
Полезное сверху:
ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: https://t.me/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy
Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg
Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
Окружение решает больше, чем кажется.
Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.
AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: https://t.me/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://t.me/gamedev
Haskell: t.me/haskell_tg
Собеседования и карьера:
DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview
Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.me/addlist/mzMMG3RPZhY2M2Iy
Полезное сверху:
ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: https://t.me/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy
Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg
Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.