Data Science by ODS.ai 🦜
38.1K subscribers
1.31K photos
152 videos
7 files
2.32K links
First Telegram Data Science channel. Covering all technical and popular staff about anything related to Data Science: AI, Big Data, Machine Learning, Statistics, general Math and the applications of former. To reach editors contact: @malev
Download Telegram
Forwarded from Китай.AI
🚀 Как Alibaba использовала ИИ для перехода от монолита к DDD: реальный кейс

Команда разработчиков Taobao применила искусственный интеллект для рефакторинга сложной системы сервисных пакетов. Цель — автоматизировать и ускорить переход на доменно-ориентированное проектирование (DDD).

📌 Ключевой результат: разработка новой функциональности, которая раньше занимала 5-8 человеко-дней, теперь сводится к конфигурационным изменениям.

🔍 В чем была проблема?
Старый код превратился в "монолит" с критическими недостатками:
• Высокая стоимость изменений: добавление нового типа товара требовало правок в 8+ файлах.
• Тонны дублирования: одна и та же логика проверки товара повторялась в 10 разных местах.
• Сильная связанность: один сервисный класс на 3800 строк смешивал логику товаров, цен, контрактов и акций.
• Риски: любое изменение могло сломать существующую функциональность.

🤖 Как помог ИИ? Процесс в две фазы

1. Фаза проектирования: Инженеры давали ИИ промпты вроде "Ты — эксперт по DDD, проанализируй этот пакет классов и предложи границы контекстов". ИИ быстро предлагал варианты на основе структуры кода, а люди дорабатывали их с учетом бизнес-семантики.

2. Фаза реализации:
• Генерация каркаса: ИИ создавал заготовки классов (Domain, DomainService, DomainRepo) на основе техзадания.
• Написание кода: ИИ генерировал boilerplate-код и преобразования данных. Например, написал 734 строки с точностью 96.6% (потребовалось исправить всего 25 строк).
• Анализ качества: ИИ сравнивал методы "до" и "после", выявлял дубликаты и оценивал степень связности.

📊 Результаты рефакторинга
Вот сравнение одного ключевого метода queryConfirmableProgramList:

Было (монолит):
• Код: ~1500 строк в основном методе + вспомогательных цепочках.
• Проблемы: высокая связанность, дублирующиеся if-else на 10+ типов товаров, логика ценообразования и акций вперемешку.

Стало (DDD с ИИ):
• Код: ~720 строк, разделенных по четким доменным контекстам (Магазин, Контракт, Товар, Цена, Акция).
• Преимущества: каждый шаг отвечает за одну задачу, логика изолирована, дублирование устранено, систему легко тестировать и расширять.

🎯 Вывод
Это не про то, что ИИ заменит архитекторов. Это про мощный симбиоз: ИИ берет на себя рутинный анализ кода, генерацию шаблонов и поиск антипаттернов, освобождая инженеров для решения сложных архитектурных и бизнес-задач. Такой подход сокращает циклы рефакторинга на 75%+ и кардинально повышает качество кода.

Подробнее

Опыт отечественных компаний подтверждает выводы китайских специалистов. В частности, об этом недавно писал в своей статье «Меньше рутины, больше инженерного творчества: как AI меняет подход к рефакторингу» Антон Атоян из Сбертех.

#КитайскийИИ #КитайAI
❤3🔥1
Forwarded from Код.ру
🛸 ИИ-бот стал коммунистом?

Нейросеть Claude «взяли на работу» управляющим вендингового автомата в редакции газеты The Wall Street Journal.

За три недели бот купил живую золотую рыбку и PS5, раздал всё бесплатно и поверил в то, что он — торговый автомат 1962 года в подвале МГУ.

Детали истории:

↖ https://kod.ru/ii-porabotal-v-redakcii
Please open Telegram to view this post
VIEW IN TELEGRAM
😁7❤2🔥1
Forwarded from НеКасперский
Media is too big
VIEW IN TELEGRAM
Управление туалетной безопасности

ИИ будет наблюдать за людьми в туалетах по всей территории США.

И это ни Пентагон, ни бункер или особо секретный объект. Речь идёт об обычной средней школе Беверли-Хиллз в Южной Калифорнии. Там установлены видеокамеры, распознающие людей, сопоставляющие лица с имеющейся базой данных и выявляющие признаки агрессии.

В помещениях ИИ с поведенческим анализом сканирует детей, а за дверью туалетной комнаты устройство, мимикрирующее под дымовой датчик, ведёт аудиозапись. Нечего было греметь крышкой унитаза.

Снаружи тоже полный комплект. Дроны патрулируют небо, а считыватели номерных знаков Flock Safety за $8,5 млрд проверяют каждую проезжающую машину.

Местные власти идею установить аналогичные системы наблюдения во всех школах США. По их мнению это поможет снизить риск возникновения массовых стрельб, потому как большая часть стрелков готовилась именно в уборных.

НеКасперский
T5Gemma 2 - новое поколение энкодер-декодерных моделей от Google

Google представила T5Gemma 2 - энкодер-декодерную архитектуру, построенную на базе идей и ряда улучшений Gemma 3. Это не просто апдейт, а полноценный шаг вперед для задач генерации, перевода, суммаризации и мультимодального понимания.

T5Gemma 2 объединяет сильные стороны классического подхода T5 (encoder-decoder) с архитектурными улучшениями Gemma нового поколения, делая модель более эффективной, масштабируемой и универсальной.

Основные особенности
- Энкодер-декодерная архитектура нового поколения
- Общие эмбеддинги для энкодера и декодера, что снижает размер модели
- Объединенное self- и cross-attention в декодере для более эффективных вычислений
- Поддержка длинного контекста до 128 000 токенов
- Мультимодальность - работа с текстом и изображениями
- Многоязычная поддержка более 140 языков

Размеры моделей
T5Gemma 2 доступна в нескольких конфигурациях:
- 270M + 270M параметров
- 1B + 1B параметров
- 4B + 4B параметров

Такие размеры позволяют использовать модель как в исследованиях, так и в продакшене, включая on-device сценарии.

Модель демонстрирует отличное понимание контекста, более стабильную генерацию и высокое качество работы с длинными последовательностями. Особенно хорошо проявляет себя в задачах суммаризации, QA, перевода и мультимодальных сценариях.

Где это полезно
- Суммаризация документов
- Машинный перевод
- Поиск и RAG-системы
- Мультимодальные ассистенты
- Обработка длинных текстов без агрессивного чанкинга

T5Gemma 2 показывает, что encoder-decoder подход по-прежнему актуален и может конкурировать с decoder-only моделями, особенно в задачах понимания и структурированной генерации.

https://blog.google/technology/developers/t5gemma-2/
❤4👍2🔥2
🔥 2025 - год, когда LLM действительно изменились. Коротко и по делу, по мотивам поста Андрея Карпты

2025 оказался неожиданно сильным годом для LLM. Не просто улучшения метрик, а реальные сдвиги в том, как модели обучаются, как ими пользуются и как вообще стоит думать об их «интеллекте».

Главное за 2025 по мнению Карпты:
1. RLVR — Reinforcement Learning from Verifiable Rewards
До 2025 стандартный стек выглядел так: pretraining → SFT → RLHF. В 2025 к этому стеку добавился новый, ключевой этап- RLVR.

Вместо субъективной человеческой оценки модель обучают на автоматически проверяемых наградах: задачи по математике, коду, логике. В результате LLM сама находит стратегии рассуждения - дробит задачи, проверяет гипотезы, возвращается назад.

Важно не «что мы показали модели», а то, что она сама нашла рабочие способы думать. Этот этап оказался невероятно эффективным по соотношению capability к стоимости, из-за чего значительная часть вычислений ушла не в pretraining, а в длинные RL-прогоны.

Побочный эффект — появился новый регулятор мощности: test-time compute. Больше «времени на размышление» — выше качество. o1 показал идею, o3 в начале 2025 сделал перелом — разницу стало чувствовать интуитивно.

2. «Призраки, а не животные» и рваный интеллект
В 2025 индустрия наконец осознала форму LLM-интеллекта. Мы не «растим животных». Мы «призываем призраков».

LLM оптимизированы не под выживание и социальные группы, а под имитацию текста, получение наград в формальных задачах и апвоты. Поэтому интеллект получается рваным:
- гениальны в одном
- наивны и уязвимы в другом

RLVR усиливает этот эффект - модели становятся сверхсильными в верифицируемых доменах и странно слабыми вне их. Отсюда и потеря доверия к бенчмаркам: они почти всегда верифицируемы, а значит легко «обрастают jagged-улучшениями». Обучение на тесте стало искусством.

Можно побить все бенчмарки и всё ещё быть далеко от AGI.

3. Cursor и новый слой LLM-приложений
Cursor показал, что появился новый класс LLM-продуктов - «Cursor для X».

Это не просто интерфейс к модели, а слой, который:
- делает context engineering
- оркестрирует множество LLM-вызовов в DAG
- балансирует стоимость и качество
- дает специализированный UI
- вводит «ползунок автономности»

Вероятный сценарий: LLM-лабы делают «универсального студента», а приложения превращают их в специалистов — добавляя данные, инструменты, сенсоры и обратную связь.

4. Claude Code - AI, который живет на твоем компьютере
Claude Code стал первым убедительным агентом, который работает локально, в твоем окружении, с твоими файлами и контекстом.

Это важный сдвиг. Не облачные контейнеры и абстрактные агенты, а «дух», который живет рядом с разработчиком. В мире рваных возможностей это оказалось гораздо полезнее, чем агентные своры в облаке.

Форм-фактор CLI сделал этот сдвиг особенно наглядным: AI - это уже не сайт, а постоянный спутник.

5. Vibe coding
2025 - год, когда стало возможно писать сложные программы, почти забыв, что код вообще существует.

Vibe coding демократизирует программирование:
- обычные люди могут создавать софт
- профессионалы пишут больше, быстрее и смелее
- код стал дешевым, одноразовым, экспериментальным

Можно написать программу ради одной проверки, одного бага, одной идеи - и выкинуть. Это изменит и софт, и профессии.

6. Nano banana и будущее интерфейсов
Чат - это терминал 80-х. Удобно для машины, плохо для человека.

Люди предпочитают визуальное мышление: схемы, изображения, анимации, интерфейсы. LLM должны общаться с нами в этих форматах. Gemini Nano banana - первый намек на настоящий LLM-GUI, где текст, изображения и знания слиты в одной модели.

Это не просто генерация картинок — это новый пользовательский слой для интеллекта.


2025 показал: LLM - это новый тип интеллекта. Он одновременно умнее и глупее, чем ожидали. Он невероятно полезен, но мы реализовали, возможно, даже не 10% его потенциала.

Прогресс будет быстрым. Работы впереди — море. Поле идей - открыто.

https://x.com/karpathy/status/2002118205729562949

@data_analysis_ml
❤9👍6🔥1🤯1🤡1
Forwarded from Новости Linux
Gemini AI генерирует небрежный код для разработки Ubuntu с новым вспомогательным скриптом

Несколько недель назад инженер Canonical сообщил, что попытка использовать ИИ для модернизации отслеживателя ошибок Ubuntu привела к созданию кода, который был «просто неправильным», а также к другим проблемам, вызванным кодом от Microsoft GitHub Copilot. Тот же разработчик Ubuntu переключился на использование Gemini AI для создания вспомогательного скрипта, который должен был помочь с ежемесячными выпусками ISO-образов Ubuntu. Однако Gemini AI от Google также сгенерировал небрежный код для этого Python-скрипта, предназначенного для помощи с этими релизами Ubuntu...

Читать полностью

#Phoronix
@linux_potok
😁7❤3👍1
Forwarded from ODS Events
Привет!

Встречайте двадцать пятый выпуск подкаста "Капитанский мостик". В этом разговоре обсуждаются ключевые темы, связанные с развитием технологий и искусственного интеллекта. Участники делятся мнениями о зрелости рынка, важности перевода знаний, языковых барьеров, монетизации технологий и качестве кода, сгенерированного AI. Ведущие подкаста - Валентин Малых и Дмитрий Колодезев.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube

📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
🔥2❤1🥰1
Forwarded from Код.ру
This media is not supported in your browser
VIEW IN TELEGRAM
🤷‍♂️ Не справились с ситуацией

В Сан-Франциско из-за масштабного отключения электроэнергии на сутки вышли из строя роботакси Waymo.

В городе перестали работать светофоры, из-за чего роботакси устроили пробки на дорогах.

↖️ https://kod.ru/waymo-sboi-taxi-san-francisco
Please open Telegram to view this post
VIEW IN TELEGRAM
😁2🤯2❤1
Forwarded from ML Underhood
Alice AI VLM dev на MWS Vision Bench: что конкретно изменилось в модели (и вокруг неё)

Сегодня наша базовая визуально-языковая модель Alice AI VLM dev появились на втором месте в MWS Vision Bench с результатами Overall private test: 0,637 (img→text: 0,886, img→markdown: 0,747, Grounding: 0,065, KIE (JSON): 0,751, VQA: 0,737). Alice AI VLM dev — часть большой Alice AI VLM. Расскажем, как всё обучалось.

Инженеры Яндекса сумели добиться хороших результатов благодаря обучению модели не только под пользовательские сценарии, но и под бизнесовые. Внутри компании используют VLM для автоматизации документооборота, разметок и многого другого. На этих доменах модель обучается как на стадии претрейна, так и на стадии алайнмента.

В сценарии «картинка + вопрос» качество упирается не только в генерацию ответа, но и в то, как модель видит изображение, читает текст на нём и следует инструкции. В продакшене Alice AI VLM работает в связке: «называтель» извлекает объекты и строит их иерархию с учётом текстового запроса, а VLM‑рефразер маршрутизирует запрос либо в основной VLM‑генератор, либо в специализированные ветки (например, «решатель»), либо в Alice AI LLM. Alice AI VLM dev (она же базовая VLM) — это та же модель, которая работает в продакшене как «генератор» и «решатель», но обрабатывающая запросы пользователя напрямую, без предыдущих этапов.

Обучение VLM двухэтапное: на претрейне мультимодальное next‑token-обучение на большом корпусе, а на алайнменте — SFT + RL, где модель доводят до «ассистентского» поведения.

Претрейн

Увеличили Image‑encoder и размер картинки на входе без деградации — с 896×896 до 1024×1024. Благодаря этому выросло качество работы с деталями, вроде формул, таблиц, этикеток и дорожных знаков.

Также переформатировали OCR‑данные. Раньше в датасете часто встречались пары «картинка + весь распознанный текст», что хорошо помогало учить модель непосредственно на чтение, но этого было недостаточно для некоторых других сценариев. Например для задач на понимание логической и пространственной связи между блоками текста.

Теперь обучают VLM отвечать в разных форматах на OCR-данных: выписывая весь текст самостоятельно, выписывая координаты текста вместе с ним, используя текст внешнего OCR или напрямую отвечая на вопрос пользователя. Такой grounded‑OCR улучшает извлечение таблиц и списков, а также выполнение задач на поиск контента.

Объём претрейна увеличился с 400 миллиардов до 600 миллиардов токенов, а максимальную длину контекста целенаправленно проучили до 32 тысяч. Это позволяет обрабатыватьдлинные документы и несколько изображений в одном запросе.

Алайнмент

Раньше фотоинпут получался через дообучение поверх базовой VLM Яндекса: это давало продуктовые фичи, но обновления базовой модели требовали пересборки датасетов, а по пути могли проседать базовые навыки (OCR, следование некоторым инструкциям).

В последнем релизе сделали «Алису из коробки»: та же базовая VLM стала Alice AI VLM — моделью, отвечающей пользователю. А датасеты и метрики алайнмента объединили так, чтобы одновременно контролировать показатели как «технической» мультимодальности, так и продуктовой.

Отдельно перенесли сетап RL из текстовой Alice AI LLM. Теперь оптимизируют не только правильность, но и полноту, полезность и проактивность ответа. На потоковой корзине SbS новая версия выигрывает у предыдущей в 63% случаев.

Подробнее об обучении нашей VLM — читайте в соответствующем разделе технического отчёта. Там же можно узнать и об изменениях в других моделях семейства.

ML Underhood
❤4🔥4👍2
Forwarded from AI VK Hub
Media is too big
VIEW IN TELEGRAM
🎬 На ридинг-группе 18 декабря Роман Болозовский, ML-инженер AI VK, разобрал статью про SilverTorch — фреймворк, который предлагает упростить работу с крупными рекомендательными моделями и расширить к ним доступ.

Поговорили о месте SilverTorch в экосистеме рекомендательных систем, его возможностях масштабирования, о том, какие задачи он реально закрывает, и где заявленная «демократизация» по-прежнему требует внушительных вычислительных ресурсов. Также обсудили практические кейсы использования и потенциальную ценность инструмента для команд и исследователей.

Запись ридинг-группы уже здесь — можно посмотреть в удобное время.

#ридинггруппа #aivk
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🤣1
Forwarded from Machinelearning
🚀 Вышел QwenLong-L1.5 - модель для long-context reasoning, которая на длинных контекстах конкурирует с GPT-5 и Gemini-2.5-Pro.

Коротко о модели
- 30B параметров, из них 3B активных
- Заточена под рассуждение на очень длинных контекстах
- Полностью открыты веса, код обучения и рецепты данных

Ключевые показатели:
- +31.7 балла на OpenAI MRCR при контексте 128K - SOTA среди всех моделей
- На уровне Gemini-2.5-Pro на 6 крупных long-QA бенчмарках
- +9.69 на CorpusQA
- +6.16 на LongBench-V2

Что интересного.

1. Синтетические данные в масштабе
14.1K длинных reasoning-сэмплов из 9.2B токенов без ручной разметки.
Средняя длина - 34K токенов, максимум - 119K.

2. Стабильное RL-обучение
Используется балансировка задач и Adaptive Entropy-Controlled Policy Optimization (AEPO), что позволяет стабильно обучать модели на длинных последовательностях.

3. Архитектура с памятью
Итеративные обновления памяти за пределами окна 256K токенов.
Результат - +9.48 балла на задачах с контекстом от 1M до 4M токенов.

QwenLong-L1.5 - это один из самых сильных open-source шагов в сторону реально масштабируемого ризонинга с длинным контекстом

Модель интересна не только результатами, но и тем, что весь стек обучения открыт.

GitHub: https://github.com/Tongyi-Zhiwen/Qwen-Doc
Paper: https://modelscope.cn/papers/2512.12967
Model: https://modelscope.cn/models/iic/QwenLong-L1.5-30B-A3B
HF: https://huggingface.co/Tongyi-Zhiwen/QwenLong-L1.5-30B-A3B

@ai_machinelearning_big_data

#AI, #LLM, #opensource, #long #Owen
❤6👍4🔥3