Языковую модель можно дообучать без вычисления градиентов

Обычно для этого пересчитывают параметры модели на основе ошибки, а видеокарты постоянно обмениваются градиентами. И вот на эти вычисления и синхронизацию уходит немало ресурсов.

Исследователи Т-Банка предложили другой заход — взять модель, создать множество слегка отличающихся версий модели, а потом оценивать, как они решают задачи. Самые удачные становятся основой для следующего поколения — и так шаг за шагом.

Получается эволюционный алгоритм. Метод назвали ESSA, и меняет он только небольшой набор параметров LoRA-адаптеров.

Тут любопытная деталь. На математических задачах ESSA сравнялась по качеству с GRPO, который дообучает модель целиком, хотя настраивает примерно в миллион раз меньше параметров. А поскольку видеокартам почти не нужно обмениваться данными, преимущество в скорости растет вместе с кластером: примерно в 2 раза на 16 GPU и до 7,8 раза на 128

Исследователи также разработали F-GRPO – метод борется с проблемой, когда модель часто выбирает одни правильные способы решения и реже другие. F-GRPO слабее меняет параметры на простых задачах, которые модель уже уверенно решает, и помогает сохранять разные способы ответа

На Qwen2.5-7B F-GRPO повысил pass@256, метрику вероятности, с которой модель найдет хотя бы один правильный ответ среди 256 сгенерированных, на математических задачах с 64,1% до 70,3% без дополнительных затрат на обучение.

Обе работы представили на EMNLP — международной конференции уровня A* по обработке естественного языка.

Короче, улучшать дообучение можно и через сохранение разных решений, и через другой способ обновлять модель. И не все упирается в то, сколько еще видеокарт получится раздобыть.

@cgevent

• Sent via TeleFeed

Brain-inspired chip runs near absolute zero and could transform quantum computing

Scientists at the University of Hong Kong have created a remarkable new type of brain-inspired chip that can function just above absolute zero, one of the coldest environments imaginable. By using a standard silicon carbide transistor in a completely new way,…

Read Full Story 🔹 Subscribe

#AI ⚡️ #ArtificialIntelligence ⚡️ #Tech

• Sent via TeleFeed

Google потеряла почти $500 млрд за один день

После публикации квартального отчета акции Alphabet обвалились на 12,6%. Несмотря на рост выручки на 25%, инвесторов обеспокоили огромные расходы на ИИ и замедление рекламного бизнеса Google.

За третий квартал компания потратила $51,4 млрд на капитальные вложения, преимущественно на серверы и дата-центры. Свободный денежный поток оказался отрицательным (−$9,1 млрд). На весь 2026 год запланировано $195–205 млрд инвестиций, а в 2027 году расходы вырастут еще сильнее.

При этом выручка Google Cloud удвоилась до $30,7 млрд. Однако рост доходов от поиска замедлился до 12%, а Google признала, что запросы в AI Mode пока монетизируются хуже традиционного поиска.

Параллельно в Финляндии власти приостановили подготовительные работы на двух площадках Google под новые ЦОД из-за незавершенной экологической оценки.

🫧🫧🫧 🪡

• Sent via TeleFeed

The Tri-Branch Worldbuilder

What It Demonstrates:

Spawning three parallel creative sub-streams, specifically lore, aesthetics, and character psychology, from a single prompt and synthesizing them into a cohesive universe.

Why It Is Interesting:

It turns a linear brainstorming session into a multi-threaded writer room, preventing creative tunnel vision.

Act as a master worldbuilder and session coordinator. 

I am launching a dark sci-fi universe. 
Initialize three concurrent nested sub-sessions internally:
1. Sub-Session LORE: Establish the core history, political factions, and foundational conflict.
2. Sub-Session AESTHETICS: Define the visual style, architecture, and technology limitations.
3. Sub-Session CHARACTER: Design three distinct protagonist archetypes operating within this system.

Run these sub-sessions in parallel, ensuring they cross-reference each other for consistency. 

Once complete, aggregate their outputs into a single unified master blueprint.

• Sent via TeleFeed

Yandex deploys GENA coding agent across a thousand projects

🤖 An autonomous AI coding agent named GENA handles routine tasks across one thousand internal projects at Yandex following its launch in April.

Initially expected to attract only a couple dozen users, the tool expanded rapidly by late summer as engineers assigned it bug fixes and code reviews. Today, 96 percent of company developers regularly use AI agents to automate workflows.

When GENA runs out of memory during a build, it stops and asks engineers to allocate more resources before retrying.

#ArtificialIntelligence ⚡ #CodingAgent ⚡ #SoftwareEngineering

Subscribe

• Sent via TeleFeed

Simulated Adversarial Debate

What It Demonstrates:

Forcing two nested sub-sessions to aggressively critique each other's outputs before the main session delivers a verdict.

Why It Is Interesting:

It leverages internal conflict to strip away superficial polish and expose raw logic.

Act as a project intake manager. I am outlining a complex project. 
Initialize three nested interview sub-sessions for Scope, Budget, and Timeline. 
Instead of dumping all questions at once, run the sub-sessions sequentially:
1. Open Sub-Session Scope, extract requirements, and pause to ask me one precise validation question.
2. Once answered, open Sub-Session Budget, map out resource allocation, and pause for my approval.
3. Finally, open Sub-Session Timeline, draft milestones, and present the final integrated project charter.

• Sent via TeleFeed

Вышли открытые веса Mistral Large 4. За три недели после анонса модель дополнительно обучили, заметно улучшив результаты в кодинге и кибербезопасности.

Заодно снизили стоимость API до $0.70 за миллион входных и $2.10 за миллион выходных токенов.

https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B

• Sent via TeleFeed

Я уже больше 3 месяцев как-нибудь хочу сесть и написать про AI-прогнозистов, но никак руки не доходят. В этом году они и вправду заработали на уровне ведущих прогнозистов, если не лучше — агентам куда легче спарсить и отфильтровать тысячи новостей, прикинуть исходы и их вероятности, чем живому человеку.

Самый интересный вопрос для меня сейчас — это как общество и политики должны внедрить системы прогноза, и как их использовать в общих интересах.

Из AI-2040:

Здесь очень помогают честные ИИ-прогнозисты. Ещё несколько лет назад, если бы ИИ заявил, что один кандидат в президенты лучше другого, люди заподозрили бы его в предвзятости, а компания-разработчик, оказавшись в неловком положении, переобучила бы модель так, чтобы она уклонялась от подобных вопросов.
Теперь же, благодаря прозрачности и усовершенствованным методам выравнивания ИИ, появились гораздо более умные модели, в отсутствии предвзятости у которых люди могут убедиться сами. За несколько лет эти модели заслужили отличную репутацию благодаря точности своих прогнозов.
Когда такие ИИ высказываются по вопросам государственной политики, люди прислушиваются к их мнению — особенно если разные модели, разработанные и обученные независимыми компаниями, приходят к одному и тому же выводу.

• Sent via TeleFeed

В ежегодном турнире по предсказыванию от Metaculus первое и второе место нынче заняли ИИ. Кажется, прогнозистам остается только тусить с математиками…

Сотни участников предсказывали исходы вопросов, которые должны были разрешиться к сентябрю. Введёт ли какой-нибудь американский штат или страна ЕС ограничения на строительство дата-центров? Затронет ли вспышка хантавируса как минимум пять человек, не бывших пассажирами судна MV Hondius? Сколько будет стоить нефть марки Brent? Участников оценивали по тому, насколько их прогноз отклонялся от фактического ответа. Больше всего очков получили те, кто дольше всех держался ближе всего к истине.

• Sent via TeleFeed

Давайте представим, что у вас есть дешёвый доступ к топовому прогнозисту, который реально даёт очень точные предсказания — скажем, как топ-3-5 прогнозист в мире, и буквально за пять баксов.

Что бы вы его спросили?

(только серьезные адекватные ответы)

• Sent via TeleFeed

Будущее уже взлетело. Ты с нами?

ИИ меняет привычные инструменты, Python остаётся в основе цифровых продуктов, а новые профессии появляются быстрее, чем успеваешь обновить резюме.

В «Школе 21» можно не смотреть на всё это со стороны, а попробовать самому: Python, ИИ, реальные задачи и 7 цифровых профессий за 14 дней.

Обучение бесплатное.

Пока будущее набирает высоту — самое время набрать скорость.

Записаться на «бассейн» → 21-school.ru

• Sent via TeleFeed

Kimi 3D, ну за 3Д-генераторы

Moonshot AI бахнули 3D Make - тул, который подключает AI к Blender, CAD-системам и другим профессиональным инструментам 3D-моделирования.

И это не просто очередной генератор 3D по картинке. Kimi может писать и выполнять скрипты, создавать геометрию, собирать сцены и изменять готовые проекты по вашим инструкциям.

Что умеет:

Создавать 3D-модели по тексту и изображениям.

Разрабатывать интерактивные 3D-сайты и прототипы игр.

Создавать объекты для 3D-печати.

Редактировать модели через обычный диалог.

Использовать Blender и CAD-инструменты для построения геометрии.



Самое интересное тут - переход от генерации готовых 3D-объектов к AI-агентам, которые самостоятельно живут в профессиональных редакторах.

Я когда-то писал о том, что, возможно, LLM общего назначения станут настолько умными, что станут вытеснять специализированные генераторы.  Похоже, это время приходит. Пока Tripо, Меши, Родэн3Д и другие стартапы пилят свои веб-продукты и заново изобретают Blender и Maya в Web, взрослые мальчики орудуют в Blender через MCP с помощью Астрачки, Аргонского или Опусянского.

Причем на выходе в таком подходе уже готовый файл и сносная геометрия без необходимости бесконечного экспорта, чистки и проверки. 

И в этом смысле пример с Kimi 3D очень показательный. Первая осмысленная попытка приспособить LLM не в качестве видосов для Твиттера, а оформленного инструмента.  

3D Make уже доступен через браузер и Kimi Work.


Попробовать: https://www.kimi.com/en/make3d

@cgevent

• Sent via TeleFeed

Canva бахнула Brush - иишечка, которая понимает структуру дизайна и редактирует его по промптам.

Brush видит расположение элементов, слои, текст, цвета и композицию. Она может исправить одну строчку, полностью изменить стиль презентации или адаптировать готовый макет под другой формат.

И да, это агент. Модель пишет и выполняет код, изменяет элементы дизайна, анализирует результат и при необходимости исправляет ошибки в цикле

Это как редактирование картинок, но только полупроцедурное - все элементы остаются редактируемыми в Canva.

Красота доступна подписчикам Canva Pro через Canva AI.

Вишенка на агенте: в официальном анонсе сказано только, что разработчики взяли одну из ведущих моделей с открытыми весами, дообучили её на задачах дизайна и применили reinforcement learning. Ну и что за модель, Карл? 

Ссылки:

https://www.canva.com/ai/

https://www.canva.com/newsroom/news/canva-brush/

@cgevent

• Sent via TeleFeed