Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
OpenAI выпустила GPT-6.1 Terra для агентных сценариев, работы с компьютером и повседневного кодинга. Цена в API вдвое ниже, чем у GPT-5.6 Terra: $1 за миллион входных токенов вместо $2 и $6 за миллион выходных вместо $12.
По словам OpenAI, модель решает задачи более чем втрое быстрее, чем Astra и GPT-6.1 Sol. На Agents' Last Exam она заметно обходит GPT-5.6 Terra и, как сообщается, сравнима с GPT-6 Astra при цене токена примерно в десять раз ниже.
Доступна в ChatGPT Work, Codex и через API под id gpt-6.1-terra. В ChatGPT раскатка идёт на Plus, Pro, Enterprise и Edu.
Источник: https://openai.com/index/introducing-gpt-6-1-terra/
@ai_machinelearning_big_data
#ChatGPT #OpenAI
Please open Telegram to view this post
VIEW IN TELEGRAM
❤17🔥13👍9👏9😁9💯8🎉7🤔4
🛠️️️️️️ Для Qwen3-8B не нужна RTX 4090. Но размер контекста может изменить требования к памяти в разы.
По оценке llamaperf, в Q4_K_M с контекстом 8K модель требует около 7,5 ГБ памяти: веса, KV-кеш и рабочие буферы.
Это ориентир для запуска на видеокарте с 10 ГБ VRAM или Mac с Apple Silicon и 16 ГБ объединённой памяти. На Mac часть памяти также нужна системе и приложениям.
А теперь увеличим контекст до 128K: один только KV-кеш в 16-битном формате займёт около 19 ГБ, дополнительно к весам и буферам.
KV-кеш хранит промежуточные данные обработки контекста. Чем длиннее окно, тем больше памяти ему требуется. Квантизация весов до Q4 сама по себе не делает кеш четырёхбитным.
Фактический расход зависит от движка, формата кеша и настроек. Для 128K также нужна соответствующая настройка расширения контекста.
При локальном запуске считайте память под модель вместе с нужной длиной диалога. Для коротких задач максимальное окно часто просто не требуется.
https://llamaperf.com/model/qwen3/vram
По оценке llamaperf, в Q4_K_M с контекстом 8K модель требует около 7,5 ГБ памяти: веса, KV-кеш и рабочие буферы.
Это ориентир для запуска на видеокарте с 10 ГБ VRAM или Mac с Apple Silicon и 16 ГБ объединённой памяти. На Mac часть памяти также нужна системе и приложениям.
А теперь увеличим контекст до 128K: один только KV-кеш в 16-битном формате займёт около 19 ГБ, дополнительно к весам и буферам.
KV-кеш хранит промежуточные данные обработки контекста. Чем длиннее окно, тем больше памяти ему требуется. Квантизация весов до Q4 сама по себе не делает кеш четырёхбитным.
Фактический расход зависит от движка, формата кеша и настроек. Для 128K также нужна соответствующая настройка расширения контекста.
При локальном запуске считайте память под модель вместе с нужной длиной диалога. Для коротких задач максимальное окно часто просто не требуется.
https://llamaperf.com/model/qwen3/vram
❤12👏11👍9🔥7💯7😁6🥴5🤔3🎉3
This media is not supported in your browser
VIEW IN TELEGRAM
Gemini помогла ускорить Gemma в 2,85 раза – за несколько дней.
По данным Google, Gemini 4 Argon использовали для оптимизации инференса Gemma 4 E2B в vLLM на NVIDIA A100.
В опубликованном замере пропускная способность выросла с примерно 37 900 до более 108 000 токенов в секунду. Компания заявляет о полном совпадении выходных токенов и отсутствии потери качества в проверенных сценариях.
Изменения затрагивают разные части выполнения модели: от настройки attention до спекулятивного декодирования.
Это ускорение программного стека, обслуживающего модель. Практический смысл – выполнять больше работы на том же оборудовании.
Цифры относятся к конкретному замеру: без параметров нагрузки их нельзя переносить на любой сервер или считать скоростью ответа одного чата.
Код изменений можно изучить в публичных PR:
https://github.com/vllm-project/vllm/pulls?q=is%3Apr+author%3Alucianommartins+created%3A%3E2026-10-05+created%3A%3C2026-10-10
По данным Google, Gemini 4 Argon использовали для оптимизации инференса Gemma 4 E2B в vLLM на NVIDIA A100.
В опубликованном замере пропускная способность выросла с примерно 37 900 до более 108 000 токенов в секунду. Компания заявляет о полном совпадении выходных токенов и отсутствии потери качества в проверенных сценариях.
Изменения затрагивают разные части выполнения модели: от настройки attention до спекулятивного декодирования.
Это ускорение программного стека, обслуживающего модель. Практический смысл – выполнять больше работы на том же оборудовании.
Цифры относятся к конкретному замеру: без параметров нагрузки их нельзя переносить на любой сервер или считать скоростью ответа одного чата.
Код изменений можно изучить в публичных PR:
https://github.com/vllm-project/vllm/pulls?q=is%3Apr+author%3Alucianommartins+created%3A%3E2026-10-05+created%3A%3C2026-10-10
👍15🔥10🤔8🎉8💯4👏3❤1😁1
Как меняется BI и Data Analyst с ИИ — и что уже стоит применять в работе?
Новые инструменты появляются постоянно. Какие из них действительно помогают решать задачи бизнеса, ускоряют работу с данными и заслуживают вашего времени?
24 ноября в Москве на ViRush 2026 Visiology соберёт аналитиков данных, архитекторов и руководителей, чтобы соединить взгляд бизнеса, опыт заказчиков и техническую практику.
За один день:
🔹 Реальные проекты: задачи бизнеса, выбор инструментов и результаты с цифрами и выводами.
🔹 BI и Visiology Cortex в действии: от архитектуры аналитики до создания дашбордов и работы с данными с помощью ИИ.
🔹 Общение с экспертами: обсудите свой проект, задайте вопросы и узнайте, как похожие задачи решают другие.
📍 24 ноября · Москва · Soluxe Hotel Moscow
Онлайн-трансляции не будет. Даже если пока не уверены, что приедете, зарегистрируйтесь сейчас — и получите видеоматериалы
выступлений.
Новые инструменты появляются постоянно. Какие из них действительно помогают решать задачи бизнеса, ускоряют работу с данными и заслуживают вашего времени?
24 ноября в Москве на ViRush 2026 Visiology соберёт аналитиков данных, архитекторов и руководителей, чтобы соединить взгляд бизнеса, опыт заказчиков и техническую практику.
За один день:
🔹 Реальные проекты: задачи бизнеса, выбор инструментов и результаты с цифрами и выводами.
🔹 BI и Visiology Cortex в действии: от архитектуры аналитики до создания дашбордов и работы с данными с помощью ИИ.
🔹 Общение с экспертами: обсудите свой проект, задайте вопросы и узнайте, как похожие задачи решают другие.
📍 24 ноября · Москва · Soluxe Hotel Moscow
Онлайн-трансляции не будет. Даже если пока не уверены, что приедете, зарегистрируйтесь сейчас — и получите видеоматериалы
выступлений.
🔥9🎉7👍5👏4❤3👌3😁2💯2🤔1🥴1
Baidu открыла Unlimited OCR 2 - модель для распознавания документов на сотни страниц без постоянного роста затрат на каждый следующий токен.
Она обрабатывает многостраничный документ с учётом контекста между страницами.
В основе – Sparse Reference Sliding Window Attention (SR-SWA): модель обращается к небольшому набору наиболее нужных визуальных данных. Механизм Unlimited-Horizon Decoding освобождает участки KV-кэша, которые больше не нужны.
Это позволяет сохранять почти постоянные задержку и расход памяти на каждом шаге генерации, даже когда документ становится длиннее.
По результатам авторов:
- На документах из 100 страниц декодирование на один шаг быстрее в 7 раз, чем с полным вниманием, и в 5,6 раза, чем с R-SWA.
- Высокая точность разбора сохраняется на документах до 300 страниц.
- Модель показывает лучшие результаты на MPDocBench и MarathonDocBench.
Ускорение относится к отдельному шагу декодирования, а не ко времени обработки всего документа.
Доступны запуск через Transformers и SGLang, код опубликован под лицензией MIT.
https://github.com/baidu/Unlimited-OCR
Она обрабатывает многостраничный документ с учётом контекста между страницами.
В основе – Sparse Reference Sliding Window Attention (SR-SWA): модель обращается к небольшому набору наиболее нужных визуальных данных. Механизм Unlimited-Horizon Decoding освобождает участки KV-кэша, которые больше не нужны.
Это позволяет сохранять почти постоянные задержку и расход памяти на каждом шаге генерации, даже когда документ становится длиннее.
По результатам авторов:
- На документах из 100 страниц декодирование на один шаг быстрее в 7 раз, чем с полным вниманием, и в 5,6 раза, чем с R-SWA.
- Высокая точность разбора сохраняется на документах до 300 страниц.
- Модель показывает лучшие результаты на MPDocBench и MarathonDocBench.
Ускорение относится к отдельному шагу декодирования, а не ко времени обработки всего документа.
Доступны запуск через Transformers и SGLang, код опубликован под лицензией MIT.
https://github.com/baidu/Unlimited-OCR
🔥14👍13❤12👏12💯9🎉8😁4🤔3
inclusionAI открыла две версии Ling: обновлённую модель для агентов и базовые веса для дообучения. Обе – под MIT.
Ling-3.1-flash-1019 получила улучшения рассуждений и многошаговой работы с инструментами.
Характеристики: 560 млрд параметров, 25 млрд активных на токен и контекст 1 млн токенов. Гибридная MoE-архитектура сочетает линейное внимание KDA и Gated MLA.
По данным команды, относительно предыдущей версии:
- AutomationBench-AA: с 62% до 68%.
- CritPt: с 18% до 26%.
- SciCode: с 54% до 57%.
- Artificial Analysis Intelligence Index: с 41 до 44.
Ling-3.1-flash-base – базовый чекпойнт той же архитектуры для продолжения предобучения, адаптации под предметную область, SFT, обучения с подкреплением и исследований дистилляции.
Базовая версия опубликована в BF16, хотя обучение проводилось в FP8. Для непосредственного использования в качестве чат-ассистента она не предназначена.
Для запуска обновлённой модели доступны инструкции под SGLang и vLLM.
Обновлённая модель: https://huggingface.co/inclusionAI/Ling-3.1-flash-1019
Базовые веса: https://huggingface.co/inclusionAI/Ling-3.1-flash-base
Ling-3.1-flash-1019 получила улучшения рассуждений и многошаговой работы с инструментами.
Характеристики: 560 млрд параметров, 25 млрд активных на токен и контекст 1 млн токенов. Гибридная MoE-архитектура сочетает линейное внимание KDA и Gated MLA.
По данным команды, относительно предыдущей версии:
- AutomationBench-AA: с 62% до 68%.
- CritPt: с 18% до 26%.
- SciCode: с 54% до 57%.
- Artificial Analysis Intelligence Index: с 41 до 44.
Ling-3.1-flash-base – базовый чекпойнт той же архитектуры для продолжения предобучения, адаптации под предметную область, SFT, обучения с подкреплением и исследований дистилляции.
Базовая версия опубликована в BF16, хотя обучение проводилось в FP8. Для непосредственного использования в качестве чат-ассистента она не предназначена.
Для запуска обновлённой модели доступны инструкции под SGLang и vLLM.
Обновлённая модель: https://huggingface.co/inclusionAI/Ling-3.1-flash-1019
Базовые веса: https://huggingface.co/inclusionAI/Ling-3.1-flash-base
❤2💯2👍1🔥1😁1