Google анонсировала Gemma: новое поколение малых ИИ-моделей

Gemma - семейство легких и современных ИИ моделей (2B/7B), теперь в Vertex AI и GKE.
Созданы на базе технологий, лежащих в основе Gemini.
Обеспечивают высокую производительность, опережая аналоги и доступны для запуска локально.
Предлагаются в двух размерах: Gemma 2B и Gemma 7B.
Поддержка широкого спектра платформ: от Colab до PyTorch и Keras 3.0.
Работают на разных устройствах, включая лэптопы и Google Cloud.
Включено в набор моделей в Vertex AI Model Garden.

#Gemma #VertexAI #GKE

Разработчик пофиксил 8 багов в модели GEMMA от Google и сделал её в 100 раз лучше

Энтузиаст устранил 8 ошибок в языковой модели GEMMA от Google,на 6 триллионов токенов.
Благодаря этому модель стала лучше генерировать тексты, близкие к человеческим.
У GEMMA все еще остаются проблемы с пониманием контекста и сохранением связности текста.
Одна из исправленных ошибок приводила к повторению одного и того же ответа на разные запросы.
Список багов:
- Must add <bos> or else losses will be very high.
- There’s a typo for model in the technical report!
- sqrt(3072)=55.4256 but bfloat16 is 55.5.
Layernorm (w+1) must be in float32.
- Keras mixed_bfloat16 RoPE is wrong.
RoPE is sensitive to y*(1/x) vs y/x.
- RoPE should be float32 - already pushed to transformers 4.38.2.
- GELU should be approx tanh not exact.

Предложены пути дальнейшего усовершенствования: контекстное обучение, устранение предвзятостей, разнообразие методов реализации.

Интересно, что модели которые уже выпущены, получается могут содержать ошибки, исправление которых повышает их общую эффективность на 2 порядка.
Думаю, многие не учитывают этот фактор в прогнозах.
Когда ИИ помогает разработчику, - повышается его общая эффективность и это дополнительно ускоряет прогресс, помимо Мура и т.д.

#GEMMA #Google #debugging
-------
@tsingular

🚀 Gemma Developer Day

Уже через пару часов, в 12:30 по CET, Google DeepMind откроет конференцию Gemma Developer Day in Paris.

Очень ждём Gemma 3, конечно, судя по тому что есть в программе:

1. Архитектурные изменения - Alek Andreev и команда расскажут о дизайн-решениях, которые легли в основу новой модели. Судя по докладу "Understanding Gemma architecture choices", Google серьезно переработал внутренности.

2. Многоязычность - Adi Mayrav Gilady поделится стратегиями обучения, которые делают Gemma многоязычной. Отличная новость для интернациональных проектов и локализации! (В Gemma2 до сих пор русский лучше всего работает)

3. PaliGemma - Модель получила "глаза" через SigLIP-энкодер. Особенно круто, что она предобучена на задачах распознавания объектов и сегментации, а не только на подписях к картинкам.

4. Мобильность и десктоп - Модель будет работать на Mac и Windows через Ollama. А раздел "Gemma on mobile and web" обещает интеграцию через MediaPipe и LiteRT.

5. Безопасность - ShieldGemma на базе Gemma 2 будет выявлять потенциально вредоносный контент, а SynthID добавит водяные знаки для идентификации ИИ-сгенерированного текста. (это она получается и генерить картинки что-ли будет? )

- Доклад про "Building intelligent agents with Gemma" расскажет о function calling, планировании ответов и рассуждениях.

- Поддержка на Jetson устройствах от NVIDIA (доклад Asier Arranz) открывает возможности для edge-вычислений в промышленности и роботах.

Так же расскажут про файнтюнинг и дистилляцию.

#gemma #google #ollama
———
@tsingular

Google представил Gemma 3 QAT: собственный вариант квантизации Q4 для домашних видеокарт

Google выпустил новую версию Gemma 3, оптимизированную с помощью Quantization-Aware Training.

Технология позволяет даже 27B-модели функционировать на обычных потребительских GPU вроде RTX 3090.

Квантизация снижает точность представления параметров с 16 до 4 бит, что дает четырехкратное уменьшение занимаемой памяти.

Однако благодаря интеграции процесса квантизации в тренировку удалось минимизировать падение качества на 54%.

Требования к видеопамяти сократились: для Gemma 3 12B – с 18 до 4.5 ГБ, для Gemma 3 27B – с 54 до 13.5 ГБ.

Официальные int4 и Q4_0 модели доступны на Hugging Face и Kaggle, с поддержкой Ollama, llama.cpp и MLX.

Получается, что Гугл, проведя собственную квантизацию модели в 2 раза повысил качество по сравнению с тем, что делало сообщество самостоятельно.

В ollama по умолчанию доступна старая нарезка. Чтобы подгрузить QAT версию используйте команду:

ollama run gemma3:27b-it-qat

#Google #Gemma #QAT
———
@tsingular

Сделал парсер для PDF файлов с Ollama глазками на базе gemma3:27b-it-qat

Вдруг кому полезно будет.
GitHub

На вход подаёте любой PDF - не важно что там сканы или текст.
Вытаскивается и текст и каждая страница сохраняется как изображение и отдаётся в ollama gemma3 на анализ.
Результат объединяется и для каждой страницы у вас будет 2 текстовых описания, которые дальше уже можно как удобно обрабатывать.

Модели можно подставлять любые - вызывается через url.

Размер файла тоже не ограничен.
Автоперевод на любой язык (указывается в настройках)
Страницы можно перерабатывать поштучно, указывая их в командной строке.
В случае остановки - продолжает с последней распознанной страницы.
Для каждой страницы сохраняются промежуточные результаты и потом объединяются в общий итоговый файл.
Дальше можно передавать в RAG цепочку.

#dev #PDF #ollama #gemma #OCR
———
@tsingular

🚀 Google представил Gemma 3n — мощную мобильную мультимодальную ИИ

Google анонсировал предварительный релиз Gemma 3n — принципиально новой модели, разработанной специально для мобильных устройств. Это полностью переработанная архитектура, созданная совместно с лидерами разработки мобильных чипсетов: Qualcomm, MediaTek и Samsung.

💡 Ключевые улучшения:
- Революционный механизм Per-Layer Embeddings (PLE): 5B и 8B параметров работают с памятью как 2B и 4B модели (всего 2-3 ГБ)
- Мгновенная активация: скорость отклика в 1.5 раза быше предыдущего поколения
- Мультимодальность+++: обработка текста, изображений, видео и теперь АУДИО
- Технология Mix'n'Match: динамическое создание субмоделей из 4B модели под конкретные кейсы
- Улучшенная мультиязычность: поддержка японского, немецкого, корейского, испанского и французского

🛠 Возможности для разработчиков:
- Создание мультимодальных AI приложений работающих без интернета
- Разработка приложений с пониманием аудио: транскрипция речи, перевод, голосовое управление
- Построение интерактивных систем, реагирующих на визуальные и звуковые сигналы из окружения пользователя

🔍 Техническая суть:
Архитектурный прорыв заключается в инновационном подходе к памяти. Благодаря технологиям PLE, KVC sharing и продвинутой квантизации активаций, модель с 8B параметров потребляет всего 3ГБ — революционный показатель для мобильных устройств.

📱 Где попробовать:
Прямо сейчас можно потестировать в облаке в Google AI Studio (пока только текст)
Для разработчиков: локальная интеграция через Google AI Edge (поддержка текста и изображений)
Скоро: полная поддержка аудио

Эта же архитектура ляжет в основу следующего поколения Gemini Nano, что позволит качественно усилить Android и Chrome к концу 2025 года.

#Gemma #Google #переводы
———
@tsingular

Google выпустил ультракомпактную Gemma 3 270M

Новая QAT модель с 270 миллионами параметров прекрасно запустится на кофеварке вашей бабушки на смартфоне.

Показывает 51.2% на бенчмарке IFEval.

На Pixel 9 Pro съедает меньше 1% батареи за 25 диалогов в INT4-версии.

Может обрабатывать текст и изображения одновременно.

Конечно нужно точно понимать где и как её применять.
Хорошо показывает себя в задачах требующих высокой скорости, когда на счету каждая миллисекунда.
Удобна, если у вас нет мощной видеокарты.
Или у вас маленькое (летающее, бегающее) мобильное устройство.
Ну и в силу малого размера быстро файнтюнится под конкретные узкоспециализированные задачи.

HuggingFace

#Gemma #Google #edge
———
@tsingular

FunctionGemma - открытая 270M модель для работы с API

Google представил FunctionGemma — специализированную модель для вызова функций через структурированный вывод.

Основана на Gemma 2, обучена определять когда нужно использовать внешние инструменты и как правильно передавать параметры.

Открытые веса, Apache 2.0 лицензия.

HuggingFace

Бенчмарки показывают конкурентные результаты с GPT-4 на задачах function calling при значительно меньшем размере.

Google позиционирует это как шаг к надёжным агентам, которые умеют взаимодействовать с реальным миром через инструменты.

#FunctionGemma #Gemma #Google
———
@tsingular

📊 Бенчмарки: Gemma 4 31B vs Qwen 3.5 35B vs Qwen 3.5 27B

🔑 Ключевые различия

Gemma 4 31B:

• Архитектура: Dense (60 слоёв)
• Контекст: 256K токенов
• VRAM (BF16): ~58 GB
• Сильные стороны: кодирование (LiveCodeBench 80%, Codeforces 2150 ELO), математика (AIME 89.2%)
• Мультимодальность: текст + изображения + видео

Qwen 3.5 35B A3B:

• Архитектура: MoE (35B всего, 3B активные, 256 экспертов)
• Контекст: 262K токенов (до 1M с YaRN)
• VRAM (BF16): ~48 GB (но все 35B должны быть загружены)
• Сильные стороны: агентские задачи (TAU2 81.2%), vision (MMMU 81.4%)
• Мультимодальность: текст + изображения + видео

Qwen 3.5 27B:

• Архитектура: Dense (64 слоя, все 27B активные)
• Контекст: 262K токенов (до 1M с YaRN)
• VRAM (BF16): ~54 GB
• Сильные стороны: код (SWE-bench 72.4%, LiveCodeBench 80.7%), математика (HMMT 92.0%), vision (MMMU 82.3%)
• Мультимодальность: текст + изображения + видео + видео (VITA-Bench 41.9%)


💡 Вывод

Модели практически идентичны по знаниям (MMLU-Pro, GPQA). Gemma 4 31B лучше в коде (+5.4% LiveCodeBench), Qwen 3.5 35B лучше в агентах (+4.3% TAU2) и vision (+4.5% MMMU).

Qwen 3.5 27B доминирует: 7 из 8 бенчмарков в его пользу. Сплошная архитектура без MoE даёт высокое качество на всех задачах.

Однако если вам важна скорость,- Qwen MoE может быть интереснее: 3B активных параметров против 31B у Gemma и 27b у qwen3.5 даст более быстрый ответ.

Gemma3:27b лучше qwen2.5 работала с русским языком.
Так что имеет смысл протестировать все же.

Уже доступна в ollama
https://ollama.com/library/gemma4

#бенчмарки #qwen #gemma
------
@tsingular

по Gemma4 есть вопросы.
не понимаю что им помешало добить до 35B и дать сразу трёхмодалку человеческую.

Какой-то очень хитрый стратегический маркетинговый ход, не иначе.

#gemma #google
———
@tsingular

Проверил gemma4 венком сонет.

Ну не Опус4, конечно, но неплохо, неплохо.

Особенно ход логики рассуждений по сборке венка интересный.
Модель явно будет не хуже, чем Claude Sonnet 4.5, что в целом поразительный прогресс.

полные логи в комментарии

#gemma #google #sonnet #benchmark
———
@tsingular

Joshua Lochner - ML разработчик из HF дал Fable 5 задачу: написать кастомные WebGPU-ядра для инференса Gemma 4.

Сначала она разогналась до 84 tok/s, потом уперлась в стену и начала утверждать, что дальше оптимизировать невозможно.
[Включила дурочку 4.8]

Спустя несколько часов Anthropic откатила невидимые защитные ограничения на разработку LLM — и она довела Гемму до 255 tok/s.

Сегодня доступ к Fable 5 был заблокирован.

Фоновый вывод,- модели уровня Fable5 делают позицию ML разраба необязательной.

#Fable #Gemma #HuggingFace
------
@tsingular

EmbeddingGemma 2: Google открыла мультимодальные эмбеддинги, работающие на телефоне

Google DeepMind выпустила EmbeddingGemma 2: первую открытую модель эмбеддингов, которая нативно сводит текст, код, изображения, аудио и видео в единое векторное пространство. Модель построена на архитектуре Gemma 4 и использует ту же технологию, что эмбеддеры Gemini. Веса открыты под Apache 2.0.

⚙️ Модульная архитектура. Полная версия весит 740 млн параметров, а для текстовых задач хватает 270 млн: блоки зрения (+170 млн) и аудио (+300 млн) подключаются опционально. Matryoshka-обучение разрешает обрезать векторы с 768 до 128 измерений и экономить до 6 раз хранилища локальной векторной базы.

📱 Работает офлайн на смартфоне. С квантизацией на Google Pixel 11 Pro модели нужно около 191 МБ RAM в текстовом режиме и около 567 МБ в полном мультимодальном. Контекст вырос вчетверо против первой версии: 8K токенов, до 5,5 минуты аудио, 29 изображений или 58 кадров видео за один проход.

🔬 Бенчмарки. На MTEB Code модель поднялась с 68,76 до 78,68 балла против EmbeddingGemma 1. В классе до 1 млрд параметров она лидирует по MTEB, MAEB и MIEB, а отдельные специализированные модели вдвое большего размера обгоняет по качеству.

💼 Зачем это нужно. Локальные эмбеддинги делают поиск приватным: найти момент в видео по голосовой заметке, искать по часам аудиозаписей текстовым запросом, собрать RAG по локальным файлам вместе с Gemma 4. Всё это работает без интернета и не отправляет данные на сервер. Первая EmbeddingGemma собрала более 20 млн скачиваний, поэтому экосистема готова сразу: transformers, MLX, llama.cpp, Ollama, vLLM и файнтюн через Unsloth.

📎 Веса на Hugging Face и Kaggle
📎 Гайд для разработчиков
📎 Модельная карточка с метриками

#Google #Gemma #OpenSource #эмбеддинги
———
@tsingular

Люди продолжают использовать модели не по назначению и добиваются фантастических результатов.

Свежий пример, - Embedding Gemma Transcribe: из эмбеддинг-модели сделали распознавание речи.

EmbeddingGemma 2 от Google DeepMind переводит текст, картинки, аудио и видео в векторы одного общего пространства.
Если произнести слово вслух, его аудио окажется рядом с написанным словом.
Авторы решили читать слова прямо из этого пространства.

Как устроено:
🎧 Аудиоэнкодер EmbeddingGemma 2 оставили без изменений.

🧩 Небольшой «читатель» переносит каждый короткий кусок аудио в текстовое пространство модели.
Дальше выбирается ближайшее слово из словаря примерно в 229 000 английских слов.

✍️ Ещё одна крошечная модель расставляет пунктуацию и заглавные буквы.

Обучали только «читателя»: меньше двух часов на 8×H100, на английской речи с открытыми лицензиями.

Что получилось:
⚡️ Скорость: час аудио за 12.6 с на базовом MacBook Air M3 с 8 ГБ, на Neural Engine. Это 288× от реального времени.
IBM Granite Speech 5.0 TurboCTC на той же машине справляется за 25.7 с, - примерно в 2 раза медленнее.

🎯 Точность: доля ошибочных слов (WER) около 5% против 2–3% у ведущих моделей. Разрыв авторы планируют сократить, лучше обучив «читателя».

💻 Использование: перетащить аудиофайл или зажать правый Option, сказать и отпустить, - текст появится в любом приложении. Аудио не покидает Mac.

Главные выводы:
Мультимодальные эмбеддинги уже несут достаточно информации, чтобы «читать» из них речь, - нужно обучить только маленький переходник.

Пока только английский: и словарь, и данные для обучения английские.

Приложение бесплатное: macOS 14+, Apple Silicon, модели на 715 МБ скачиваются при первом запуске.
Проект независимый, с Google не связан.

Скачать для Mac

#транскрибация #эмбеддинги #gemma
———
@tsingular