Разработчик пофиксил 8 багов в модели GEMMA от Google и сделал её в 100 раз лучше
Энтузиаст устранил 8 ошибок в языковой модели GEMMA от Google,на 6 триллионов токенов.
Благодаря этому модель стала лучше генерировать тексты, близкие к человеческим.
У GEMMA все еще остаются проблемы с пониманием контекста и сохранением связности текста.
Одна из исправленных ошибок приводила к повторению одного и того же ответа на разные запросы.
Список багов:
- Must add <bos> or else losses will be very high.
- There’s a typo for model in the technical report!
- sqrt(3072)=55.4256 but bfloat16 is 55.5.
Layernorm (w+1) must be in float32.
- Keras mixed_bfloat16 RoPE is wrong.
RoPE is sensitive to y*(1/x) vs y/x.
- RoPE should be float32 - already pushed to transformers 4.38.2.
- GELU should be approx tanh not exact.
Предложены пути дальнейшего усовершенствования: контекстное обучение, устранение предвзятостей, разнообразие методов реализации.
Интересно, что модели которые уже выпущены, получается могут содержать ошибки, исправление которых повышает их общую эффективность на 2 порядка.
Думаю, многие не учитывают этот фактор в прогнозах.
Когда ИИ помогает разработчику, - повышается его общая эффективность и это дополнительно ускоряет прогресс, помимо Мура и т.д.
#GEMMA #Google #debugging
-------
@tsingular
Энтузиаст устранил 8 ошибок в языковой модели GEMMA от Google,на 6 триллионов токенов.
Благодаря этому модель стала лучше генерировать тексты, близкие к человеческим.
У GEMMA все еще остаются проблемы с пониманием контекста и сохранением связности текста.
Одна из исправленных ошибок приводила к повторению одного и того же ответа на разные запросы.
Список багов:
- Must add <bos> or else losses will be very high.
- There’s a typo for model in the technical report!
- sqrt(3072)=55.4256 but bfloat16 is 55.5.
Layernorm (w+1) must be in float32.
- Keras mixed_bfloat16 RoPE is wrong.
RoPE is sensitive to y*(1/x) vs y/x.
- RoPE should be float32 - already pushed to transformers 4.38.2.
- GELU should be approx tanh not exact.
Предложены пути дальнейшего усовершенствования: контекстное обучение, устранение предвзятостей, разнообразие методов реализации.
Интересно, что модели которые уже выпущены, получается могут содержать ошибки, исправление которых повышает их общую эффективность на 2 порядка.
Думаю, многие не учитывают этот фактор в прогнозах.
Когда ИИ помогает разработчику, - повышается его общая эффективность и это дополнительно ускоряет прогресс, помимо Мура и т.д.
#GEMMA #Google #debugging
-------
@tsingular