Qwen2.5-Coder по тестам в разработке превосходит более тяжелые варианты DeepSeek Code
Qwen2.5-Coder, как был анонс выше, релизнули в вариантах 1.5B и 7B параметров.
Qwen2.5-Coder-1.5B
https://hf.co/qwen/Qwen/Qwen2.5-Coder-1.5B
Qwen2.5-Coder-7B
https://hf.co/qwen/Qwen/Qwen2.5-Coder-7B
И по тестам, получается, что Qwen2.5-Coder лидирует в бенчмарках HumanEval, MBPP, BigCodeBench и MultiPL-E, превосходя более крупные модели.
Показывает интересные результаты в генерации и автодополнении кода, а так же в Text-to-SQL задачах.
И вот не понятно, то ли правда китайские товарищи умудрились упаковать математическую мудрость в столь малый размер или это всё-таки файнтюн под бенчмарк.
В общем, нужно тестить.
Ну и традиционно, Qwen2.5 уже есть в ollama варианте:
ollama run qwen2.5
#Qwen #code #Alibaba #Китай
———
@tsingular
Qwen2.5-Coder, как был анонс выше, релизнули в вариантах 1.5B и 7B параметров.
Qwen2.5-Coder-1.5B
https://hf.co/qwen/Qwen/Qwen2.5-Coder-1.5B
Qwen2.5-Coder-7B
https://hf.co/qwen/Qwen/Qwen2.5-Coder-7B
И по тестам, получается, что Qwen2.5-Coder лидирует в бенчмарках HumanEval, MBPP, BigCodeBench и MultiPL-E, превосходя более крупные модели.
Показывает интересные результаты в генерации и автодополнении кода, а так же в Text-to-SQL задачах.
И вот не понятно, то ли правда китайские товарищи умудрились упаковать математическую мудрость в столь малый размер или это всё-таки файнтюн под бенчмарк.
В общем, нужно тестить.
Ну и традиционно, Qwen2.5 уже есть в ollama варианте:
ollama run qwen2.5
#Qwen #code #Alibaba #Китай
———
@tsingular
❤1
Anthropic отменяет MCP
В годовщину выхода MCP Anthropic выпустили интересную статью, в которой предлагают ИИ агентам не вызывать MCP сервера напрямую, а разбирать MCP клиент например через файловую структуру и писать код для вызова серверной MCP части.
Проблема выросла из масштабирования: при подключении сотен инструментов их описания съедают контекст, а промежуточные результаты гоняются через модель впустую, съедая токены, время, а главное, - контекстное окно.
Решение предлагают следующее, - агент исследует файловую систему с инструментами, загружает только нужные определения и обрабатывает данные в песочнице.
Например: вместо двух вызовов с прогоном 50k токенов транскрипта беседы через модель - один скрипт который фильтрует данные и разбирает на задачи локально.
Экономия в ряде экспериментов составила 98.7% токенов (150k→2k).
Кодовые агенты, - наше всё, в общем.
Что, в целом, логично, ибо обучают-то модели на коде и чисто кодовых моделей уже полно, которые можно поставить только на эту узкую задачу в общем каскаде.
А вот MCP моделей штучное количество и не факт, что они справятся лучше.
#MCP #Anthropic #Code
———
@tsingular
В годовщину выхода MCP Anthropic выпустили интересную статью, в которой предлагают ИИ агентам не вызывать MCP сервера напрямую, а разбирать MCP клиент например через файловую структуру и писать код для вызова серверной MCP части.
Проблема выросла из масштабирования: при подключении сотен инструментов их описания съедают контекст, а промежуточные результаты гоняются через модель впустую, съедая токены, время, а главное, - контекстное окно.
Решение предлагают следующее, - агент исследует файловую систему с инструментами, загружает только нужные определения и обрабатывает данные в песочнице.
Например: вместо двух вызовов с прогоном 50k токенов транскрипта беседы через модель - один скрипт который фильтрует данные и разбирает на задачи локально.
Экономия в ряде экспериментов составила 98.7% токенов (150k→2k).
Кодовые агенты, - наше всё, в общем.
Что, в целом, логично, ибо обучают-то модели на коде и чисто кодовых моделей уже полно, которые можно поставить только на эту узкую задачу в общем каскаде.
А вот MCP моделей штучное количество и не факт, что они справятся лучше.
#MCP #Anthropic #Code
———
@tsingular
👍7🤯3⚡2🔥2❤1