Nexa AI представила Octopus-V2-2B, модель с открытым исходным кодом, имеющая 2B параметров, оптимизирована под API Android.
- Демонстрирует выдающуюся скорость вывода, в 36 раз превосходящую связку "Llama7B + RAG" на одном GPU A100. По сравнению с GPT-4-turbo, использующей кластеры GPU A100/H100, Octopus-V2-2B работает на 168% быстрее.
- Точность вызова функций на 31% превышает "Llama7B + RAG". Cравнимf с GPT-4 и RAG + GPT-3.5 (98-100% на тестовых датасетах).
- Способна генерировать одиночные, вложенные и параллельные вызовы функций в различных сложных сценариях.
- Использует уникальную стратегию функциональных токенов и на этапе обучения, и при генерации. Что позволяет достичь производительности, сравнимой с GPT-4, и значительно повысить скорость вывода по сравнению с методами на основе RAG.
Это мы пробуем.
#NexaAIDev #Octopus-v2 #Android
———
@tsingular
- Демонстрирует выдающуюся скорость вывода, в 36 раз превосходящую связку "Llama7B + RAG" на одном GPU A100. По сравнению с GPT-4-turbo, использующей кластеры GPU A100/H100, Octopus-V2-2B работает на 168% быстрее.
- Точность вызова функций на 31% превышает "Llama7B + RAG". Cравнимf с GPT-4 и RAG + GPT-3.5 (98-100% на тестовых датасетах).
- Способна генерировать одиночные, вложенные и параллельные вызовы функций в различных сложных сценариях.
- Использует уникальную стратегию функциональных токенов и на этапе обучения, и при генерации. Что позволяет достичь производительности, сравнимой с GPT-4, и значительно повысить скорость вывода по сравнению с методами на основе RAG.
Это мы пробуем.
#NexaAIDev #Octopus-v2 #Android
———
@tsingular