Тюнинг моделей на основе больших языковых моделей (LLM) с помощью машинно сгенерированных данных

- Эксперименты на основе датасета COCO проводились с использованием GPT-4, что позволило собрать 158 тысяч уникальных образцов с тестами на уровне языка и изображений.
- Данные включали в себя более 58 тысяч разговоров, 23 тысячи подробных описаний и 77 тысяч отдельных образцов сложного мышления.

- LLaVa использует интеграцию CLIP ViT-L/14 и модели Vicuna для обучения.

- Эксперименты показали, что LLaVa достигает 85,1% относительного балла в сравнении с GPT-4.
- Новый подход может значительно повысить возможности применения машинного обучения в мультимодальных настройках.

Разработка такого подхода позволит увеличить эффективность работы с большими языковыми моделями и обучением на разнообразных типах данных.

#LLaVa #GPT4 #CLIPViT-L