DeepMind запустил на Kaggle бенчмарк SimpleQA для проверки фактологической точности ИИ
Google DeepMind выпустил новый датасет и рейтинг на Kaggle для оценки фактологической точности ИИ-систем в задачах вопросов-ответов.
Бенчмарк фокусируется на коротких фактических вопросах с однозначными ответами и измеряет "калибровку" моделей - способность понимать уверенность в собственных знаниях.
Т.е. модели должны не просто отвечать, но и указывать процент уверенности в ответе.
Интересно, что даже GPT-4 показал неожиданно низкие результаты по сравнению с другими оценками.
Методология включает техники снижения предвзятости и использует RAG для имитации реальных сценариев поиска информации.
Наконец-то можно будет объективно мерить, когда ИИ выдумывает, а когда просто не знает. Хотя если GPT-4 провалился, то что говорить о остальных.
Имеет смысл, конечно, такие бенчи разворачивать локально, чтобы они показывали наглядную картинку именно на ваших данных.
Тут Каггл может выступать наглядным примером.
#DeepMind #SimpleQA #Kaggle #обучение
———
#tsingular
Google DeepMind выпустил новый датасет и рейтинг на Kaggle для оценки фактологической точности ИИ-систем в задачах вопросов-ответов.
Бенчмарк фокусируется на коротких фактических вопросах с однозначными ответами и измеряет "калибровку" моделей - способность понимать уверенность в собственных знаниях.
Т.е. модели должны не просто отвечать, но и указывать процент уверенности в ответе.
Интересно, что даже GPT-4 показал неожиданно низкие результаты по сравнению с другими оценками.
Методология включает техники снижения предвзятости и использует RAG для имитации реальных сценариев поиска информации.
Наконец-то можно будет объективно мерить, когда ИИ выдумывает, а когда просто не знает. Хотя если GPT-4 провалился, то что говорить о остальных.
Имеет смысл, конечно, такие бенчи разворачивать локально, чтобы они показывали наглядную картинку именно на ваших данных.
Тут Каггл может выступать наглядным примером.
#DeepMind #SimpleQA #Kaggle #обучение
———
#tsingular
👍4⚡1✍1