AWS: извлекаем ключевую информации из документов и оцениваем во сколько нам это обойдется

Давно у нас не было полезного от AWS, исправляемся.

Amazon опубликовал полезный урок по обработке документов с акцентом на масштабируемость решений по извлечению ключевой информации.

Используют метрику KIEval которая оценивает модели по двум критериям: точность извлечения пар ключ-значение и понимание структурных связей между ними.

Основные проблемы в принципе стандартные: высокая вариативность документов, объёмы разметки данных и неоднозначность естественного языка.

Для стандартизации работы с шаблонами промптов используют Jinja2

Оценка идет по работе с цифрами, текстом и структурированными полями.
Дальше раскидывают скоринг по категориям TP, FP, FN, TN

precision: (TP/(TP+FP))
recall: (TP/(TP+FN))

И высчитывают итог F1 суммарно.

F1: 2 × (precision × recall)/(precision + recall)

А дальше идет расчет скорости обработки и стоимости для достижения нужного скора F1

В общем история может быть полезна если вам нужно оценить эффективность вытягивания ключевых значений из коллекции документов и главное, - понять во сколько это вам обойдется или за какое время.

#AWS #KIEval #eval
———
@tsingular

ARC-AGI 2 практически решён.

Появился новый фреймворк - Poetic заточенный на решение ARC-AGI тестов, которые на сегодня самые трудные для ИИ считаются.

Там как бы не совсем понятно на сколько честно, - та ли версия бенча, нет ли оверфита на задачи, а давайте проверим на других тестах общего назначения.
Орги ещё проверяют валидность.

Но, сам факт в копилку,- что узкоспециализированная агентская система может добиться решения задач, не решаемых пока обычными ИИшками, в очередной раз подтверждён.

Похоже будет скандал, но интересно, чем закончится.
Ждем проверки от авторов теста.

#ARCAGI #eval
———
@tsingular