AWS: извлекаем ключевую информации из документов и оцениваем во сколько нам это обойдется

Давно у нас не было полезного от AWS, исправляемся.

Amazon опубликовал полезный урок по обработке документов с акцентом на масштабируемость решений по извлечению ключевой информации.

Используют метрику KIEval которая оценивает модели по двум критериям: точность извлечения пар ключ-значение и понимание структурных связей между ними.

Основные проблемы в принципе стандартные: высокая вариативность документов, объёмы разметки данных и неоднозначность естественного языка.

Для стандартизации работы с шаблонами промптов используют Jinja2

Оценка идет по работе с цифрами, текстом и структурированными полями.
Дальше раскидывают скоринг по категориям TP, FP, FN, TN

precision: (TP/(TP+FP))
recall: (TP/(TP+FN))

И высчитывают итог F1 суммарно.

F1: 2 × (precision × recall)/(precision + recall)

А дальше идет расчет скорости обработки и стоимости для достижения нужного скора F1

В общем история может быть полезна если вам нужно оценить эффективность вытягивания ключевых значений из коллекции документов и главное, - понять во сколько это вам обойдется или за какое время.

#AWS #KIEval #eval
———
@tsingular