🪙 Quail от Modal: миллиард токенов в минуту на одной H100 для AI-SQL

Modal Labs вместе с Full Stack Data Lab из Carnegie Mellon представили Quail - слой инференса, учитывающий структуру запроса, для AI-SQL-нагрузок. Это не NL2SQL, а расширение SQL: операторы AI_FILTER и AI_JOIN прогоняют данные через LLM и возвращают таблицы. Такие запросы порождают миллионы коротких последовательностей, которым часто не нужен frontier-уровень интеллекта.

В Quail планировщик запросов управляет инференс-движком. Поскольку структура запроса известна заранее, KV-кэш можно упорядочивать, упреждающе читать и безопасно вытеснять. Для бинарной классификации AI.IF достаточно одного токена, что позволяет почти отказаться от decode-фазы. На multi-join запросе Quail выдал более 1 млрд токенов в минуту на одной H100 - более чем 10x к baseline vLLM; на новом бенчмарке AI-SQL средний прирост составил 1.84x. На Modal стоимость - менее 6 центов за миллиард токенов.

Код открыт на GitHub: fsdatalab/quail. Решение полезно командам, которые выполняют AI-SQL в BI и аналитических базах - например, Snowflake Cortex, Databricks AI Functions и BigQuery AI functions.

#AI #Tech #SQL #Inference #Modal #OpenSource