Интересные результаты исследования о том, как форматирование ввода Markdown, YAML, JSON и обычного текста влияет на производительность моделей GPT.

В статье оцениваются только модели GPT, но известно, что это применимо и к другим моделям.

Например, старые версии Claude предпочитали XML (инструкции в <></> как раз отттуда).

Производительность модели может существенно различаться (до 40%) исключительно в зависимости от того, как отформатирована подсказка (см. рисунок).

Влияние одинаково для разных типов задач, от рассуждений до генерации кода.

Более крупные модели (например, GPT-4) обладают большей устойчивостью к изменениям формата по сравнению с более мелкими моделями, такими как GPT-3.5.

GPT-4-turbo имеет наиболее постоянную производительность для разных форматов (хотя все еще со значительным разбросом).

Различные модели показывают различные предпочтения для форматов подсказок, при этом GPT-3.5 работает лучше с JSON, а GPT-4 — с Markdown.

Эти предпочтения плохо переносятся между моделями, даже в пределах одного семейства (вероятно, из-за разных данных обучения).

На практике это означает, что форматы подсказок могут быть интересным параметром для оптимизации.

Исследование:
https://arxiv.org/abs/2411.10541

#JSON #YAML #Markdown #promptengeneering
———
@tsinuglar