Интересные результаты исследования о том, как форматирование ввода Markdown, YAML, JSON и обычного текста влияет на производительность моделей GPT.

В статье оцениваются только модели GPT, но известно, что это применимо и к другим моделям.

Например, старые версии Claude предпочитали XML (инструкции в <></> как раз отттуда).

Производительность модели может существенно различаться (до 40%) исключительно в зависимости от того, как отформатирована подсказка (см. рисунок).

Влияние одинаково для разных типов задач, от рассуждений до генерации кода.

Более крупные модели (например, GPT-4) обладают большей устойчивостью к изменениям формата по сравнению с более мелкими моделями, такими как GPT-3.5.

GPT-4-turbo имеет наиболее постоянную производительность для разных форматов (хотя все еще со значительным разбросом).

Различные модели показывают различные предпочтения для форматов подсказок, при этом GPT-3.5 работает лучше с JSON, а GPT-4 — с Markdown.

Эти предпочтения плохо переносятся между моделями, даже в пределах одного семейства (вероятно, из-за разных данных обучения).

На практике это означает, что форматы подсказок могут быть интересным параметром для оптимизации.

Исследование:
https://arxiv.org/abs/2411.10541

#JSON #YAML #Markdown #promptengeneering
———
@tsinuglar

Подарок от Microsoft: выложили в opensource универсальный конвертер документов MarkItDown

Microsoft публикует инструмент для преобразования разнообразных офисных документов в Markdown.

Утилита выполняет конвертацию офисных форматов с сохранением оригинальной структуры.

Поддерживает:
PDF
PowerPoint
Word
Excel
Images (EXIF метаданные и OCR)
Audio (EXIF метаданные и разпознавание голоса)
HTML
Text форматы (CSV, JSON, XML)
ZIP files (потоковая итерация по содержимому)

Интеграция с LLM позволяет еще и интеллектуальное описание изображений добавить.

Осталось еще поддержку видео добавить и можно будет любые универсальные комбайны собирать.
Но и так уже бомба!

#Microsoft #MarkItDown #MarkDown #dev
-------
@tsingular

Gramax: opensource редактор документации с визуальным интерфейсом и Git под капотом

Gramax - российская бесплатная опенсорс-альтернатива GitBook и Mintlify для создания технической документации.

Всё хранится локально в Markdown, работает офлайн, интегрируется с любым Git-провайдером.

Есть десктоп-версия и онлайн (бесплатная и корпоративная - платная).

Визуальный редактор упрощает работу с разметкой — таблицы, вкладки, диаграммы Mermaid, Excalidraw, даже Swagger-описания API.

17 языков интерфейса, кастомизация стилей, поддержка мультимедиа.

установка или через докер или через npm

Но самое главное, - легко интегрируется с ЭЯЙ :)
Там даже встроенный режим есть "поговорить с документами".
И список заказчиков солидный уже, - смотрите сами:
https://gram.ax/ru

В коллекцию годных российских opensource проектов.

#Gramax #Markdown #DocsAsCode
———
@tsingular