📝 ИИ-тексты можно отследить до источника по редким фразам
Исследователи из Stony Brook University использовали движок infini-gram от Allen Institute for AI (AI2), чтобы находить в сгенерированном тексте характерные выражения, которые дословно повторяют уже существующие источники. Метод основан на поиске редких n-грамм — коротких фраз, которые редко встречаются в обычном языке, но могут быть заимствованы моделью из обучающих данных.
Команда проанализировала книги из Amazon с существенной долей ИИ-сгенерированного текста. Оказалось, что такие книги, особенно популярные в сегменте самиздата, заметно чаще пересекаются с редкой лексикой из ранее опубликованных произведений, чем обычные тексты. Это позволяет не только выявлять следы ИИ, но и указывать на конкретные источники, которые модель могла использовать при генерации. Подход работает как своего рода детектор «литературных отпечатков»: чем необычнее совпадение, тем выше вероятность машинного происхождения.
Практически это открывает новый способ проверки текстов на ИИ-следы и может быть полезно издателям, платформам и исследователям, которые хотят отличать оригинальные работы от массово сгенерированного контента.
#AI #Research #Literature #AI2 #InfiniGram #Rewrite
Исследователи из Stony Brook University использовали движок infini-gram от Allen Institute for AI (AI2), чтобы находить в сгенерированном тексте характерные выражения, которые дословно повторяют уже существующие источники. Метод основан на поиске редких n-грамм — коротких фраз, которые редко встречаются в обычном языке, но могут быть заимствованы моделью из обучающих данных.
Команда проанализировала книги из Amazon с существенной долей ИИ-сгенерированного текста. Оказалось, что такие книги, особенно популярные в сегменте самиздата, заметно чаще пересекаются с редкой лексикой из ранее опубликованных произведений, чем обычные тексты. Это позволяет не только выявлять следы ИИ, но и указывать на конкретные источники, которые модель могла использовать при генерации. Подход работает как своего рода детектор «литературных отпечатков»: чем необычнее совпадение, тем выше вероятность машинного происхождения.
Практически это открывает новый способ проверки текстов на ИИ-следы и может быть полезно издателям, платформам и исследователям, которые хотят отличать оригинальные работы от массово сгенерированного контента.
#AI #Research #Literature #AI2 #InfiniGram #Rewrite
🔥1💯1🏆1
Allen Institute for AI (Ai2) выложила в open source веса AstaBrief 8B и данные обучения. Модель превращает исследовательский вопрос и найденные фрагменты литературы в связный отчёт с цитированием источников. Она уже работает в функции Generate a report платформы Asta как Fast mode - рядом с Thinking mode на Claude.
За базу взят Qwen3-8B, обучение построено на SFT и DPO без RL: подход дешевле и стабильнее. Для SFT собрали 90 тыс. реальных запросов учёных из Asta, после фильтрации осталось 47 тыс. примеров с эталонными отчётами от Claude 3.5/3.7 Sonnet, o3, o4-mini и GPT-4.1. Для DPO сформировали около 6 тыс. пар, где победителя выбирали две модели-судьи (GPT-4.1 и DeepSeek-R1) - брали только случаи согласия, что снизило шум.
Ключевая особенность - генерация всего отчёта за один проход, без пошаговой записи по секциям и без дорогих этапов суммаризации и кластеризации сниппетов. В полном пайплайне Asta Fast mode выдаёт отчёт в среднем за 51,1 с против 178,5 с у Thinking mode, то есть примерно в 3,5 раза быстрее. Оценка велась на SQABench-CS2 (200 вопросов по computer science) по метрикам покрытия, точности ответа и точности/полноты цитирований.
Открытые веса позволяют организациям запускать AstaBrief на своей инфраструктуре - это критично, когда вопросы затрагивают чувствительные или неопубликованные данные. Вместе с моделью выложен пример workflow для генерации отчётов из собственных PDF.
🎨 qvabo.studio/tg · картинки и видео
#AI #Research #opensource #LLM #Science #Ai2
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1👏1