СПЕШУ АИ: Проводники в ИИ | ChatGPT, Claude, Gemini и ещё 300+ нейронок
4.08K subscribers
337 photos
209 videos
4 files
262 links
SpeShu.AI — платформа с мультидоступом к 300+ нейросетям

Открыть сайт 👉 https://speshu.ai
Download Telegram
⚡️ В NLP случился один из главных прорывов последних лет.

Если вы не видели модель BERT от Google, самое время. Как минимум, она показала сильные результаты на ключевых бенчмарках вроде GLUE и SQuAD.

GLUE измеряет, как модель справляется с набором разных задач понимания текста, а SQuAD — может ли она читать фрагмент текста и вытаскивать из него ответ на вопрос.

📌 Если модель хорошо проходит GLUE, значит, она лучше схватывает смысл текста, связи между фразами и нюансы формулировок

📌 Если модель хорошо проходит SQuAD, значит, она лучше ищет ответ внутри документов, договоров, инструкций, баз знаний, учебных материалов и медиатекстов.

Моя гипотеза: через год-другой Google внедрит эту технологию в браузер. Об этом сигнализирует ещё один нюанс. Расписал ниже.
😢1
Модель BERT научилась читать с двух сторон. Это как?

Когда модель читает слово в тексте, ей важно понимать не только само слово, но и контекст.

Например, слово bank: что это такое? Банк как организация? Банк как социальный институт? Кредитная кабала из-за банка?

А есть ещё конструкция bank of the river — берег реки. Может, речь об этом?

Раньше многие языковые модели читали текст в одну сторону: либо слева направо, либо справа налево. То есть модель, когда смотрит на слово, опирается только на часть контекста.

Например: I went to the bank to withdraw cash. Если модель читает слева направо, то на слове bank она уже знает только: I went to the ...

Это так себе подсказка. А вот слова withdraw cash, которые идут дальше, как раз нормально уточняют, что речь про финансовый банк.

Теперь другой пример: the fisherman sat on the bank of the river. Опять же: справа дальше идёт of the river, и именно это снимает неоднозначность.

BERT же на этапе обучения смотрит на слово, учитывая и левый, и правый контекст. Для текста это очень мощная штука, потому что в языке смысл слова часто определяется всей фразой целиком.