⚡️ В NLP случился один из главных прорывов последних лет.
Если вы не видели модель BERT от Google, самое время. Как минимум, она показала сильные результаты на ключевых бенчмарках вроде GLUE и SQuAD.
GLUE измеряет, как модель справляется с набором разных задач понимания текста, а SQuAD — может ли она читать фрагмент текста и вытаскивать из него ответ на вопрос.
📌 Если модель хорошо проходит GLUE, значит, она лучше схватывает смысл текста, связи между фразами и нюансы формулировок
📌 Если модель хорошо проходит SQuAD, значит, она лучше ищет ответ внутри документов, договоров, инструкций, баз знаний, учебных материалов и медиатекстов.
Моя гипотеза: через год-другой Google внедрит эту технологию в браузер. Об этом сигнализирует ещё один нюанс. Расписал ниже.
Если вы не видели модель BERT от Google, самое время. Как минимум, она показала сильные результаты на ключевых бенчмарках вроде GLUE и SQuAD.
GLUE измеряет, как модель справляется с набором разных задач понимания текста, а SQuAD — может ли она читать фрагмент текста и вытаскивать из него ответ на вопрос.
📌 Если модель хорошо проходит GLUE, значит, она лучше схватывает смысл текста, связи между фразами и нюансы формулировок
📌 Если модель хорошо проходит SQuAD, значит, она лучше ищет ответ внутри документов, договоров, инструкций, баз знаний, учебных материалов и медиатекстов.
Моя гипотеза: через год-другой Google внедрит эту технологию в браузер. Об этом сигнализирует ещё один нюанс. Расписал ниже.
😢1
Модель BERT научилась читать с двух сторон. Это как?
Когда модель читает слово в тексте, ей важно понимать не только само слово, но и контекст.
Например, слово bank: что это такое? Банк как организация? Банк как социальный институт? Кредитная кабала из-за банка?
А есть ещё конструкция bank of the river — берег реки. Может, речь об этом?
Раньше многие языковые модели читали текст в одну сторону: либо слева направо, либо справа налево. То есть модель, когда смотрит на слово, опирается только на часть контекста.
Например: I went to the bank to withdraw cash. Если модель читает слева направо, то на слове bank она уже знает только: I went to the ...
Это так себе подсказка. А вот слова withdraw cash, которые идут дальше, как раз нормально уточняют, что речь про финансовый банк.
Теперь другой пример: the fisherman sat on the bank of the river. Опять же: справа дальше идёт of the river, и именно это снимает неоднозначность.
BERT же на этапе обучения смотрит на слово, учитывая и левый, и правый контекст. Для текста это очень мощная штука, потому что в языке смысл слова часто определяется всей фразой целиком.
Когда модель читает слово в тексте, ей важно понимать не только само слово, но и контекст.
Например, слово bank: что это такое? Банк как организация? Банк как социальный институт? Кредитная кабала из-за банка?
А есть ещё конструкция bank of the river — берег реки. Может, речь об этом?
Раньше многие языковые модели читали текст в одну сторону: либо слева направо, либо справа налево. То есть модель, когда смотрит на слово, опирается только на часть контекста.
Например: I went to the bank to withdraw cash. Если модель читает слева направо, то на слове bank она уже знает только: I went to the ...
Это так себе подсказка. А вот слова withdraw cash, которые идут дальше, как раз нормально уточняют, что речь про финансовый банк.
Теперь другой пример: the fisherman sat on the bank of the river. Опять же: справа дальше идёт of the river, и именно это снимает неоднозначность.
BERT же на этапе обучения смотрит на слово, учитывая и левый, и правый контекст. Для текста это очень мощная штука, потому что в языке смысл слова часто определяется всей фразой целиком.