⚡️ В NLP случился один из главных прорывов последних лет.
Если вы не видели модель BERT от Google, самое время. Как минимум, она показала сильные результаты на ключевых бенчмарках вроде GLUE и SQuAD.
GLUE измеряет, как модель справляется с набором разных задач понимания текста, а SQuAD — может ли она читать фрагмент текста и вытаскивать из него ответ на вопрос.
📌 Если модель хорошо проходит GLUE, значит, она лучше схватывает смысл текста, связи между фразами и нюансы формулировок
📌 Если модель хорошо проходит SQuAD, значит, она лучше ищет ответ внутри документов, договоров, инструкций, баз знаний, учебных материалов и медиатекстов.
Моя гипотеза: через год-другой Google внедрит эту технологию в браузер. Об этом сигнализирует ещё один нюанс. Расписал ниже.
Если вы не видели модель BERT от Google, самое время. Как минимум, она показала сильные результаты на ключевых бенчмарках вроде GLUE и SQuAD.
GLUE измеряет, как модель справляется с набором разных задач понимания текста, а SQuAD — может ли она читать фрагмент текста и вытаскивать из него ответ на вопрос.
📌 Если модель хорошо проходит GLUE, значит, она лучше схватывает смысл текста, связи между фразами и нюансы формулировок
📌 Если модель хорошо проходит SQuAD, значит, она лучше ищет ответ внутри документов, договоров, инструкций, баз знаний, учебных материалов и медиатекстов.
Моя гипотеза: через год-другой Google внедрит эту технологию в браузер. Об этом сигнализирует ещё один нюанс. Расписал ниже.
😢1
Модель BERT научилась читать с двух сторон. Это как?
Когда модель читает слово в тексте, ей важно понимать не только само слово, но и контекст.
Например, слово bank: что это такое? Банк как организация? Банк как социальный институт? Кредитная кабала из-за банка?
А есть ещё конструкция bank of the river — берег реки. Может, речь об этом?
Раньше многие языковые модели читали текст в одну сторону: либо слева направо, либо справа налево. То есть модель, когда смотрит на слово, опирается только на часть контекста.
Например: I went to the bank to withdraw cash. Если модель читает слева направо, то на слове bank она уже знает только: I went to the ...
Это так себе подсказка. А вот слова withdraw cash, которые идут дальше, как раз нормально уточняют, что речь про финансовый банк.
Теперь другой пример: the fisherman sat on the bank of the river. Опять же: справа дальше идёт of the river, и именно это снимает неоднозначность.
BERT же на этапе обучения смотрит на слово, учитывая и левый, и правый контекст. Для текста это очень мощная штука, потому что в языке смысл слова часто определяется всей фразой целиком.
Когда модель читает слово в тексте, ей важно понимать не только само слово, но и контекст.
Например, слово bank: что это такое? Банк как организация? Банк как социальный институт? Кредитная кабала из-за банка?
А есть ещё конструкция bank of the river — берег реки. Может, речь об этом?
Раньше многие языковые модели читали текст в одну сторону: либо слева направо, либо справа налево. То есть модель, когда смотрит на слово, опирается только на часть контекста.
Например: I went to the bank to withdraw cash. Если модель читает слева направо, то на слове bank она уже знает только: I went to the ...
Это так себе подсказка. А вот слова withdraw cash, которые идут дальше, как раз нормально уточняют, что речь про финансовый банк.
Теперь другой пример: the fisherman sat on the bank of the river. Опять же: справа дальше идёт of the river, и именно это снимает неоднозначность.
BERT же на этапе обучения смотрит на слово, учитывая и левый, и правый контекст. Для текста это очень мощная штука, потому что в языке смысл слова часто определяется всей фразой целиком.
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA хочет заменить свои дизайнеров?
Их модель GauGAN научилась превращать грубые наброски и цветовые пятна в фотореалистичные пейзажи.
От таких вещей реально захватывает дух.
Большинство людей воспринимают их примерно так: «ну да, распознают котиков, ну да, что-то там классифицируют». А наше маленькое комьюнити уже видит интерфейс, где человеку не нужно вырисовывать каждую деталь — достаточно задать смысл сцены, а машина сама соберёт визуальный мир.
Лет через 5 научится и логотипы, и баннеры рисовать. Тут же подключится бизнес средней и малой руки, поскольку нанимать своего дизайнера будет дороже, чем запустить GauGAN.
Источник видео: https://blogs.nvidia.com/blog/gaugan-photorealistic-landscapes-nvidia-research
Их модель GauGAN научилась превращать грубые наброски и цветовые пятна в фотореалистичные пейзажи.
От таких вещей реально захватывает дух.
Большинство людей воспринимают их примерно так: «ну да, распознают котиков, ну да, что-то там классифицируют». А наше маленькое комьюнити уже видит интерфейс, где человеку не нужно вырисовывать каждую деталь — достаточно задать смысл сцены, а машина сама соберёт визуальный мир.
Лет через 5 научится и логотипы, и баннеры рисовать. Тут же подключится бизнес средней и малой руки, поскольку нанимать своего дизайнера будет дороже, чем запустить GauGAN.
Источник видео: https://blogs.nvidia.com/blog/gaugan-photorealistic-landscapes-nvidia-research