Недавно столкнулась с задачей лемматизации текстов, удалось поработать с небольшими русскоязычными и английскими.

Пара выводов и ссылок:

SpaCy — удобное решение (по крайней мере на не очень больших данных) для лемматизации английского текста. Плюс библиотеки — нет нужды заморачиваться с позиционными тегами, как, например в nltk, используя WordNetLemmatizer

pymorphy2 — практичный и шустрый в сравнении с pymystem3 (Яндекс, простите!)) для лемматизации русских текстов
и вишенка облако на торт:

WordCloud — для визуализации облаков слов. Быстрый (и красивый) how to start тут.

И моё первое облачко! :)

UPD 1.09.2022:

Здесь (ссылка на Хабр) приведен способ ускорения лемматизации с pymystem3, который выигрывает у pymorphy2 (pymystem оказывается быстрее в почти 19 раз).

Однако в голом виде pymorphy всё же действительно быстрее pymystem.

За находку благодарю Романа!

#библиотеки_nlp #библиотеки