Решил заопнесорсить свой небольшой контейнер с парой полезных | 🍄 Дон Шампиньон [aka Lord_Alfred]

Решил заопнесорсить свой небольшой контейнер с парой полезных в хозяйстве ручек:

Определение языка текста (с помощью fastText);
Разделение текста на предложения (не тупо по точкам, а нормальная токенизация из NLTK).

Эдакая вводная в NLP для дорвейщиков Когда-то запилил для себя, юзаю по сей день, но (к сожалению) не нашел сил туда напичкать чего-то ещё. Возможно, братья-змееусты зашлют PR с нужной фичей. Все тогда будут вдвойне рады и довольны

Рассказывать как/зачем/почему нет смысла, тем кто парсит тексты – будет и так понятно. А остальное можно узнать в самом репе:
https://github.com/lord-alfred/dnlp

PS: память не жрёт, работает даже на 1-м ядре, отвечает мгновенно