2022-07-03 12:54:23
Рекомендации вакансий соискателям
(Это запасной канал с новостями про поиск и рекомендации hh.ru, основные https://vk.com/id713179846 и https://t.me/asidorov83).
В пятницу перевели рекомендации вакансий соискателям на hh.ru с предыдущего поколения нейросетей, рекуррентных RNN DSSM, на следующее, нейросети-трансформеры, TinyBERT DSSM. Это даёт примерно +3000 дополнительных наймов в день, и по количеству наймов – топ 1 внедрение за всё время. При этом, очень важно, что существенная часть этих наймов приходится на так называемые low performance вакансии, у которых раньше было меньше 10 откликов и нанять на которые было сложно.
В отличие RNN DSSM, TinyBERT DSSM извлекает из текста смысловые конструкции не только когда слова идут более-менее подряд, но и когда отдельные слова в них сильно разбросаны по тексту, могут идти в разном порядке, входят в несколько смысловых конструкций сразу. Это особенно полезно для профессий, для которых характерны сложные резюме и вакансии «knowledge based white collars», «skill based white collars».
Идея – примерно как в BERT или YaTi, с последующей дистилляцией слоёв в более простую нейросеть, чтобы обойтись без GPU в production. Готовые pretrained нейросети, конечно, попробовали, но стек моделей с ними не смог даже приблизиться по качеству к RNN DSSM даже без дистилляции.
Вероятно, это из-за того, что большую роль играет, на каком корпусе текстов учить языковую модель. В отличие от доступных pretrained моделей, мы обучаем наши нейросети решать задачу языкового моделирования на корпусе резюме и вакансий, а не всей русскоязычной литературы, википедии и текстов из рунета. То есть, они могут не знать, что обычно «в окно увидела Татьяна», но успешно выучивать, кого хочет нанять работодатель, когда пишет «опыт программирования от года, специальное образование не требуется, молодой мужской коллектив, обязательно быть стрессоустойчивым, проактивным, уметь грепать логи регулярками на Perl и знать область продаж» ;) .
Пользуйтесь на здоровье!
Это только самый первый шаг в направлении нейросетей-трансформеров. Proof of concept, который – приятная неожиданность! – сразу показал хороший результат, оказался внедряем в production с точки зрения ресурсоёмкости и заработал так, что стал топовым запуском. У нас есть ещё множество гипотез в области контентных и контентно-поведенческих нейросетей-трансформеров, несколько из которых мы сейчас проверяем.
Но это не главное, а главное – то, что мы,на прошлой неделе, все вместе, подготовили и защитили продуктовую стратегию hh.ru . И теперь сможем двигаться вперёд ещё более согласованно. И ещё сильнее, чем раньше, концентрироваться на главном – качестве, удобстве и пользе для работодателей и соискателей.
График стат. значимостей в улучшениях метрик, полученных в эксперименте, в которомы мы проверяли эффект от TinyBERT DSSM - для привлечения внимания. Наверное, самые большие стат. значимости, которые я видел при изменениях в ML.
Автор:
Александр Сидоров
https://www.facebook.com/asidorov83
Посмотреть больше постов из рубрики Careerinsight
Перейти в Главное меню
———
Что ещё можно почитать или посмотреть?
Sequoia Capital подняли 2.85 миллиарда для инвестиций
Карьерный шаг
Закончилась сессия карьерного консультирования для клиента.
Мои услуги | Отзывы об услугах
265 viewsedited 09:54
G
