DL in NLP

2021-03-30 15:13:50 Открыть/Комментировать

2021-03-30 15:09:34 Few-Shot Text Classification with Triplet Networks
Wei et al.
arxiv.org/abs/2103.07552

Очень простой подход к few-shot. Тренируем ранжирующую сетку с triplet loss на основе BERT. Добавляем к этому всему аугментации данных (случайные добавления/выбрасывания/... слов). Называем умным словом curriculum learning то, что мы в начале учимся на настоящих данных, а потом на аугментированных (разве не наоборот обычно делают на кагле?). Увеличиваем силу аугментаций в течение тренировки. Добавляем к этому hard negative mining.
В результате эти хаки помогают заметно улучшить бейзлайн, в особенности hard negatives и усиление аугментаций.

Весьма практичная статья, думаю может быть интересно попробовать на настоящих задачах.

код: github.com/jasonwei20/triplet-loss
ещё один обзор: andlukyane.com/blog/paper-review-nlptriplettricks Открыть/Комментировать