В декабре 22 года Google представил идею ускорения генерации текста языковыми моделями под названием Confident Adaptive Language Modeling (CALM).• Основная идея заключается в том, чтобы предсказывать простые слова не только на основе выхода последнего слоя модели, но и с помощью выходов одного из начальных слоев, чтобы уменьшить время генерации текста.
• Для реализации CALM используют T5 и в процессе обучения модели считают лосс-функцию по всем полносвязным слоям сети, а не только по последнему слою, и вычисляют уверенность слоя в своем предсказании.
• Эксперименты показали, что такая идея может ускорить генерацию текста в 2-3 раза без качественных потерь.
