Deep Learning Recommendation Models на которых стоят и ФБ и Нетфликс обычно состоят из мультислойного перцептрона и таблиц с эмбедингами, где первый отвечает за числительные признаки, а ля, возраст, а вторые за категорические — жанр, тип данных, и тд, которые они эмбедят в числительные вектора, чтобы дальше с ними можно было работать.
Так вот эти таблицы эмбедингов в промышленных задачах достигают уже даже не гигабайты, а террабайты в объеме. Они могут содержать миллионы строк, и это количество растет экспоненциально в новых рекомендационных моделях.
Очевидно, что это проблема, и рисерчеры из Georgia Tech и FB AI это заметили, и предложили новый способ сжатия таких моделей через представление этих огромных таблиц в виде матричных произведений. В итоге у них получилось сократить размер модели в 112 раз увеличив время тренировки всего на 13% (время инференса не сообщается).
Финансовый отел который выделяет бюджет на датацентры сегодня пьет шампанское.
