FAIR представил MADGRAD — новый оптимизатор для глубинного обу | эйай ньюз
FAIR представил MADGRAD — новый оптимизатор для глубинного обучения. Судя по описанию, MADGRAD представляет лучшее из двух миров: универсальность SGD и скорость Adam, часто превосходя Adam и по скорости, и по точности.
