Новости NLP одной строкой #8
1. AI Art and Reliable Pretrained Language Models — The Gradient о DALL-E, больших моделях и всему тому что вы любите.
1. В paperspace теперь можно бесплатно попробовать IPU в ноутбуках (это как TPU, но не от гугла а от graphcore). Вот тут туториал. Выглядит кривовато, но интересно.
1. Efficient Training on a Single GPU — отличный туториал по производительности. Отлично подходит и для новичков и для тех кто уже хорошо знаком с pytorch. Начинают с простых вещей вроде gradient accumulation и заканчивают bf16 и Deepspeed Zero.
1. Рассказ о том как TensorFlow модельку ускоряли с помощью XLA. В 1000 раз быстрее eager, в 5-10 раз быстрее pytorch при семплировании (но медленнее pytorch при beam search). Коротко: фиксируйте шейпы батчей, используйте tf.function и jit.compile.
1. DP-Transformers — тренировка трансформеров с differential privacy от Microsoft.
1. Google Universal Image Embeddings Challenge — задачка на Kaggle по retreival схожих изображений от гугла. Обещают интересный датасет в котором сочетается куча различных доменов — от фотографий одежды до мемов.
1. GLM-130B — en-ch моделька на 130B праметров. Говорят что зирошотит лучше BLOOM, OPT, и GPT-3.
1. Data Science Pet Projects — статья на хабре о том зачем и как делать пет-проекты. Очень наболевшая для меня тема — рекомендую.
1. Мега простое объяснение как писать свои декораторы в питоне
