2022-01-25 18:58:08
Meta AI RSC — новый лидер среди суперкомпьютеров?
Компания Meta (ранее — Facebook) объявила о запуске одного из самых производительных суперкомпьютеров. Он способен обучать модели ИИ с более чем триллионом параметров, используя наборы реальных данных объёмом до эксабайта.
Новый суперкомпьютер AI Research SuperCluster (RSC) заменит кластер с
22 000 графических процессоров NVIDIA V100, который Facebook использовала с 2017 года.
В AI RSC сегодня работают
760 ускорителей NVIDIA DGX A100, содержащих 6080 графических процессоров и обеспечивающих вместе пиковую производительность порядка
2 эксафлопс за счёт более современной архитектуры с тензорными ядрами нового поколения.
До конца 2022 года Meta планирует масштабировать AI RSC до
2000 систем NVIDA DGX A100, подняв теоретическую производительность более чем в 2,5 раза.
«Мы считаем, что это будет самый быстрый суперкомпьютер с искусственным интеллектом в мире, выполняющий вычислений со смешанной точностью на скорости до 5 эксафлопс (квинтиллионов операций в секунду)», — говорит менеджер программы AI RSC Кевин Ли.
Одновременно в новом суперкомпьютере совершенствуется система кэширования и хранения обучающих данных, которая обеспечит скорость чтения порядка
16 ТБ/с и доступный объём до эксабайта.
На текущий момент данные в RSC хранятся в трёх скоростных массивах флэш-памяти:
— Pure Storage FlashArray объёмом
175 петабайт используется для подборок «сырых» данных, которые анализируются автоматически без предварительной разметки человеком;
— ещё
46 петабайт для часто востребованных данных предоставляет более быстрая система Penguin Computing Altus;
— в качестве кэша распределённой файловой системы объёмом
10 петабайт используется самый быстрый массив Pure Storage FlashBlade.
Поскольку Meta работает с данными пользователей, все они хранятся в зашифрованном виде, а их выборочная дешифровка на лету требует дополнительных вычислительных ресурсов.
Уже сейчас новый суперкомпьютер превосходит прежний кластер на NVIDIA V100. Скорость обучения самых востребованных моделей ИИ выросла на нём
от 3 до 20 раз, в зависимости от их типа и требуемой точности вычислений.
Основные области применения AI RSC включают в себя обнаружение вредоносного контента, фейковых новостей и фишинговых аккаунтов; таргетизацию рекламы; улучшенное распознавание голосовых команд, лиц и объектов на фотографиях и видеороликах.
В частности, системы обработки естественного языка (NLP) будут учиться работать в условиях сильных фоновых шумов, учитывать акцент и особенности произношения пользователей.
Источник: Meta AI
853 views15:58