Нейросеть Сбера GigaChat заняла 4 место в международном рейтинге AI Benchmarking Guide 2024: Top 10 world products
Аналитики Arabian Business при формирования рейтинга проверяли производительность модели не только на ее родном языке, но и эффективность ее работы при ответах на вопросы на других языках. В оценке моделей был использован метод параллельного тестирования AI-моделей, который был разработан ChipAI для обеспечения справедливого и всестороннего их сравнения.
Результаты серии AI слепых тестов оценивались аналитиками, которые не знали о названии модели, стоящей за каждым ответом.
Метод включал в себя множество задач, таких как языковой перевод, творческое письмо, генерация кода и анализ данных для оценки универсальности и глубины понимания каждой модели.
В рейтинге отмечается, что GigaChat обучалась преимущественно на русском языке, поэтому получила максимальный балл не только в данном рейтинге, но и вообще была признана лучшей в ответах на русском.
