Нейросетевая модель GigaChat выполнила все задания единого государственного экзамена по обществознанию и набрала 67 баллов, что превышает минимальный балл для подачи в вуз (45 баллов) и средний балл по предмету в 2023 году (56,4 балла). Об этом в рамках конференции AIJ 2023 рассказал вице-президент по Цифровым поверхностям «Салют» Сбербанка Денис Филиппов.
В ходе испытаний проверялись способности обновлённой версии GigaChat, в основе которой лежит одна из наиболее продвинутых моделей для русского языка с 29 миллиардами параметров.
Для проведения эксперимента был выбран предмет «Обществознание». Таким образом, успешная сдача этого экзамена свидетельствует о высокой степени зрелости модели в вопросах социальных норм, экономических и юридических законов.
Для проверки знаний GigaChat использовались только актуальные тестовые задания 2024 года, размещенные на сайте ФИПИ. Перед экспериментом команда удостоверилась, что эти задания не применялись для предварительного обучения модели. Ответы GigaChat сначала проверил независимый эксперт НИУ ВШЭ, а затем экспертная комиссия Института образования ВШЭ. Оценивались не только корректность постановки задач и достоверность фактологических ответов GigaChat, но и качество выполнения творческих (открытых) заданий.
