Яндекс

Галлюцинирование
что это за проблема и как с ней борются в Яндексе.

Галлюцинациями называют ответы больших языковых моделей (LLM), которые звучат правдиво, но на самом деле являются ошибочными. Простой пример — вы спрашиваете у чат-бота, кто написал «Женитьбу Бальзаминова», а он отвечает — Антон Чехов (на самом деле Александр Островский).

Основные причины галлюцинаций — недостаток знаний и принцип работы языковой модели. При обучении она учится предсказывать вероятное продолжение на основе предыдущих слов. Если модель не выучила какой-то факт, например того же автора «Женитьбы», то предскажет другое имя или другого писателя, ведь это более вероятное продолжение, чем, например, «эту книгу написала собака».

Этот феномен не изучен до конца, поэтому применяются разные способы решить проблему. Во время создания YandexGPT 2 мы поработали со знаниями модели, сильно улучшив её претрейн. Во-первых, стали тщательнее отбирать данные, во-вторых, проверять, как они влияют на тестовую модель, и только потом «вливать» их в основную. В будущем планируем использовать ещё и обучение с подкреплением.

Подписывайтесь @yandex

ВНИМАНИЕ Yже сеrодня эти технологии 3ащитят вашу п0чту от спама

С начала года сервис Яндекс 360 отправил в спам почти восемь миллиардов писем, а ещё более пяти миллиардов оказались потенциально опасными для пользователя и были заблокированы.

Распознавать такие письма помогают алгоритмы Спамообороны, защитной системы в Почте Яндекса, которая для каждого письма вычисляет более 600 параметров и использует более 20 источников данных. А что это за параметры и как работают алгоритмы — читайте в карточках.

Подписывайтесь @yandex