Нейросети глупеют: почему это может происходить Журналисты, р | Журнал «Код»

Нейросети глупеют: почему это может происходить

Журналисты, разработчики и вообще все подряд сообщают, что ChatGPT и другие инструменты на его основе показывают всё менее убедительные результаты работы: в тексте и коде появляются ошибки, ответы становятся поверхностными, магия пропала.

У наблюдателей есть две теории:

1. Модель GPT продолжает обучаться на текстах из интернета, но теперь заметную их часть занимают тексты из нейросетей. Когда нейронка обучается не на человеческих, а на нейросетевых текстах, она безвозвратно деградирует, потому что начинает стремительно накапливать ошибки.

2. Open AI втихаря подменяют полную языковую модель урезанной — но зато более дешёвой в эксплуатации. Слишком много людей пользуется системой, нельзя всем давать дорогую и крутую GPT.

Какая теория вам ближе?