2023-07-24 12:00:05
Нейросети глупеют: почему это может происходить
Журналисты, разработчики и вообще все подряд сообщают, что ChatGPT и другие инструменты на его основе показывают всё менее убедительные результаты работы: в тексте и коде появляются ошибки, ответы становятся поверхностными, магия пропала.
У наблюдателей есть две теории:
1. Модель GPT продолжает обучаться на текстах из интернета, но теперь заметную их часть занимают тексты из нейросетей. Когда нейронка обучается не на человеческих, а на нейросетевых текстах, она безвозвратно деградирует, потому что начинает стремительно накапливать ошибки.
2. Open AI втихаря подменяют полную языковую модель урезанной — но зато более дешёвой в эксплуатации. Слишком много людей пользуется системой, нельзя всем давать дорогую и крутую GPT.
Какая теория вам ближе?
5.7K views09:00