Наткнулся на занятную статью '8 вещей, которые надо знать о бо | ChatGPT notes — AI, Нейросети & Чат-боты

Наткнулся на занятную статью "8 вещей, которые надо знать о больших языковых моделях"

Краткое содержание:
1. LLM предсказуемо становятся более "способными" с увеличением затрат в $, даже без крутых инноваций. Главное тут - предсказуемость, что было показано в статье про GPT-4: учили 5-7 маленьких моделек с бюджетом 0.1% от финального, а затем по этому делали предсказание для огромной модели. Для общей оценки перплексии и метрик на подвыборке одной конкретной задаче такое предсказание было очень точным.

2. Однако конкретные важные навыки, как правило, возникают непредсказуемо как побочный продукт увеличения затрат на обучение (дольше тренировать, больше данных, больше модель) - практически невозможно предсказать, когда модели начнут выполнять определенные задачи. Подробнее об этом мы писали в статье про историю развития GPT-моделей, которую, надеюсь, многие из вас читали. На картинке - распределение роста качества моделей в разных задачах. В трети маленькие модели ничего не показывают, средние в целом тоже, а большие БАХ! И учатся решать.

3. LLM часто выучивают и используют представления внешнего мира. Тут приводится много примеров, и вот один из них: модели, обученные играть в настольные игры на основе описаний отдельных ходов, никогда не видя изображения игрового поля, выучивают внутренние представления о состоянии доски на каждом ходу.

4. Не существует надежных методов управления поведением LLM. Хотя и был достигнут некоторый прогресс в понимании и смягчении разных проблем (в том числе ChatGPT и GPT-4 с обучением из обратной связи), нет единого мнения о том, сможем ли мы их решить. Растет обеспокоенность, что проблемы alignment'а станут катастрофическими, когда проявятся в более крупных системах будущего.

5. Эксперты пока не могут интерпретировать внутреннюю работу LLM. Yе существует методики, которая позволила бы каким-либо удовлетворительным образом изложить, какие виды знаний, рассуждений или целей использует модель, когда она генерирует какой-либо результат.

6. Качество выполнения задач человеком не является верхней границей для LLM. Хотя они и обучены в первую очередь имитировать поведение человека при написании текста, но всё равно потенциально могут превзойти нас во многих задачах. Так происходит в более узких задачах вроде шахмат или игры в Го.

7. LLM не должны выражать ценности своих создателей или ценности, закодированные в выборке из интернета. Они не должны повторять стереотипы, теории заговора или стремиться оскорбить кого-либо.

8. Оценки способности модели по первым впечатлениям часто вводят в заблуждение. Очень часто нужно додумать правильный промпт, подсказать модели, может, показать примеры - и она начнёт справляться куда лучше. То есть она "умнее", чем кажется на первый взгляд.