Вышла модель GPT-4 OpenAI презентовали модель GPT-4. И вот чт | Digital Ниндзя

Вышла модель GPT-4

OpenAI презентовали модель GPT-4. И вот что нового:

1. Новая модель держит контекст из 32000 токенов. GPT-3 работала с 2048 токенами. 32000 токенов — это примерно 60 страниц книжного текста. В примере ей скормили налоговый кодекс США, и попросили решить задачу на расчёт налогов. Модель посчитала и сослалась на параграфы кодекса. Не слабо.

2. GPT-4 сможет объяснить, что нарисовано на картинке. В примере на презентации ведущий попросил модель сделать интерфейс веб-сайта из прототипа на листке бумаги. Интерфейс получился так себе, но под ним отрабатывал JavaScript. Правда, фичу с распознаванием картинки показали в интерфейсе дискорда, и из контекста я не понял, прикрутят ли они распознавание к интерфейсу чата.

3. Модель написала небольшой сниппет кода с обращением к API Discord’а. Несколько итераций ведущий скармливал её traceback стека ошибок. Я, к сожалению, не знаю, можно ли так делать GPT-3. Но выглядит хорошо: на презентации вылетела ошибка с отсутствием асинхронной обёртки, и GPT-4 справилась с этим.

4. При использовании интерфейса чата можно задать манеру поведения модели. Такая фича была в API OpenAI, в чате же приходилось задавать это сообщением.

Главные вопросы после презентации и пейпера: на сколько OpenAI увеличил количество параметров в модели и чему новому модель научилась из-за увеличения параметров. Я напомню, что модель GPT делает всего одну вещь: дописывает следующее слово к ответу, понимая контекст. Больше ничего. Но с увеличением количества параметров она научилась достаточно точно переводить тексты с одного языка на другой, понимать контекст, писать код. Важность значения параметров в модели очень хорошо описана вот в этой статье от @RationalAnswer, советую, если ещё не читали.

Поддержать на Boosty | Deep talk шоу «Антоха и Саня» | Twitter | Instagram | YouTube