Всё, что делают языковые нейросети вроде ChatGPT – это пытают | ТОПЛЕС
Всё, что делают языковые нейросети вроде ChatGPT – это пытаются предугадать следующее слово, которое должно следовать за поданным на вход текстом. Но при этом, чем больше размер самой модели и объем ее тренировочных данных – тем более поразительными выходят результаты.
В 2010-х появившиеся в телефонах простейшие языковые модели могли только догадаться, что если ты набрал на клавиатуре «привет, пойдем…» – то надо предложить подставить следующим словом «гулять» (ну или хотя бы «бухать»).
В 2018 вышла первая версия GPT-1, которая умела примерно то же самое – но зато делала это более эффективно (благодаря новаторской технологии «трансформера»).
Вышедшая в 2019 GPT-2 была уже в 10 раз больше по размеру, и обучалась на текстовых данных объемом в 40 Гб (эквивалент ~7 тысяч полных собраний сочинений Шекспира) – и она уже могла генерировать вполне связные сочинения на серьезные темы, которые иногда было сложно отличить от человеческих.
Размер GPT-3 (2020) увеличили еще в 100 раз – и нейросетка внезапно сама научилась целому ряду более сложных навыков: в том числе, писать небольшими кусками рабочий программный код под поставленную задачу.
В GPT-3.5 (2022) придумали дополнительно натаскивать модель на обратной связи от живых людей – и ее ответы сразу стали выглядеть гораздо качественнее и правдоподобнее. Следом эту модель запихнули в оболочку чатбота и выложили в сеть как ChatGPT, ну а дальше вы уже и сами знаете: мировая сенсация, бум нейросетей, и так далее…
Чем конкретно нейросети удивят нас в текущем году – пока еще точно не известно, но OpenAI и Microsoft по слухам уже собираются строить сверхмощный суперкомпьютер стоимостью аж в $100 млрд (!). Если вам интересно, чем кончится эта «гонка искусственных интеллектов», то рекомендуем подписаться на каналы Игоря Котенкова и Павла Комаровского – экспертов, которые помогали нам подготовить последний большой выпуск ТОПЛЕС про нейросети. Начать погружение в тему можно с их самого понятного объяснения принципов работы ChatGPT, а также с анализа рисков AI для человечества.
Реклама. ИП Комаровский П. А., ИНН 667000990267. Erid: LjN8KVr6R
