Тут все СМИ и Интернет пестрят заметками на тему 'ChatGPT поту | Пост Лукацкого

Тут все СМИ и Интернет пестрят заметками на тему "ChatGPT потупел" и т.п. и ссылаются на солидное исследование ученых из Стэнфорда. Ну так вот, дьявол, как говорится, в деталях. ChatGPT не тупел - он остался тем же; просто поменялось его поведение после соответствующего тюнинга. Об этом неплохо написано у Сергея Карелова (если кому-то лень читать оригинал исследования, а не заголовки СМИ).

И это имеет прямое отношение к ИБ - оставаясь неизменной, модель GPT-3.5 или GPT-4, может быть использована как в благих, так и во враждебных целях. GPT-4 ведь обучалась не на меньшем объеме данных, чтобы "поглупеть". И зависит это не от обучения самой модели, а от ее тюнинга. Хотите сделать ее высокоморальной и толерантной - тюните одни параметры (вспоминаем оригинальный фильм "Робокоп"); хотите сделать ее вредоносной, пишущей вредоносы и фишинговые сообщения, и ищущей уязвимости в коде, - тюните другие параметры. Это как кухонный нож - можно резать стейк, а можно зарезать человека.

Поэтому мало подключить ChatGPT к своему IRP/SIEM или иному продукту по ИБ, как это делают некоторые вендора. Нужно разбираться, что вы подключаете и зачем. Ну да про осознанность подключение ChatGPT к средствам ИБ я уже писал. Впору добавить 12-й пункт в тот список вопросов - "У вас есть специалисты по искусственному интеллекту, которые понимают, как он работает, и как работает конкретно ChatGPT?"