У нас есть GPT дома…и она написана на SQL.
Да, именно так — разработчик Алексей Боленок написал генеративную нейросеть на SQL.
Наверное, на этом пост можно закончить и просто дать ссылку на оригинал статьи в блоге Алексея и на перевод на Хабре.
Но все-таки расскажем немного, что вас ждет.LLM способны генерировать логичные тексты на естественном языке за счет того, что предсказывают, в каком порядке слова должны идти друг за другом. Алексей показал, что происходит «под капотом» LLM, когда она это делает.
Если совсем кратко: Модель получает промпт и преобразует его список токенов.
Затем она возвращает массив кортежей — строк и чисел. В строках — токены (слова или их части), в числах — вероятность, с которой этот токен «подойдет» для ответа.
Модель выбирает подходящий токен и вносит его в список. Так она последовательно токен за токеном строит ответ.
В конце концов, она преобразует токены в текст.
Все эти шаги Алексей реализовал с помощью SQL-запросов —
всего понадобилось 500 строк, чтобы получить модель, которая смогла поздравить его с Новым годом. Просто пост он выложил 31 декабря.
Для тех, кто хочет перейти сразу к делу и пощупать GPT на SQL своими руками —
репозиторий с кодом на Гитхабе.
