Продовжуємо занурюватись в тему LLMs. Зараз буде пачка відбірн | Brodetskyi. Tech, VC, startups

Продовжуємо занурюватись в тему LLMs. Зараз буде пачка відбірного, щільного контенту по темі.

Спочатку для розминки — Ян ЛеКун про обмеження LLMs. Рівень складності — базовий. Легка розмова з журналістом, можна слухати замість подкасту. Бесіда фокусується не суто на LLMs, а на питанні "наскільки це близько до AGI". Тому цікаво послухати міркування такого фахівця як ЛеКун, про те, чого не вистачає мовним моделям на шляху до AGI — зокрема внутрішніх моделей світу та здатності планувати (=оперувати поняттям часу та складати послідовності дій з причинно-наслідковими зв'язками). Деякі з його ідей раніше публікував в текстовому форматі.

До речі він там зауважує ще багато правильних речей. Наприклад, що трансформери багато в чому побудовані на результатах відкритих досліджень ШІ-лабораторій Alphabet/Meta. Але самі тех-гіганти не стали першими випускати такий продукт як ChatGPT. Саме тому що для таких компаній висока ціна помилки — Meta уже випускала раніше мовну модель навчену на наукових текстах; всього за два дні інтернет-спільнота розмовляла з моделлю про користь споживання битого скла та інший треш, і експеримент швидко закрили. OpenAI натомість позиціонувала себе як маленьку дослідницьку компанію, тому могла дозволити собі випустити чатбота, який інколи видає нісенітницю, без репутаційних ризиків.

Послухайте, там багато цікавого.