Большой резонанс в англоязычном интернете вызвал слив посвящён | Мастриды
Большой резонанс в англоязычном интернете вызвал слив посвящённого ИИ внутреннего документа от одного из разработчиков Google. Его автор пишет, что и Google, и OpenAI (создатели GPT) рано или поздно проиграют гонку в сфере ИИ оупен-сорсным решениям, создаваемым энтузиастами «на коленке». За последние пару месяцев в этой сфере произошло много прорывов:
1) в марте 2023 года утекает в открытый доступ нейросеть LLaMa от Фейсбука. Она не такая продвинутая, как GPT-4, но это не так важно — энтузиасты сразу начинают использовать её для своих целей и тренировать собственные нейросети, используя существующую технологию от ФБ
2) в течение марта себестоимость обучения собственной LLM (большой языковой модели, как GPT) снижается сначала до 300, а потом и до 100 долларов. Такую модель можно создать и обучить даже на не особо мощном ноутбуке всего за час. Разработчики-энтузиасты создают дома самостоятельно без больших мощностей не только LLM, но и мультимодальные нейросети (текст + картинки), которые показывают отличные результаты даже в сравнении с лидерами индустрии и не требуют колоссального числа параметров для обучения
3) к апрелю появляются LLM-модели Koala и Open Assistant, ответы которых получают от пользователей примерно такие же восторженные оценки, как GPT-4 (всего на несколько процентов хуже). Причём они обучены на общественно доступных данных и бесплатны для использования.
Сотрудник Google в своем докладе утверждает, что ни его компания, ни OpenAI (которые уже давно не Open, а Closed, т. к. перестали публиковать свой код) не смогут соперничать с оупен-сорсом. Мол, люди не будут тратить деньги на платный продукт, когда есть хорошая бесплатная оупен-сорсная альтернатива. Вывод автора — нужно срочно что-то с этим делать. Например, перейти к большей прозрачности и самим публиковать свои модели для доработки совместно с широкой общественностью.
Судя по реакциям экспертов, не все из них согласны с автором. Я не эксперт, но даже для меня неочевиден тезис про бесплатную альтернативу как убийцу платного продукта — её наличие, например, не мешает процветать продуктам Microsoft (хотя, казалось бы, кому нужен Word, если есть Open Office?).
Впрочем, в сфере ИИ сегодня вообще почти ни по одному важному вопросу нет консенсуса: половина исследователей верит, что мы все скоро погибнем от ИИ, другая половина – нет, одни говорят про месяцы до мощного «общего ИИ» (AGI), другие – про годы. Правда, про десятилетия уже мало кто говорит.
В общем, пока много что непонятно, но очень интересно. Почитайте мастрид: semianalysis.com/p/google-we-have-no-moat-and-neither
А ещё завтра утром будет важный анонс — не пропустите.
#ИИ_мастрид
