Технології, медіа та суспільство

2023-03-20 16:07:14 Crazy stuff. Guys from Stanford fine-tuned Meta's LLaMa model using OpenAI's text-davinci-003 model (improved InstructGPT). The result is a powerful model that performs many tasks on par with OpenAI's model. But the cost of training was just $600.





https://crfm.stanford.edu/2023/03/13/alpaca.html Открыть/Комментировать

2023-03-18 01:33:53 Вам еще не надоела движуха вокруг Pornhub? Надеюсь что нет, потому что я хочу поделиться с вами отличным текстом FT о собственниках MindGeek — компании, которой принадлежат самые популярные порносайты в интернете, в том числе Pornhub, YouPorn, RedTube и Brazzers.… Открыть/Комментировать

2023-03-17 16:17:19 В четвер буду тут. Має бути непоганий нетворкінг, тож якщо працюєте в VC чи будуєте стартап, зверніть увагу.

==

23 березня в Unit.City (та онлайн) відбудеться Challenger AI Accelerator | Demo Day, під час якого 8 команд презентують свої рішення в Digital & AI/ML сфері.

Серед учасників: Elomia Health, CheckEye, BeHolder, Softbrik, AirLaw, ParkingAround, Scally, GetPin. Ви також матимете нагоду послухати панельну дискусію на тему стійкості української бізнес-екосистеми та персонально поспілкуватись із командами, міжнародними інвесторами та представниками корпорацій. Реєстрація: bit.ly/challenger_AI_DemoDay Открыть/Комментировать

2023-03-17 09:55:32 Microsoft інтегрує AI-асистента в свої офісні сервіси. А тепер давайте згадаємо про беззаперечну перевагу Microsoft над конкурентами в дистрибуції. У Office 345 млн платних користувачів. Багато компаній зараз працюють над офісними застосунками з AI, і дехто може зробити продукт, кращий ніж у Microsoft. Але хто зможе викатити його на таку кількість користувачів? Здається, ніхто. Google теж працює над AI-фічами для свого офісного пакета, але має лише 9 млн платних користувачів-організацій.

Памятаєте, колись був популярним Slack? Коли під час пандемії всі переходили на ремоут, Microsoft запустив по своїм каналам дистрибуції Teams. Тепер у нього 280 млн користувачів, а у Slack — 18 млн.

Microsoft має шанс стати лідером в ніші AI productivity apps суто за рахунок потужної ринкової позиції. Открыть/Комментировать

2023-03-17 01:09:13 Далі — лекція професора Стенфорда, фахівця з обчислювальної лінгвістики Крістофера Поттса. Складність — середня. Погляд на LLMs з точки зору NLP. З 6 хвилини — цікавий фрагмент про стрімкий прогрес мовних моделей за останні роки, і особливо цікавий слайд про те, як драматично зростає здібність моделей виконувати певні задачі зі зростанням їх розміру (див.ілюстрацію). Висвітлено механізм навчання ChatGPT, виклики і можливі підходи до використання мовних моделей для універсальних задач.

Серед океану інфошуму про LLMs фахівців з обчислювальної лінгвістики незаслужено обходять увагою. Хоча, здавалось би, саме до них треба іти за поясненнями цього феномену в першу чергу. Открыть/Комментировать

2023-03-17 00:52:41 До речі, щодо відкритості OpenAI. Цей проект починався як неприбуткова дослідницька організація, яка публікувала всі свої дослідження у відкритому доступі. Хороша тенденція, яку започаткували AI-лабораторії тех-гігантів, і яка сприяла швидкому поширенню cutting edge знань. З часом відкритості в OpenAI ставало менше. Пізніше компанія перестала бути некомерційною. А щоб залучати фінансування, стартапу потрібно показувати вражаючі демо. Такі як ChatGPT. (Це я продовжую переказувати ідеї ЛеКуна з розмови в попередньому пості.)

Якщо в технічних пейперах по GPT-3 та InstructGPT можна знайти багато подробиць про навчання, датасет моделі (див. ілюстрацію) та ручне шліфування відповідей, то в пейпері по GPT-4 розробників та дослідників з усього світу чекало розчарування: Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar.

Здається, час перейменовувати компанію на Closed AI. Открыть/Комментировать

2023-03-17 00:28:54 Продовжуємо занурюватись в тему LLMs. Зараз буде пачка відбірного, щільного контенту по темі.

Спочатку для розминки — Ян ЛеКун про обмеження LLMs. Рівень складності — базовий. Легка розмова з журналістом, можна слухати замість подкасту. Бесіда фокусується не суто на LLMs, а на питанні "наскільки це близько до AGI". Тому цікаво послухати міркування такого фахівця як ЛеКун, про те, чого не вистачає мовним моделям на шляху до AGI — зокрема внутрішніх моделей світу та здатності планувати (=оперувати поняттям часу та складати послідовності дій з причинно-наслідковими зв'язками). Деякі з його ідей раніше публікував в текстовому форматі.

До речі він там зауважує ще багато правильних речей. Наприклад, що трансформери багато в чому побудовані на результатах відкритих досліджень ШІ-лабораторій Alphabet/Meta. Але самі тех-гіганти не стали першими випускати такий продукт як ChatGPT. Саме тому що для таких компаній висока ціна помилки — Meta уже випускала раніше мовну модель навчену на наукових текстах; всього за два дні інтернет-спільнота розмовляла з моделлю про користь споживання битого скла та інший треш, і експеримент швидко закрили. OpenAI натомість позиціонувала себе як маленьку дослідницьку компанію, тому могла дозволити собі випустити чатбота, який інколи видає нісенітницю, без репутаційних ризиків.

Послухайте, там багато цікавого. Открыть/Комментировать

2023-03-16 17:47:23 Ну що, як вам GPT-4? (демо / пейпер)

Нові можливості дійсно вражають: текст генерується краще, тести проходяться краще (див. ілюстрацію). Проте недоліки залишились: галюцинації, обмежений контекст, відсутність навчання з досвіду. Роботу з графікою ще не тестував.

До речі, я уже кілька тижнів використовую GPT-4 безкоштовно — саме він під капотом нового Bing, який завдяки цьому набрав 100 млн DAU. Открыть/Комментировать

2023-03-15 16:43:31 Колеги з Ukrainian Tech Ecosystem поділились крутою можливістю для стартапів — поїхати у складі української делегації на головний захід у США з просування прямих іноземних інвестицій — SelectUSA Summit. Шукають стартапи з MVP і планами вийти на ринок США, в пріоритеті — CleanTech, FinTech, MedTech та SaaS.

Якщо підходите за критеріями, подавайтесь без вагань, дедлайн завтра. Открыть/Комментировать

2023-03-15 00:58:32 Інсайд дня.

Напередодні початку великої війни казахстанський фінтех‑гігант Kaspi.kz ледь не купив дітище Чечоткіних. Сума угоди, що не відбулася, ніколи не оголошувалася. Проте троє співрозмовників Forbes кажуть, що Rozetka оцінили в суму між $1 млрд і $3 млрд. «Їм лишалося кілька тижнів до того, щоб «помацати мільярд», – каже підприємець, знайомий із перебігом перемовин. Открыть/Комментировать