Brodetskyi. Tech, VC, startups

2023-03-29 21:46:11 The future of email with ChatGPT https://twitter.com/multikev/status/1616784555788075009 Открыть/Комментировать

2023-03-21 20:10:51 Google відкриває доступ до свого AI-асистента Bard. Поки доступно в US/UK. Записався в waiting list через VPN. Коли отримаю доступ, порівняю його з Bing AI і поділюсь враженнями.

Який би з сервісів не став кращим в довгостроковій перспективі, динаміка мені подобається. Користувачам ця конкуренція між гігантами приносить лише нові потужні сервіси. Звісно, кости на підтримання такого сервісу зовсім інші, ніж для звичайного пошуку, відповідно і прибутковість такого пошуку нижча. Пізніше проаналізую дані і напишу про це. Открыть/Комментировать

2023-03-21 01:16:37 Особливості національного бізнесу. Або як Uber заводить водіям кеш.

https://ain.ua/2023/03/20/beb-vykrylo-brend-taksi/ Открыть/Комментировать

2023-03-20 16:07:14 Crazy stuff. Guys from Stanford fine-tuned Meta's LLaMa model using OpenAI's text-davinci-003 model (improved InstructGPT). The result is a powerful model that performs many tasks on par with OpenAI's model. But the cost of training was just $600.





https://crfm.stanford.edu/2023/03/13/alpaca.html Открыть/Комментировать

2023-03-18 01:33:53 Вам еще не надоела движуха вокруг Pornhub? Надеюсь что нет, потому что я хочу поделиться с вами отличным текстом FT о собственниках MindGeek — компании, которой принадлежат самые популярные порносайты в интернете, в том числе Pornhub, YouPorn, RedTube и Brazzers.… Открыть/Комментировать

2023-03-17 16:17:19 В четвер буду тут. Має бути непоганий нетворкінг, тож якщо працюєте в VC чи будуєте стартап, зверніть увагу.

==

23 березня в Unit.City (та онлайн) відбудеться Challenger AI Accelerator | Demo Day, під час якого 8 команд презентують свої рішення в Digital & AI/ML сфері.

Серед учасників: Elomia Health, CheckEye, BeHolder, Softbrik, AirLaw, ParkingAround, Scally, GetPin. Ви також матимете нагоду послухати панельну дискусію на тему стійкості української бізнес-екосистеми та персонально поспілкуватись із командами, міжнародними інвесторами та представниками корпорацій. Реєстрація: bit.ly/challenger_AI_DemoDay Открыть/Комментировать

2023-03-17 09:55:32 Microsoft інтегрує AI-асистента в свої офісні сервіси. А тепер давайте згадаємо про беззаперечну перевагу Microsoft над конкурентами в дистрибуції. У Office 345 млн платних користувачів. Багато компаній зараз працюють над офісними застосунками з AI, і дехто може зробити продукт, кращий ніж у Microsoft. Але хто зможе викатити його на таку кількість користувачів? Здається, ніхто. Google теж працює над AI-фічами для свого офісного пакета, але має лише 9 млн платних користувачів-організацій.

Памятаєте, колись був популярним Slack? Коли під час пандемії всі переходили на ремоут, Microsoft запустив по своїм каналам дистрибуції Teams. Тепер у нього 280 млн користувачів, а у Slack — 18 млн.

Microsoft має шанс стати лідером в ніші AI productivity apps суто за рахунок потужної ринкової позиції. Открыть/Комментировать

2023-03-17 01:09:13 Далі — лекція професора Стенфорда, фахівця з обчислювальної лінгвістики Крістофера Поттса. Складність — середня. Погляд на LLMs з точки зору NLP. З 6 хвилини — цікавий фрагмент про стрімкий прогрес мовних моделей за останні роки, і особливо цікавий слайд про те, як драматично зростає здібність моделей виконувати певні задачі зі зростанням їх розміру (див.ілюстрацію). Висвітлено механізм навчання ChatGPT, виклики і можливі підходи до використання мовних моделей для універсальних задач.

Серед океану інфошуму про LLMs фахівців з обчислювальної лінгвістики незаслужено обходять увагою. Хоча, здавалось би, саме до них треба іти за поясненнями цього феномену в першу чергу. Открыть/Комментировать

2023-03-17 00:52:41 До речі, щодо відкритості OpenAI. Цей проект починався як неприбуткова дослідницька організація, яка публікувала всі свої дослідження у відкритому доступі. Хороша тенденція, яку започаткували AI-лабораторії тех-гігантів, і яка сприяла швидкому поширенню cutting edge знань. З часом відкритості в OpenAI ставало менше. Пізніше компанія перестала бути некомерційною. А щоб залучати фінансування, стартапу потрібно показувати вражаючі демо. Такі як ChatGPT. (Це я продовжую переказувати ідеї ЛеКуна з розмови в попередньому пості.)

Якщо в технічних пейперах по GPT-3 та InstructGPT можна знайти багато подробиць про навчання, датасет моделі (див. ілюстрацію) та ручне шліфування відповідей, то в пейпері по GPT-4 розробників та дослідників з усього світу чекало розчарування: Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar.

Здається, час перейменовувати компанію на Closed AI. Открыть/Комментировать

2023-03-17 00:28:54 Продовжуємо занурюватись в тему LLMs. Зараз буде пачка відбірного, щільного контенту по темі.

Спочатку для розминки — Ян ЛеКун про обмеження LLMs. Рівень складності — базовий. Легка розмова з журналістом, можна слухати замість подкасту. Бесіда фокусується не суто на LLMs, а на питанні "наскільки це близько до AGI". Тому цікаво послухати міркування такого фахівця як ЛеКун, про те, чого не вистачає мовним моделям на шляху до AGI — зокрема внутрішніх моделей світу та здатності планувати (=оперувати поняттям часу та складати послідовності дій з причинно-наслідковими зв'язками). Деякі з його ідей раніше публікував в текстовому форматі.

До речі він там зауважує ще багато правильних речей. Наприклад, що трансформери багато в чому побудовані на результатах відкритих досліджень ШІ-лабораторій Alphabet/Meta. Але самі тех-гіганти не стали першими випускати такий продукт як ChatGPT. Саме тому що для таких компаній висока ціна помилки — Meta уже випускала раніше мовну модель навчену на наукових текстах; всього за два дні інтернет-спільнота розмовляла з моделлю про користь споживання битого скла та інший треш, і експеримент швидко закрили. OpenAI натомість позиціонувала себе як маленьку дослідницьку компанію, тому могла дозволити собі випустити чатбота, який інколи видає нісенітницю, без репутаційних ризиків.

Послухайте, там багато цікавого. Открыть/Комментировать