Сиолошная

2023-06-08 00:05:41 Последнюю недельку в рамках улучшения навыков разговорного английского и уточнения своих менеджерских взглядов начал смотреть видео с Jen-Hsun "Jensen" Huang — CEO Nvidia, компании, которая на прошлой неделе скакнула в цене на 25% на фоне хайпа по AI и перешагнула… Открыть/Комментировать

2023-06-08 00:03:54 Последнюю недельку в рамках улучшения навыков разговорного английского и уточнения своих менеджерских взглядов начал смотреть видео с Jen-Hsun "Jensen" Huang — CEO Nvidia, компании, которая на прошлой неделе скакнула в цене на 25% на фоне хайпа по AI и перешагнула оценку в $1T (таких дорогих компаний всего 7-8 в мире).

Очень мне импонирует его стиль подачи, способ объяснений и идеи.
Началось всё вот с этого shorts, где Jensen за 20 секунд без технических деталей объяснил, чем компания вообще занимается. Причем, это прям его vision – они не делают видеокарты, они разрабатывают технологии ускорения вычислений, для того чтобы мир мог решать задачи, которые врядли получилось бы решить другим способом. Он не приводит это как пример, однако ясно, что GPU нужны в том числе и для обучения AI-ассистентов вроде ChatGPT. А если посмотреть на другие продукты Nvidia, которые помогают продавать железки — с дуба рухнуть можно от полноты и насыщенности: от симуляций погоды до генерации синтетических данных при обучении автопилотов.

Вот пара кусочков, которые хорошо сложены:
1) Advice for Students, или кто такой инженер, и почему навык решения проблем (включая их декомпозицию) по жизни это навык крайне важный — не важно СЕО ты или пишешь низкоуровневый код. Очень важно понимать проблему, не стесняться переформулировать её, в самом деле понимая, что собой проблема представляет. После этого, вероятно, проблема будет решаться легче.
2) Employee Selection Affects Culture, или про то, как важно правильно отбирать кандидатов и определять их близость к культуре компании (которая идет от СЕО). Насколько их ценности сходятся с вашими, насколько горят глаза заниматься вашими задачами и решать проблемы, быть командным игроком. Jensen делится, что они делают предложение о работе 10% людей, которых собеседуют (12 лет назад, сейчас цифра может быть другой), и из них 95% принимает оффер. А людей, которые остаются работать, обеспечивают потрясающими проектами, большим кол-вом ресурсов и командой таких же заряженых спецов.
3) How a CEO Spends Time, или что СЕО должен заниматься стратегией и задачами с далеким горизонтом влияния, а не мелкими рутинными задачками тут и там. При этом важно оставаться в касании с командой, общаться с людьми на митингах, на обеде в кафешке и так далее. Это помогает распространять культуру (см. пункт 2).

Полная часовая лекция в Stanford 10-летней давности: тут.

А в комментарии кидайте свои любимые отрывки интервью с клевыми чуваками, которые вам нравятся и которых вы готовы пересматривать по несколько раз. Открыть/Комментировать

2023-06-07 23:03:56 Вчера вышла Diablo IV — продолжение культовой серии, возвращающее нас в Санктуарий (название вымышленного мира) спустя более чем 10 лет после "тройки".

У критиков игра получила хорошие оценки (88-93 балла на Metacritic, в зависимости от платформы), а от игроков на предрелизных тестах слышал много положительного, хоть и жаловались на отсутствие новизы и свежих идей. Но в целом очень рад за серию, так как у разработчиков сейчас не самая лучшая репутация, последние релизы испортили впечталения.

Вообще компания-издатель Blizzard славится своими cinematic-роликами, они всегда сделаны очень качественно, с большим бюджетом. Вот мой самый любимый из текущей релизной линейки (3 минуты). Это спокойно могло быть открывающей сценой в Голливудском блокбастере!

Комментарии под роликом (и тут) дают понять ширину игровой аудитории, которая является целевой:
— I'm 44 this year and I distinctly remember seeing original Diablo on demo <...>
— I'm 43 years old, and have been a Diablo fan since day one. <...>

Когда-то и мы будем вспоминать о чём-то из молодости, что дарило нам вау-ощущения и эмоции...

В комментариях делитесь своими воспоминаниями о том, как гоняли в "двойку", представляя себе вместо пикселей реальные пещеры, полные опасностей. А если опробовали 4ку, то тем более! Открыть/Комментировать

2023-06-07 19:29:33 Наткнулся на открытый пост в vas3k-клубе про изменение процедуры найма. Во мне что-то откликнулось, так как я сам сейчас активно нанимаю, уделяя от 1 до 5 часов собеседованиям в день (sic!). Приглашаю и вас ознакомиться с другой стороной, посмотреть чужими… Открыть/Комментировать

2023-06-07 00:53:56 I believe that in 50 years’ time it will be possible to make computers play the imitation game so well
that an average interrogator will have no more than 70% chance of making the right identification
after 5 minutes of questioning.
– Alan Turing, 1950

В последние полгода как-то стыдно вспоминать про классический тест Тьюринга. Во-первых, не кажется, что он является качественным индикатором появления AI, а во-вторых ChatGPT/GPT-4 так далеко зашли по пути интеграции в сообщества (более 300 миллионов уникальных посетителей на сайте!), что кому-то кажется, что машины могут всё, а иному — что он легко отличит сгенерированные ответы от реальных.

Вашему вниманию предлагается статья "Human or Not? A gamefied approach to the Turing Test".

В течение месяца в специально подготовленную веб-игру сыграло более 1,5 миллиона пользователей. Было предложено анонимно початиться на протяжении двух минут либо с другим человеком, либо с языковой моделью типа GPT (которой нужно было вести себя как человек).

Задача игроков заключалась в том, чтобы правильно угадать, разговаривают ли они с человеком или с машиной. Этот крупнейший на сегодняшний день тест в стиле Тьюринга выявил несколько интересных фактов. Например, в целом пользователи правильно угадывали личность своих партнеров только в 68% игр. А в отдельном подмножестве чатов, в которых пользователи сталкивались с ботом, у пользователей был еще более низкий уровень правильного угадывания — 60% (то есть ненамного выше, чем подбрасывание монетки 50/50). Плюс, люди были немного предвзяты, так как знали, что потенциально могут общаться с машиной (а про шумиху про ЕСКУСТВЕНЫЙ ИНТЕЛЕКТ вокруг нас и говорить не буду).

Понятно, что это в некотором смысле ограниченный эксперимент, и его нужно расширять (за 2 минуты много ли успеешь написать? 4-5 сообщений, и только), но сами цифорки интересные.

На картинке: примеры того, как люди пытались дурить друг друга и AI-шку. Открыть/Комментировать

2023-06-06 22:23:41 Наткнулся в твиттере на пример того, как ControlNet применяют для превращения (почти) любых рисунков в QR-код, отсканировав который можно перейти по реально работающей ссылке. Собственно, можете попробовать и сами :)

На reddit можно найти еще 8 примеров с другими картинками (пару из них скину в комментарии для вашего удобства), а в оригинальном посте на одной из китайских платформ, где автор запостил свой процесс разработки - еще пару десятков.

Правда, работает у меня на Samsung дай бог каждый второй QR-код. Однако приятели с iPhone говорят, что считываются правильно почти все.

В общем, очень красивое применение технологии смешивания двух картинок (черно-белый QR-код и произвольное изображение), однозначно привлекающее внимание мимопроходящих.

UPD: в комментарии еще скинули твиттер-тред с объяснением принципа работы QR-кода, как там что кодируется и почему. Открыть/Комментировать

2023-06-04 12:11:19 #личное
# Over, Under

Я различаю в жизни два состояния. Ты или над кривой, что я называю over, или под кривой, то есть under.

Что за кривая? Кто в детстве играл в Warcraft 3, тот помнит, что в конце матча можно посмотреть статистику и увидеть кривую накопления ресурсов и победных очков. По оси Х время, по оси Y очки. В жизни мне представляется аналогичная кривая совокупных победных очков среди твоей когорты людей. Твоя личная кривая может находится или над, или под.

Когда ты над кривой жизнь пытается догнать тебя. Это состояние когда ты превосходишь собственные ожидания. Вокруг тебя только выборы из хорошо и еще лучше. Тратишь мало сил, получаешь много отклика. Много свободного времени не в ущерб яркости жизни. У тебя больше денег, свободы, впечатлений или чего-то еще, что ты ценишь, чем в среднем у похожих людей. По моему опыту нахождение в зоне over имеет накопительный эффект, помогая открываться от кривой все дальше и дальше. Если у тебя есть свобода ты можешь вкладываться в долгосрочные вещи. Ты можешь рисковать. Вложения в долгосрочные и рискованные вещи дают нелинейный выхлоп. В таком состоянии я написал статью про ковид, одновременно хорошо зарабатывая, наслаждаясь жизнью и имея столько свободного времени, что мог изучать карточные трюки. Количество денег опережало затраты настолько, что я экспериментировал с личными ассистентами (пытаясь обменять деньги на время) и с попытками платить людям за прототипы продуктов (пытаясь обменять деньги на возможности). Over порождает over.

Если же ты under, то есть под кривой, то ты пытаешься догнать жизнь. Делаешь ради выхлопа с мультипликатором меньше единицы. Проблемы накапливаются быстрее, чем ты успеваешь их разгребать. Нет пространства для креативного или рискованного, ведь все занято срочным и необходимым. В этом состоянии даже возможности воспринимаются как тяжелые обязанности и лишняя нагрузка, потому что места для них в голове нет. Это состояние так же имеет накопительный эффект. Тут сложный процент хреначит тебе по почкам и другим уязвимым местам будь-здоров. Неразрешенные проблемы накапливаются, откладываются и превращаются из мух в слонов. Например, я уже больше месяца не могу заполнить Ireland Tax Exemption Form, который от меня требует Interactive Brokers, что скорее всего приведет к потере доходности от накоплений. Откладывание походов к врачу превращается в хронические проблемы. Отношения остывают, ведь у тебя не хватает сил проявлять искреннее внимание к людям. Under порождает under.

Воспринимаю жизнь как постоянную гонку с кривой. Кривая растет нелинейно. Сегодня ты over, подрасслабился, а завтра уже under и пытаешься дотянуться до кривой. Примечательно, что с увеличением количества денег и других ресурсов легче не становится: со временем запросы и потребности растут. Если же ты обгоняешь кривую очень сильно, то начинаешь сравнивать себя с другими людьми, заришься уже на кривую другого масштаба, и вот ты снова under. Я понимаю, что это достигаторская оптика, в которой не особо много счастья. Но что поделаешь: сейчас я в глубоком under, а из этой позиции познать дзен-буддизм и принять реальность очень тяжело. По крайней мере я так не умею. Моя реакция на такую ситуацию это принять челенж, отнестись к происходящему как к игре, попытаться раскачать обстановку, выскочить, обогнать кривую. Открыть/Комментировать

2023-06-03 23:56:03 Вспомнил про то, как полгода назад отвечал на сообщение:

> Я пытался найти какой-нибудь стрим с прогером, ну типа парное программирование для одиноких людей. Несколько раз искал причем. Все что находил - девушку с декольте болтающую по посторонние темы с открытым визуал код.
Типа 4-5 зителей <было бы идеально>

Я тогда написал (ответ слегка отредактирован для облегчения восприятия, но без изменения смысла):

https://www.twitch.tv/georgehotz

Короче, кто не в курсе — это американский хакер, ставший известным благодаря снятию блокировки со смартфона iPhone, что позволило использовать его с другими операторами сотовой связи кроме AT&T. Кроме того известен взломом Sony PlayStation 3 и последовавшим после этого судебным иском со стороны компании Sony (он даже написал про эту песню, лол).

Последние месяцев 9 он пишет свой бэкэнд для нейронок на питоне (все на гите в опенсорсе). В этом есть две ценности, на мой взгляд, которые будут полезны людям, у которых <5 лет опыта в индустрии:
1) он крепкий Software Engineer (SWE), а не Machine Learning Engineer, поэтому он сначала продумывает до мелочей дизайн, интерфейсы, все до идеала просчитывает, и свои мысли описывает. Есть чему поучиться, и это очень ценно
2) он крепкий SWE, и стоит поучитьcя у него отладке кода, написаню тестов и тому, как он решает проблемы. Этот человек в топ-1% по навыкам кодинга , скорее даже 0.01%, и при этом он делает то, чего я часто не вижу у вопрошающих людей в Slack/телеграм чатах/у стажеров на работе. Он видит ошибку И СРАЗУ ЕЕ ГУГЛИТ, НЕ СТЕСНЯЯСЬ. И, внезапно, находит решение . Я не знаю, почему люди этого не делают, быть может думают, что умные и сами разберутся. Но, в моем понимании, видя то, как другие профессионалы решают проблемы, может быть это уйдет.

Всем очень рекомендую посмотреть хотя бы 2-3 часа (лучше мотать первый час, там он обычно только вкатывается в процесс), и потом понять для себя, будет ли полезно.

Видосы можно найти тут https://www.youtube.com/c/georgehotzarchive/videos. А ссылку на твич-стрим я приложил в самом начале, он прямо сейчас ведет трансляцию, пытается перенести на свой фреймворк модель Whisper для перевода записи голоса в текст (модель от OpenAI, кстати, для которой доступен и код, и веса). Открыть/Комментировать

2023-06-03 11:54:04 Планы OpenAI на ближайшее будущее

Сэм Альтман на днях дал интервью разработчикам, вот что там интересного:

- Основной ботлнек у OpenAI сейчас — острая нехватка GPU. Из-за этого многие краткосрочные планы откладываются. Как всегда, от золотой лихорадки больше всего выигрывают продавцы «лопат»)

- Роадмап сервисов на этот год:
(i) более дешёвая и быстрая GPT-4;
(ii) увеличенное контекстное окно, возможно даже до 1М токенов;
(iii) API для файнтюнинга моделей;
(iv) Stateful API — «память» для истории диалога, чтобы GPT не приходилось каждый раз проходиться по всему чату и тратить токены.

- Главная фишка GPT-4 - мультимодальность - откладывается на следующий год, опять же из-за дефицита GPU.

- Плагины ChatGPT пока не имеют product-market fit. Поэтому в ближайшее время их не планируют включать в API.

- Обещают не копировать успешные продукты на базе их API. Фокусируются на ChatGPT, как на умном помощнике для работы — а остальные GPT-юзкейсы оставят сторонним разрабам. Открыть/Комментировать

2023-06-03 01:14:11 Открыть/Комментировать