Сиолошная

2023-06-04 12:11:19 #личное
# Over, Under

Я различаю в жизни два состояния. Ты или над кривой, что я называю over, или под кривой, то есть under.

Что за кривая? Кто в детстве играл в Warcraft 3, тот помнит, что в конце матча можно посмотреть статистику и увидеть кривую накопления ресурсов и победных очков. По оси Х время, по оси Y очки. В жизни мне представляется аналогичная кривая совокупных победных очков среди твоей когорты людей. Твоя личная кривая может находится или над, или под.

Когда ты над кривой жизнь пытается догнать тебя. Это состояние когда ты превосходишь собственные ожидания. Вокруг тебя только выборы из хорошо и еще лучше. Тратишь мало сил, получаешь много отклика. Много свободного времени не в ущерб яркости жизни. У тебя больше денег, свободы, впечатлений или чего-то еще, что ты ценишь, чем в среднем у похожих людей. По моему опыту нахождение в зоне over имеет накопительный эффект, помогая открываться от кривой все дальше и дальше. Если у тебя есть свобода ты можешь вкладываться в долгосрочные вещи. Ты можешь рисковать. Вложения в долгосрочные и рискованные вещи дают нелинейный выхлоп. В таком состоянии я написал статью про ковид, одновременно хорошо зарабатывая, наслаждаясь жизнью и имея столько свободного времени, что мог изучать карточные трюки. Количество денег опережало затраты настолько, что я экспериментировал с личными ассистентами (пытаясь обменять деньги на время) и с попытками платить людям за прототипы продуктов (пытаясь обменять деньги на возможности). Over порождает over.

Если же ты under, то есть под кривой, то ты пытаешься догнать жизнь. Делаешь ради выхлопа с мультипликатором меньше единицы. Проблемы накапливаются быстрее, чем ты успеваешь их разгребать. Нет пространства для креативного или рискованного, ведь все занято срочным и необходимым. В этом состоянии даже возможности воспринимаются как тяжелые обязанности и лишняя нагрузка, потому что места для них в голове нет. Это состояние так же имеет накопительный эффект. Тут сложный процент хреначит тебе по почкам и другим уязвимым местам будь-здоров. Неразрешенные проблемы накапливаются, откладываются и превращаются из мух в слонов. Например, я уже больше месяца не могу заполнить Ireland Tax Exemption Form, который от меня требует Interactive Brokers, что скорее всего приведет к потере доходности от накоплений. Откладывание походов к врачу превращается в хронические проблемы. Отношения остывают, ведь у тебя не хватает сил проявлять искреннее внимание к людям. Under порождает under.

Воспринимаю жизнь как постоянную гонку с кривой. Кривая растет нелинейно. Сегодня ты over, подрасслабился, а завтра уже under и пытаешься дотянуться до кривой. Примечательно, что с увеличением количества денег и других ресурсов легче не становится: со временем запросы и потребности растут. Если же ты обгоняешь кривую очень сильно, то начинаешь сравнивать себя с другими людьми, заришься уже на кривую другого масштаба, и вот ты снова under. Я понимаю, что это достигаторская оптика, в которой не особо много счастья. Но что поделаешь: сейчас я в глубоком under, а из этой позиции познать дзен-буддизм и принять реальность очень тяжело. По крайней мере я так не умею. Моя реакция на такую ситуацию это принять челенж, отнестись к происходящему как к игре, попытаться раскачать обстановку, выскочить, обогнать кривую. Открыть/Комментировать

2023-06-03 23:56:03 Вспомнил про то, как полгода назад отвечал на сообщение:

> Я пытался найти какой-нибудь стрим с прогером, ну типа парное программирование для одиноких людей. Несколько раз искал причем. Все что находил - девушку с декольте болтающую по посторонние темы с открытым визуал код.
Типа 4-5 зителей <было бы идеально>

Я тогда написал (ответ слегка отредактирован для облегчения восприятия, но без изменения смысла):

https://www.twitch.tv/georgehotz

Короче, кто не в курсе — это американский хакер, ставший известным благодаря снятию блокировки со смартфона iPhone, что позволило использовать его с другими операторами сотовой связи кроме AT&T. Кроме того известен взломом Sony PlayStation 3 и последовавшим после этого судебным иском со стороны компании Sony (он даже написал про эту песню, лол).

Последние месяцев 9 он пишет свой бэкэнд для нейронок на питоне (все на гите в опенсорсе). В этом есть две ценности, на мой взгляд, которые будут полезны людям, у которых <5 лет опыта в индустрии:
1) он крепкий Software Engineer (SWE), а не Machine Learning Engineer, поэтому он сначала продумывает до мелочей дизайн, интерфейсы, все до идеала просчитывает, и свои мысли описывает. Есть чему поучиться, и это очень ценно
2) он крепкий SWE, и стоит поучитьcя у него отладке кода, написаню тестов и тому, как он решает проблемы. Этот человек в топ-1% по навыкам кодинга , скорее даже 0.01%, и при этом он делает то, чего я часто не вижу у вопрошающих людей в Slack/телеграм чатах/у стажеров на работе. Он видит ошибку И СРАЗУ ЕЕ ГУГЛИТ, НЕ СТЕСНЯЯСЬ. И, внезапно, находит решение . Я не знаю, почему люди этого не делают, быть может думают, что умные и сами разберутся. Но, в моем понимании, видя то, как другие профессионалы решают проблемы, может быть это уйдет.

Всем очень рекомендую посмотреть хотя бы 2-3 часа (лучше мотать первый час, там он обычно только вкатывается в процесс), и потом понять для себя, будет ли полезно.

Видосы можно найти тут https://www.youtube.com/c/georgehotzarchive/videos. А ссылку на твич-стрим я приложил в самом начале, он прямо сейчас ведет трансляцию, пытается перенести на свой фреймворк модель Whisper для перевода записи голоса в текст (модель от OpenAI, кстати, для которой доступен и код, и веса). Открыть/Комментировать

2023-06-03 11:54:04 Планы OpenAI на ближайшее будущее

Сэм Альтман на днях дал интервью разработчикам, вот что там интересного:

- Основной ботлнек у OpenAI сейчас — острая нехватка GPU. Из-за этого многие краткосрочные планы откладываются. Как всегда, от золотой лихорадки больше всего выигрывают продавцы «лопат»)

- Роадмап сервисов на этот год:
(i) более дешёвая и быстрая GPT-4;
(ii) увеличенное контекстное окно, возможно даже до 1М токенов;
(iii) API для файнтюнинга моделей;
(iv) Stateful API — «память» для истории диалога, чтобы GPT не приходилось каждый раз проходиться по всему чату и тратить токены.

- Главная фишка GPT-4 - мультимодальность - откладывается на следующий год, опять же из-за дефицита GPU.

- Плагины ChatGPT пока не имеют product-market fit. Поэтому в ближайшее время их не планируют включать в API.

- Обещают не копировать успешные продукты на базе их API. Фокусируются на ChatGPT, как на умном помощнике для работы — а остальные GPT-юзкейсы оставят сторонним разрабам. Открыть/Комментировать

2023-06-03 01:14:11 Открыть/Комментировать

2023-06-03 01:10:42 Обладают ли Большие Языковые Модели моделью мира? Ну, в переносном смысле не знаю, а в прямом — да! По крайней мере, так мне кажется после прочтения статьи "GPT4GEO: How a Language Model Sees the World's Geography", где авторы из University of Cambridge и еще пары мест попытались проанилизировать географические знания модели GPT-4.

С помощью промптов, заставляющих модель выдавать координаты, цифры или текстовые инструкции было сделано множество экспериментов, начиная отрисовкий линий метрополитена и заканчивая задачками на смены часовых поясов при перелетах. И всё это — без доступа к интернету!

Первый пример, собственно, мне и понравился больше всего — его вы можете видеть на прикрепленном изображении. Видно, что модель достаточно точно воссоздала метрополитен Гонконга: какие-то линии прорисованы до мельчайших деталей геометрии, а какие-то даже не учитывают все станции.

Основная причина, по которой я захотел поделиться этим, заключается в моем желании выразить простую идею, что сейчас для экспериментов с LLM не нужны гигансткие бюджеты, так как модели теринровать и не нужно: можно обойтись смекалкой, придерживаться клевой идеи, копать вглубь и придумывать, как почелленджить модель. Главное найти ответ на вопрос "а чо еще потыкать у модели?". Открыть/Комментировать

2023-06-01 20:36:13 И ещё одна инициатива, "Cybersecurity grant program"! OpenAI запускает программу грантов на кибербезопасность на сумму $1 млн с целью усовершенствования мер кибербезопасности, основанных на ИИ. Цели программы включают обеспечение специалистов из сферы кибербезопасности… Открыть/Комментировать

2023-06-01 20:35:49 И ещё одна инициатива, "Cybersecurity grant program"!

OpenAI запускает программу грантов на кибербезопасность на сумму $1 млн с целью усовершенствования мер кибербезопасности, основанных на ИИ. Цели программы включают обеспечение специалистов из сферы кибербезопасности передовыми средствами ИИ, количественное измерение эффективности ИИ в этой области и повышение уровня дискуссии на стыке двух наук.

В качестве идей для проектов предлагаются такие вещи, как:
— Сбор и разметка данных для обучения агентов (в контексте кибербезопасности)
— Обнаружение и смягчение социальной инженерии и её последствий
— Автоматизация отработки инцидентов
— Определение уязвимостей в исходном кодеи
— Разработка или улучшение защищенных вычислений на GPU
— Помощь пользователям в понимании и привитии лучших практик защиты от кибератак

OpenAI призывает авторов проектов делать их ориентированными на максимальную общественную пользу, с акцентом на "оборонительную" стратегию в кибербезопасности, нежели "атакующую" (не хотят давать автономным системам власть, хех).

Ссылка Открыть/Комментировать

2023-06-01 19:38:30 В OpenAI пополнение: новым VP of Consumer Product стал Peter Deng.

Кто такой, чем знаменит?

— начал карьеру в Google в 2006, но быстро перешел в Facebook в 2007
— там он успел поработать над Chat'ом, а также такими фичами, как: Events, Groups и News Feed
— в 2013м стал Head of Product @ Instagram: в то время в команде было порядка 50 человек. Буквально с самого начала компании, чей MAU сейчас больше 2B, Peter трудился над продуктовым видением. В techcrunch о нем написали "Facebook’s Star Manager Peter Deng Becomes Instagram Director Of Product To “Do Fewer Things Better”". Вообще очень хорошая заметка, рекомендую ознакомиться.
— потом Peter перешел в Oculus. Тут важен не факт того, что вот, мол, человек то и это делал, а то, что Mark Zuckerberg доверял ему развивать новые перспективные и очень важные для компании продукты. Как вы понимаете, случайных и неспособных людей на такие позиции не ставят.
— ...однако в 2017м году Peter ушел в Uber, на позицию Head of Rider, существенно продвинув компанию в направлении IPO.
— дальше он перешел в Airtable, вырастав компанию до $10B. Вот тут можно найти 40-минутное интервью про его видение продукта там.

Ну и сегодня Peter присоединяется к OpenAI, чтобы помочь ей в нелегком пути дистрибуции AGI по всему свету

Источник Открыть/Комментировать

2023-06-01 17:37:43



Первый официальный ролик, посвященный новой VR-гарнитуре от META: Oculus Quest 3. Я вообще большущий фанат и энтузиаст VR — мой первый шлем это картонная коробка для телефона с резинкой от трусов (чтобы на голове держалось), и очень хочу девайс себе прикупить. Будем ждать рождества или поздней осени — релиз ждет где-то там.

Из важного — гарнитура стала компактнее (тоньше почти в два раза), и теперь за графику отвечает процессор нового поколения от Qualcom. В автономном режиме без подключения теперь стоит ждать не такой вырвиглазной пиксельной картинки — уже прорыв! Но главное, как мне кажется, это что в подключенном к ПК состоянии теперь из-за более мощного чипа разные сторонние задачи будут решаться лучше: трекинг конечностей, декомпрессия изображения, улучшение качества звука, етц.

Больше деталей будет 27го сентября на ежегодном Oculus Connect.

Стартовая цена за комплектацию с 128GB памяти на борту: $499.99

UPD: а сегодня вечером в 19:30 МСК пройдет Gaming Showcase (ссылка на трансляцию), где покажут новые игры. В том числе жду новостей про GTA:SA VR, которую засветили 2 года назад, и с тех пор ничего не говорили( Открыть/Комментировать

2023-06-01 13:16:59 Наткнулся на открытый пост в vas3k-клубе про изменение процедуры найма. Во мне что-то откликнулось, так как я сам сейчас активно нанимаю, уделяя от 1 до 5 часов собеседованиям в день (sic!). Приглашаю и вас ознакомиться с другой стороной, посмотреть чужими глазами на хайринг.

Вот некоторые тезисы и мои комментарии:
— Наши главные требования [к джуну или стажеру] — готовность чётко выполнять инструкции, аккуратность, способность к проверке собственных результатов, а также умение видеть смысл за числами <...> Способность следовать инструкции — больное место. Бывают ситуации, когда даёшь человеку подробные указания, что делать и как, прокладываешь ему маршрут мимо всех ошибок. Он делает иначе <...> право на творчество нужно заслужить: сначала продемонстрировать компетентность в выполнении простых задач. Ещё бывает, когда условный чек-лист дан в самой инструкции: не забудь сделать х, y, z. Если человек забывает сделать y, то это проблема.

Это вообще грустная правда, пару стажеров я не взял на джунов именно по этой причине: четко все не то что проговорено, а написано в инструкции, я потратил время, подумал за другого человека, описал подводные камни - а они все равно собраны. Тут даже не понимаю, это я дурак непонятно написал или нет.

— способность к проверке собственных результатов - штука, отчасти связанная с самооценкой, отчасти с уверенностью в себе, а еще просто с хорошими мыслительными привычками. Хорошо, чтобы человек умел сомневаться в собственных результатах, смотреть на них под другим углом, задаваться вопросом "что если?" и предполагать, что мог ошибиться, а не видеть проблемы только во внешней среде. Как пример: джун не смог найти нужные данные от клиента и ошибочно написал заказчику, что тот не выполнил обязательства по предоставлению информации, хотя ошибка на его стороне.

Для меня нежелание ошибиться и продемонстрировать незнание - это чуть ли не главные движетели. Я очень много времнеи трачу на критику своей же работы, и всегда сомневаюсь в полученных результатах (и поэтому у меня натурально горит жопа когда приходят yolo-ребята, которые не проверяют, что пишут, и уверены на 100%, что правы).

— [про домашнее задание] В данные я намеренно вложил ловушки, ошибки и моменты неопределённости, чтобы посмотреть, как кандидат с ними будет обращаться.

Этот прием мне тоже нравится, всегда применяю, даже на устных собеседованиях - спросить что-то не так, с неправильной предпосылкой, и посомтреть, как кандидат к этому придет. Или не придет...

— [при обсуждении результатов собеседований] В итоге использовали аналог <фильтров Манна> по двум ключевым критериям: "голова варит?" и "хочу с ним работать?".

Так как поток кандидатов очень большой, то нужно свести обработку результатов и приянтие решение к простой схеме. Вот эти вопросы, в целом, крутятся и у меня в голове. Бывает, что человек хорошо отвечал, но я понимаю, что это скорее точеченые знания, а не "варящий котелок", и шаг влево или вправо выбивает из колеи. Чтоб вы понимали — я нанял вот недели 2 назад инженера с минимальными навыками в нашей области (языковые модели), но как же он соображал на собеседовании! он почти на все вопросы додумал ответы, исходя из своего бэкграунда, из его понимания, и это ОЧЕНЬ круто.


Ссылка на полный текст: тык Открыть/Комментировать