New Yorko Times

2022-12-26 14:42:10 Ссылки на некоторые материалы для простых людей (тут без параллельных вселенных и прочих заумных слов):
- “Quantum computing for the very curious” https://quantum.country/qcvc – лучший из ресурсов из тех, что я нашел, отвечающий на вопрос, о чем вообще эти квантовые вычисления и как примерно они устроены
- Обзорная статья про квантовые вычисления “О квантовых компьютерах, биткоине и превосходстве” в курсе квантового машинного обучения от ODS https://quantum-ods.github.io/qmlcourse/book/intro/ru/intro.html
- статья Вастрика про квантовый компьютер https://vas3k.ru/blog/quantum_computing Открыть/Комментировать

2022-12-26 14:42:10 Что я узнал о дивном мире квантовых вычислений (продолжение)
#science #quantum

Вкратце, самое многообещающее приложение – это, собственно, кванты для квантов – моделирование квантовых систем и симуляция квантовой механики. Это про решение уравнения Шредингера для сложных систем (в классике даже задача трех тел не решается аналитически, а симуляции тоже бессильны для хоть какого-то разумного числа элементарных частиц). Тут мне сложно махать руками, т.к. надо разбираться и в квантмехе, и квантовой химии, но как я понимаю, с настоящим квантовым компом будет дикий прогресс в задачах типа предсказания сворачивания белка и, в конечном счете, разработки лекарств. А также в разработке новых материалов с нужными свойствами.

Есть еще оптимизация, всякие квантовые алгоритмы для решения NP-полных задач. Ну, может, в будущем оптимальный маршрут в Я.Картах и будет строиться на квантовом компе, но в целом это так не повлияет на нашу жизнь, как квантовое моделирование. То же про алгоритм Шора и взлом RSA. Просто шумиха (как и майнинг битка на квантовых компах). Уже вовсю исследуется постквантовая криптография, защищающая от взлома RSA. К тому же, допустим RSA128 можно будет поломать, но если просто увеличить ключ, понадобится много качественных кубитов для взлома, а столько еще нет. Но алгоритм Шора – легендарный, с него по сути и начались все эти разговоры про кванты и будущее.

При этом кванты полезны уже сейчас, в NISQ эпоху (noisy intermediate-scale quantum), когда кубитов немного, и они неидеальны. Поиск собственных значений и векторов, оказывается, сложная задача. Есть квантовых аналог – variational quantum eigensolver, Вот он может работать с неидеальными кубитами. Оказывается, поиск первого собственного вектора гамильтониана системы – очень важная прикладная задача, актуальная для разных физических процессов типа… хотел бы я (как выпускник физтеха черт побери) легко не гугля привести кучу примеров, но сюда относится все задачи типа many-body systems такие как квантовый отжиг, моделирование электронной структуры молекулы и т.д. Хороший обзорчик https://quantum-ods.github.io/qmlcourse/book/intro/ru/intro.html Семен Синченко сделал для нашего курса QML. Тут система описывается гамильтонинаном (он столь огромен для больших систем, что даже загрузить его в классическую память – проблема), а ее основное состояние (собственные значения и вектор гамильтонина) описывает решение – то есть по сути физическую конфигурацию системы. Для VQE не нужен абстрактный идеальный квантовый комп, достаточно кучи неидеальных кубитов. Вот конкретно под одну эту задачу заточен DWave. И вроде как все успешно, потенциал есть. Хотя, как я понимаю, пока еще недостаточно кубитов для каких-то реально прорывных case studies.

Но я не исключаю возможности, что кто-то изобретет прорывную технологию, условно, взглянет как-то по-другому на кубиты и сделает вещество, в котором каждый атом – кубит (фантазирую), и тогда вычислительные возможности будут по сути не ограничены. Сейчас сложности с тем, что физика – дорогая (всякие сверхпроводимости, требующие почти абсолютного нуля), а также принципиальная сложность в том, что с одной стороны, кубиты должны быть изолированы от мира, чтоб не терять свое состояния (декогеренция, примерно как батарейка лежит, контактирует с воздухом и теряет заряд, только кубиты намного быстрее теряют свое чистое состояние). С другой стороны, кубиты надо уметь измерять, то есть они все же обязаны как-то контактировать со средой. Проблема примерно той же природы, что нельзя измерить температуру среды, не понизив ее, т.к. градусник нагревается. Только на квантовом уровне это прям сложно. В-общем, как в 2012, вполне возможен прямо принципиальный прорыв, и тогда все ринутся в кванты. Но в ближайшее время таких прорывов, как машинное обучение или тем более Интернет, думаю, не ожидается. Открыть/Комментировать

2022-12-26 14:42:10 Что я узнал о дивном мире квантовых вычислений
#science #quantum

Расскажу немного про то, что я узнал о мире квантовых вычислений, пока помогал Семену Синченко & Co. с разработкой курса по квантовому машинному обучению https://ods.ai/tracks/qmlcourse. На хабр, условно, я б с таким текстом не пошел – любой настоящий эксперт за что-нибудь зацепится и по пунктам и подпунктам объяснит мне в коментах, почему я чмо (сложнее даже не с настоящими экспертами, а с попугаями, нахватавшимися терминов и с уверенностью Galactica вываливающими на тебя что-то, что ты не можешь легко проверить). Но если вы ничего не знаете о мире квантовых вычислений, мой обзор что-то да расскажет. Читать все же надо, как говорится, with a grain of salt – лезть в дивный новый мир квантовых вычислений так же сложно, как в любую столь же сложную область, будь то микробиология или неврология.

Безусловно, я гик. Мне в кайф узнавать что-то новое, крутое и сложное. А кванты – это и физика, и математика, и computer science. Причем, несмотря на то что у нас была зубодробительная квантовая физика на физтехе, надо все вспоминать, и через лекции Прескилла я так и не продрался. Ботать кванты я собирался не из карьерных соображений, а просто чтоб понять, насколько кванты действительно способны изменить мир и как оно вообще работает.

Очень многие критики говорят, что кванты никогда не выстрелят, слишком много ограничений как технических, так и фундаментальных. Тут сложно возразить, действительно пока квантовые вычисления не меняют мир, а надежды они подают уж лет 100 как. Впрочем, есть как авторитетные скептики, так и авторитетные сторонники – черт ногу сломит. На мой взгляд, кванты почти наверное выстрелят, вот только никто не знает, когда именно. Можно на минуту представить, что кванты сейчас – это как Deep Learning в 2010-2011 году. Уже не особо модно, приложений особо нет, хотя теории полным полно. Но кто бы знал, как оно все рванет уже в ближайшие годы. Так же точно New York Times в 1903 году, за 2 месяца до полета братьев Райт, предсказывал, что самолеты полетят только через 10 млн лет. К слову, Скотт Ааронсон, один из видимых популяризаторов квантовых вычислениях, вообще не рассматривает вопрос о практически полезных квантовых компьютерах, а занимается чисто теорией, поскольку “это же черт возьми бесконечно блять круто” (как тот физик из мема про то, зачем нам ловить гравитационные волны).

Олды помнят, еще в 70-80-ые все говорили о квантовых вычислениях, но сейчас это еще подкрепляется реальными успехами. Поэтому немало стартапов, которые:

- играют в игрушки. В целом квантовые вычисления могут показаться даже проще, чем DL – там по сути надо только унитарные операции к тензорам применять, даже нет нелинейностей. Поэтому набежали всякие "фреймворки", по сути вращающие тензоры (numpy + напильник + маркетинг). Инвесторам (да и не только), конечно, сложно отделить зерна от плевел. То же касается и исследований. Пример: GAN с 4 кубитами, рисующий те же MNIST картинки, что классический с 200 параметрами – реально ли тут есть value, или это игра в игрушки?
- откровенно пытаются наябать инвесторов и ничего не достичь
- занимаются железом. Тут Rigetti, пожалуй, наиболее известный конкурент IBM, гугла и китайцев. Но тоже непонятно, выстрелит оно или нет

Тем не менее квантовые стартапы появляются, есть целые венчурные фонды, специализирующиеся на квантах. Вот классное популярное видео

про то, как обстоят дела в квантовом венчуре. Открыть/Комментировать

2022-12-23 16:20:46 #shitpost #friday

Идея формата для последних пятничных митингов (пред-)последней недели года. Сдержать лыбу будет непросто! Открыть/Комментировать

2022-12-22 13:05:25 #phd #science #career

“PhD is for people who love ideas more than money”. Неплохо.

Вместе с репостом заодно впишусь сделать пост про свой Ph.D. (точнее, к.т.н.) и в целом рассуждения про индустрию vs. академию, счастье от работы, лузерство и успехи. #todo Открыть/Комментировать

2022-12-19 18:26:17 Кстати, упомянутые слайды Кунчевой “Classifier Ensembles: Facts, Fiction, Faults and Future” https://tinyurl.com/yc3mn8ph, любопытные – там про некоторые мифы типа “разнообразие базовых классификаторов в ансамбле – всегда хорошо” или “ансамбль всегда лучше одной базовой модели”, а также эксперименты, где Rotation Forest (лес из деревьев, умеющих строить разделяющие поверхности под любым углом к осям координат, а не как в случае классических деревьев) бьет бустинг, бэггинг и случайный лес (что, впрочем, не так удивительно, Кунчева - соавтор метода Rotation Forest). Открыть/Комментировать

2022-12-19 18:26:00 Советские ансамбли
#ml #science

Когда пришел в аспирантуру, а из ML знал толком только про бленд Random Forest и SVM в Kaggle-сореве про Титаник, приглядывался, нашел себе тему хоть как-то связанную с ML, но при этом всегда тянуло разобраться, почему ансамбли так здорово работают. В какой-то момент даже получил у Дмитрия Ветрова рекомендацию к Ludmila Kuncheva (Scholar https://tinyurl.com/mrydbhn4) в Бангор. Думал, Индия, а это мелкий городок в Уэльсе. В Уэльс я не поехал в итоге, и оно к лучшему. Но вот один слайд из лекций Кунчевой запомнился. 1981 год, брошюрка Энергоиздата за 30 копеек, где на чуть другом языке описываются ансамбли, выбор моделей в ансамблях, правила взвешенного голосования моделей и т.п. Это не так круто, как Шмидхубер, цитирующий Ивахненко как автора сверточных сетей, но тоже наводит на мысли, зачем нам английский и публикации на топовых мировых конференциях, а также что произошло с немецкой наукой эпохи фашизма и что будет с китайской наукой, если вырастет великий китайский фаервол. Открыть/Комментировать

2022-12-16 12:05:04 Мои хаки производительности
#work #tips

Хоть “работа - не моё” (В. Игловиков), а нудной и полезной книге по саморазвитию я всегда предпочту хорошую художественную (сейчас параллельно слушал “Rise” https://www.goodreads.com/book/show/12838919-rise и “Тайную историю” Донны Тарт https://www.goodreads.com/book/show/29044.The_Secret_History, “Rise” пробуксовал), все же так или иначе работа – это основной объем умственной деятельности. И поэтому странно было бы работать и параллельно не оптимизировать сам процесс работы.

Не секрет, что очень сложно реально выработать привычку, поменять жизнь даже на о малое, будь то зарядка по утрам или душ в середине дня (думаю, этот факт, как и факт существования Excel – убийца большинства стартапов). И пока еще у меня есть плохие практики, которые все еще со мной: засиживание в одной позе за компом больше часа (а то и 2-3), дебаггинг до превращения мозга в limp bizkit. Но из тех лайфхаков, что прижились и которые повышают производительность и вообще улучшают жизнь (никаких абстрактных советов типа "гимнастики для глаз каждые 45 минут"), я пока три насобирал:

- встречи с самим собой с утра и до обеда – focus time. Митинги все равно иногда прилетают на утро, но так их гораздо меньше
- доска трелло для всяких мелких бытовых дел. Минус – это слегка привносит галеру в жизнь, а также надо убедить партнера этим пользоваться. Плюс – меньше надо держать в голове – все в бэклоге висит, периодически разгребаешь. Все по заветам "Getting things done" https://www.goodreads.com/book/show/1633.Getting_Things_Done (это как раз пример жутко нудной, но полезной книги)
- для работающих из дома: тренить во время пассивных митингов. Случаются всякие демо, презентации или просто необязательные митинги, где можно выключить камеру и микрофон – вот и шанс педали покрутить. Бывают и по 1.5 часа такие митинги, успеваю на эллипсе 1к ккал сжечь. Заодно вовлечен в процесс – не так скучно.

Может, кому полезно окажется, как и мои хаки по карьерному развитию: https://t.me/new_yorko_times/19 (”Придворный Data Scientist: про свечение лицом в контексте карьеры”) и https://t.me/new_yorko_times/24 (”Random coffee с коллегами и демки”).

А “Rise” все же надо дочитать. Открыть/Комментировать

2022-12-14 20:07:57 Рефералы в Нидерланды для сильных MLE
#career #vacancy

После высказанной позиции в связи с войной https://t.me/new_yorko_times/23 сколько-то человек отписалось, удачи! Сколько-то отпишется прямо сейчас. Как-нибудь переживем.

Для остальных: я уже некоторое время помогаю пострадавшим от действий правительства РФ (вне зависимости от национальности) тем, что связываю сильных кандидатов с эйчарами или сотрудниками нидерландских компаний. Речь о компаниях, которые релоцируют всех независимо от паспорта, а также имеют открытые релевантные позиции – DS, MLE, дата инженеры, аналитики.

Кто активен в слэке ОДС, видел, что я кидал клич в связи с вакансиями в Booking и Adevinta (а также еще несколько случайных было). По иронии, я сам до этого запорол собес с букингом, а с Adevinta после собеса на DS-техлида осталось обоюдное желание не продолжать.

Сейчас появился вариант ML engineer в топовый нидерландский телеком-оператор KPN. Драфт описания вакансии: https://tinyurl.com/mvfkvmdd (делюсь еще до того как вакансия опубликована на сайте KPN). Я в 2018-ом переехал как раз в KPN, так что по себе знаю, что с релокацией они помогают неплохо. Не буду слишком нахваливать KPN: культура организации данных, менеджмента DS-проектов и ML-инфры там далека от top-tier компаний, да и по деньгам не бигтех (писал в том числе про KPN в посте про мои фэйлы в проектах https://yorko.github.io/2021/ds-failures-part2). Но зато Нидерланды, work-life balance, ruling (налоговые поблажки для высококвалифицированных мигрантов первые 5 лет) и куча свободы. Можно хоть брать и весь ML инжениринг в компании перелопачивать, если есть задор и желание иметь импакт.

Я продавал идею, что могу зареферить прямо топовых кандидатов, бежавших от войны. Поэтому, если вы мигрировали за рубеж (исключение – Украина, внутренняя миграция тоже в счет, но и предложение только для женщин по объективным причинам), при этом подходите под описание вакансии, имеете опыт работы в топовых IT-компаниях Украины/Беларуси/РФ и владете английским на уровне непринужденной беседы на любые темы возле кофемашины – кидайте резюме на yury.kashnitsky@gmail.com c темой “KPN MLE referral for ”. В письме укажите, где вы сейчас находитесь. Предложение действительно до конца года. Открыть/Комментировать

2022-12-11 19:29:22 Сверхкосмические технологии в ASML
#links #tech

Слушаю почти все выпуски “Запуск завтра” https://libolibo.ru/zapuskzavtra. Впечатлился эпизодом про нидерландскую компанию ASML (выпуск на Apple-подкастах https://tinyurl.com/yeyr69ze), без которой не было бы ультрасовременных чипов. ASML делает литографические машины для печати микросхеїм, и там какие-то нереальные технологии нужны для максимально плотной упаковки транзисторов (их уже миллиарды на кв. см.). В частности, для правильного отражения лазера нужны идеально плоские зеркала, и ASML заказывает их у немецкой Zeiss. Зеркала настолько плоские, что там отдельные торчащие атомы “вправляют”, если б зеркало было размером с Германию, допускались бы неровности ~10 см. А весь процесс происходит в “чистых” комнатах – в глубоком вакууме, т.к. отдельные пылинки тоже мешают. Сложилось так много благоприятных факторов, что воспроизвести такие технологии пока не получается даже у Китая, несмотря на огромные инвестиции.

Удивительно, каких усилий человечества “требует” закона Мура (то что число транзисторов на чипах примерно удваивается каждые два года), который мы воспринимаем как что-то должное. Конечно же, закон Мура никакой не фундаментальный закон, а просто обнаруженная эмпирическая зависимость, и споры о том, когда “закон перестанет работать”, не утихают. Открыть/Комментировать