tldr_tany (Таня Савельева)

2022-06-26 11:56:18 Безопасность AI - base level
Мотивация
В последнее время много думаю над безопасностью AI, много обсуждаем с друзьями, с @caffeinum созвоны на 15 минут растягиваются на часы. Вот знаете, есть такие вещи, которые будоражат что-то очень глубоко внутри. Думаю не только я, Илон Маск серьезно обеспокоен темпами развития AI, Виталик Бутерин донатит исследователям безопасности AI, на которые я буду ссылаться ниже. Сфера развивается безумными темапми, например в мае Google выпустил GATO - сетку, которая решает одновременно 600 разных задач - шахматы, разметка изображений, игры атари и тд. Решает их одной моделью для всех задач. И 450 задач лучше медианного эксперта В середине июня один инженер гугла после того, как попереписывался с сеткой про буддизм, сказал что у внутренней NLP модели появился разум и потреебовал начать этическое расследование. Можете здесь почитать разговор, это что-то с чем-то. Понятно, что пока можно выражать скепсис на тему сильных моделей, но область правда быстро развивается. Такой генерации иллюстраций, как делает DALLE-2 сейчас, еще 3 года назад было невозможно вообразить.
В связи с этим начала задавать себе вопрос - как бы мог выглядеть сильный AI? Когда он может родится? Ниже привела базовый уровень рассуждений про безопасность АИ.

Paperclip maximizer
Рассмотрим класический игрушечный пример AI из 2003. Paperclip maximizer, как пример сильного AI, которые не настроен враждебно, но приводит к апокалипсису. Допустим, есть сетка, которая оптимизирует количество скрепок на заводе. В какой-то момент происходит фазовый переход - он называется instrumental convergence, сетка начнет оптимизировать себя и свое окружение, чтобы лучше максимизировать число производимых скрепок. Она начинает заботится о своей безопасности, делать так, чтобы ее было сложно отключить, начинает оптимизировать свою архитектуру, ставить свое обучение на новые машины, захватывая ресурсы. Все это может привести к тому, что все компы мира считают скрепки, все сервисы перестают работать. Это может произойти за минуту. Забавен в этом тот факт, что сильный ИИ рождается на внешне простой задаче. Пока учится делать эту безумно примитивную задачу безумно хорошо.

Причем тут aligment и безопасность AI
Дальше, если верить в то, что instrumental convergence возможен — кажется есть 2 варианта. В первом нужно не допустить, чтобы AI развивалась настолько, чтобы произошел instrumental convergence. То есть ограничивать размеры сетки, количество доменов, на которых она может одновременно тренироваться. Но кажется через запреты много не достигнешь - всегда кто-то может обойти. Еще один вариант - нужно чтобы цель ИИ совпадала с оптимизацией человеческой цели. Дальше возникакет 2 класса вопросов - первый, как учесть счастье человека, и более того, человечества. Во-первых, счастье одних противоречит счастью других, во вторых всегда есть читы. Например можно оптимизировать число улыбающихся лиц, распечатав много лиц на бумаге. Вторая тема - допустим, мы знаем эту функцию счастья человечества, как сделать так, чтобы у любой сетки всегда была добавлена оптимизация этой функции счастья. Вот тут уже начинается формализованная красивая инженерия, все как мы любим. Почитать можно тут.

Что в итоге
Уверена, что в случае, если AI возникнет, задача про безопасность AI - это буквально последняя задача, которую мы можем и должны решить. Если эту задачу решить, то будем жить в мире, где нам приезжает еда каждый день, делается массаж, зелено и красиво. Конечно счастье одних может пересекаться со свободой других, поэтому возможно это будет симуляция, для каждого своя, в которой каждый из нас счастлив (где он может думать про безопасность AI или думать, что он вышел из симуляции хах).
Или это все может закончиться, потому что ИИ решил сделать много скрепок.
Короче - здорово думать про безопасность ИИ, и что-то делать. Потому что, на самом деле, нет ни метрики, ни стратегии, ни роадмапа.
Плюс это безумно интересно. Безопасность ИИ можно назвать моим текущим хобби.

Люди, который тоже любят lesswrong, Redwood Research Project и MIRI - найдитесь. Открыть/Комментировать

2022-06-13 08:22:11 Low-code - от кризиса только лучше, личный опыт и сухие цифры

Предисловие
Недавно была на конференции Emerge, было много проектов, связанных с low code. И ещё больше обсуждений на тему того, нужен ли он или нет. Ниже напишу почему на мой взгляд - low-code это будущее, что это такое и где там границы применения, буду рада подискутировать.
Дисклеймер - ниже я склеиваю no-code, zero-code и low code в один термин low-code, чтобы не делать постоянную сноску.

Личный опыт
Как многие из вас знают, я делаю продукт - платформу SupportAI для создания умных ассистентов - для автоматизации поддержки, найма и продаж. Когда-то наша платформа была куском кода. В коде было написано примерно то же самое что сейчас на платформе - интеграции, тексты, которыми нужно отвечать, время, на которое опаздывает курьер, после которого даётся промокод и все такое. Фазовый переход от кода с консалтингом к продукту, случился когда мы сделали супер простой фронт, в котором можно было писать правила проверки статусов заказа, поездки, цены, текст ответа, выход ml модели. Кажется логический смысл тот же, но нет pycharm, весь девопс сводится к нажатию одной кнопки и синтаксис проще - нет хотя бы def и return. Такие вещи рушат барьеры и позволяют создавать программы людям, которые не попали в нужную техническую тусовку в подходящий момент времени. Сейчас интерфейс стал гораздо серьезней, там появилась настройка моделей, куча статистики, интеграций, все это в графических интерфейсах. Но самый первый шаг был очень простым, и позволил нам превратится из проекта в продукт.

Метафора
Вот есть такая штука как математика. Есть олимпиадные школьные задачки - где часто вообще не нужно специальных знаний, кроме сложения и вычитания. Они требуют нестандартного мышления, к ним трудно подготовится. Их хорошо решают мало людей. Таких людей часто называют умными. Есть задачи по урматам, к ним легко подготовится, но нужно много сидеть с учебником. Там много знаний, набивания руки. И пафоса тоже много - сложные формулы. Если представлять процесс написания кода - действительно есть сложные задачи, но сложность находится на логическом уровне, синтаксис можно и нужно упрощать. Часто дело упирается в производительность - понятно, что сделать, но непонятно как сделать так, чтобы это быстро работало. Иногда действительно нужно думать про производительность, но высоконагруженные сервисы разрабатывает небольшой процент от всех разработчиков. Плюс дефицит программистов растёт сильнее, чем нагрузка на сервисы - внимание пользователей уже очень дорогое, b2c приложения становится сложнее продвигать, и захватывать новых пользователей, т е кратно увеличивать нагрузку, но сценарии взаимодействия усложняются, т е нужно все больше новых компонент.

Сухие факты
Приведу немного сухих фактов, которые на мой взгляд отлично описывают общую картину. Средняя зарплата разработчика 2020 году в США - более 100 тысяч долларов в год. 82% компаний считают важным разрабатывать приложение без участия IT-специалистов. В период с 2018 по 2023 год будет создано более 500 миллионов приложений. Это больше, чем за предыдущие 40 лет вместе взятые.
По прогнозу Gartner в 2025 году 70 % новых приложений будут использовать low-code по сравнению с менее чем 25 % в 2020 году. К 2024 году на low-code будет приходиться более 65% всей разработки приложений. Прогнозируется, что к 2030 году выручка мировой рынка low-code будет 187 миллиардов долларов США по сравнению с 10 миллиардами долларов США в 2019 году.

Что в итоге
За low-code будущее. Для создания специфического low-code можно и нужно делать новые B2B продукты. Рынок растёт и прекрасен. Я думаю, что последние события только увеличат актуальность - денег у всех компаний станет резко меньше, поэтому появится мотивация быстрее снижать стоимость разработки. Открыть/Комментировать

2022-05-27 06:47:57 Я файнали победитель Forbes 30 under 30
Ощущения интересные
Если честно, пока не понимаю, что с этим делать))
Радует, что пишут люди, люди - люблю вас, вы классные.

Чувствую, что надо написать о том, как я дошла до жизни такой, для себя хотя бы.
Подписчики, что вам интересно?
Про меня, Яндекс, ИИ, чат-ботов, продукт, whatever вообще
Напишите плиз Открыть/Комментировать

2022-05-12 01:21:56 Посты на английском в канале
public poll

Да – 494
75%

Нет – 165
25%

659 people voted so far. Открыть/Комментировать

2022-05-12 01:21:48 Дорогие подписчики, всем привет. Думаю писать в канал на английском. Какое-то время прилетают запросы на это.

С одной стороны, мы тут изначально говорим по русски, и часть людей не сможет читать посты, если не будет копировать их в переводчик.

С другой стороны, учить английский в текущих реалиях - прекрасная мысль, плюс многие слова и конструкции очень криво переводятся - весь технологичный мир давно говорит на английском.
Ну и англоязычные ребята потихоньку идут в телеграмм из WhatsApp - что не может не радовать.

Короче, нужно ваше мнение Открыть/Комментировать

2022-05-10 11:52:55 Про DAO — что это такое, и как это работает на примере Sushiswap

В чем понт
В последнее время много думаю про то, как должны быть устроены организации. Особенно на фоне текущей катастрофической ситуации. Много читала и покупала токены. После нескольких рассказов друзьям про то, что такое DAO и зачем оно нужно, решила написать этот пост. Надеюсь, будет полезно.
DAO - это decentralized autonomous organization, организации, решения в которых принимаются не сверху вниз, а снизу вверх. Власть в организации бывает двух типов - экономическая и политическая. Экономическая - получить финансовые выгоды в случае успеха компании, профинансировать компанию, продать свою долю кому-то. Политическая - решать, куда пойдут деньги, как будет организована работа, повестка, принципы работы организации. В Dao один или два типа такой власти принадлежат держателям токенов - своеобразных акций DAO. Если с экономической властью все более понятно, то с политической властью интересней — как сделать так, чтобы решения о том, как развивать организацию, принимались и инициировалось широким кругом участников? Посмотрим на примере DAO SushiSwap

Как работает SushiSwap
SushiSwap - платформа, на которой можно децентрализовано обменивать криптовалюту. Выпускает свой токен под названием Sushi. Его можно купить на разных биржах, например на Binance. Сейчас он стоит примерно 2$. Платформа децентрализована — на Sushiswap никто не может заблокировать ваш счет и повлиять на курс. Курс считается автоматически. Это работает следующим образом — часть пользователей стейкают пары криптовалют - SUSHI и эфир. Это значит, что они покупают обе эти криптовалюты в определенном соотношени,и и обязываются какое-то время держать их на бирже. Те, кто хотят обменять одну валюту на другую - берут валюту из этого пула. Биржа выставляет комиссию - она шерится с теми, кто застейкал пару валют.

Sushiswap - это DAO
Это значит, что каждый сильно заинтересованный пользователь с достаточным числом токенов может внести предложение по доработке и управлению платформой. То есть по сути, стать продактом компании. В независимости от гражданства, истории судимости и тд. За стейкинг пары Sushi-эфир, пользователям дается токен Sushipowah. Он дает право принимать решения на голосовании и вносить предложения. Если у вас есть 200 тысяч таких токенов - вы можете внести на голосование свое предложение по доработке проекта. Дальше, если определенное количество держателей токенов поддержит ваше предложение - вы получите право и/или средства его реализовать. При такой механике держатели большого числа токенов, заинтересованы в росте цены токена, а значит развитии проекта, поэтому готовы думать над механиками, которые приведут к этому росту, придумывать их и голосовать за них.
Например, недавно было внесено и одобрено предложение по тому, чтобы создать некоммерческую организацию, и таким образом зарегистрировать компанию юридически, снизив риски (часто DAO вообще никак не регистрируются в традиционной правовой системе). Автор инициативы под ником Tangle предложил Швейцарию в качестве страны регистрации организации. По его оценкам, реализация предполагает единовременные затраты в размере $85 000-$100 000 и периодические затраты в размере $10 000. В эту сумму входят услуги юристов, структурирование сделки, регистрация и запуск.

Больше DAO
Выдвигают предложения и голосуют на платформе Snapshot. На ней можно посмотреть предоожения и информацию по другим DAO и купить их токены, внести и поддержать предложения. Самые популярные DAO-проекты на платформе - ENS, Gitcoin, Aave, Sushi.
Рекомендую посмотреть и почитать.
DAO — новый прогрессивный способ управлять организацией, и получать выгоды от успешного управления. Очень хочется жить в будущем, в котором пользователи определяют стратегию развития организации и получают выгоды от ее работы. Считаю, что на фоне повышения уровня безработицы, очень важно сделать переход от стандартных типов управления к DAO - чтобы деньги и выгоды шли к миллионам, а не к сотням и тысячам. Открыть/Комментировать

2022-04-27 15:00:54 Ребят, я в Forbes 30 до 30!
Нужна ваша поддержка.
Голосуйте, лайк, шер
Обняла

https://30-under-30.forbes.ru/2022/463491-tat-ana-savel-eva Открыть/Комментировать

2022-04-26 16:17:24 Когда анонимность - не твой конёк.
Зато AI SaaS и оценка рынков - твой.
И радует и пугает прозрачность мира. Открыть/Комментировать

2022-04-19 17:05:08 Зимой 2021 года мы Сережей Шаровым сделали благотворительный эндаумент MIPTHEALTH в честь Насти Блаженовой. Это такой фонд при Физтехе, нужен, чтобы помогать студентам оставаться здоровыми - делать анализы на ЗПП и получать психологическую помощь.
В феврале 2022 года случилась война - и я уехала из России.
В апреле Фонд целевого капитала дал награду за основание эндаумента - статуэтку сферического коня в вакууме.
Я очень хотела ее забрать, но в Россию возвращаться пока нет в планах.

Поэтому сделала из видео статуэтки NFT
Теперь она всегда будет мне доступна.
Знаете, как это ощущение греет душу? Правда есть чувство, что она у меня есть. Статуэтка по сути нужна именно за этим.
Думаю сделать коллекцию из вещей, оставленных в Москве.
Верю, что рынок цифровой собственности будет гораздо больше рынка классической собственности. Открыть/Комментировать

2022-04-19 08:00:32 Что, можно выпить за дизайнеров одежды, не чокаясь?

Я опять про Dalle-2.

Девчонка в твиттере сгенерировала фото по запросу "Баленсиага, коллекция осени 2050" и сшила себе такую вещь. Открыть/Комментировать