Системный Блокъ

2020-12-30 20:00:38 ​​Как звучат личные истории в цифровом архиве — интервью с Линор Горалик, основательницей проекта Postpost. Media
#interview #digitalmemory

В XXI веке память по-прежнему играет важную роль в нашей жизни, однако формы ее архивации изменяются. Фотографии теперь хранятся в телефоне, а не фотоальбомах; личные мысли — в заметках гаджетов и цифровых дневниках, а не в блокнотах.

Начинает проявляться феномен «отложенного опыта»: на концертах, экскурсиях и в путешествиях мы чаще всего смотрим на мир через экран телефона, пытаясь поймать нужный момент для фото или видео. Но есть и другая сторона: теперь важным можно делиться.

О том, какие истории звучат в проекте PostPost. Media и немного об их авторах — в интервью с писательницей Линор Горалик создательницей и главным редактором проекта.

О чем мы поговорили с Линор

• Что такое память в XXI веке;
• Стираются ли воспоминания из памяти быстрее, если их записывать;
• Какова миссия Postpost. Media;
• Почему важно рассказывать истории;
• Как выбираются темы к историям;
• Можно ли рассказать историю анонимно;
• Является ли проект цифровым дневником разных эпох.

https://sysblok.ru/interviews/kak-zvuchat-lichnye-istorii-v-cifrovom-arhive/

Дарья Масленко, Даниил Скоринкин Открыть/Комментировать

2020-12-28 20:55:00 ​​Как строить искусственный интеллект и не погубить человеческую цивилизацию
Четвертый выпуск подкаста Неопознанный Искусственный Интеллект — с Константином Воронцовым
#podcasts

В студии — Константин Воронцов, профессор Физтеха и Вышки, доктор физ.-мат. наук, человек, который занимается анализом данных, машинным обучением и искусственным интеллектом с начала 90-х.

Мы пригласили Константина в наш подкаст, чтобы обсудить потребность цивилизации в сильном ИИ, потолок развития нейросетей и столкновение интересов датасаентистов и специалистов службы безопасности.

О чем мы поговорили с Константином

• В чем революция глубинного обучения;
• Водитель машины как гибридная система машинного обучения;
• Этап «братьев Райт» в глубинном обучении: смотрим, что взлетит;
• Кошмар службы инфобезопасности: обучение на реальных потоковых данных;
• Почему комар все еще умнее беспилотника;
• «Мы роем себе могилу»: чем опасна мечта о сильном ИИ;
• Можно ли сделать универсального помощника;
• Человек versus нейросеть: сколько примеров нужно для обучения нам самим;
• Когда мы уже начнем понимать, что происходит внутри нейросетей.

Хайлайты выпуска

1. На каком этапе развития машинного обучения мы сейчас находимся

Cо стороны может показаться, что развитие методов машинного обучения и deep learning'a происходит по одному сценарию: 1) собрали датасет, 2) применили нейросеть с несколько модифицированной структурой, 3) получили результат, 4) рассказали сообществу, насколько улучшились показатели.

Это может выглядеть как хаотичное экспериментаторство, но его ценность — в сборе метаинформации. В нашем случае о том, какие нейросетевые архитектуры в каких задачах оказались успешными. При этом нам также необходимо огромное количество отрицательных экспериментов. Этот этап — начальный для любой строгой науки, им шли и физика, и биология, и др.

2. По какому пути развития пойдет машинное обучение

Обучаемые системы перейдут от обучения на статичных и предобработанных данных к обучению на разнородных непредобработанных потоковых данных. Уже есть алгоритмы, которые хорошо приспособлены для работы с потоками данных — это градиентные методы.

Дата-аналитики больше не будут переносить данные в удобную среду, а будут сидеть в живых продакшн-системах со специальной безопасной средой для экспериментирования с новыми моделями. Так как службы безопасности не готовы подпускать к данным своих компаний ученых со стороны, учеными будут становиться сами сотрудники.

3. В чем предназначение ИИ

Предназначение искусственного интеллекта — это автоматизация, выполнение рутинной работы. Тогда человек будет творить, заниматься смыслами, придумывать цели, идеи и видение, а все рутинные задачи будет выполнять его персональный ИИ-помощник.

Для создания такого автоматического секретаря широкого профиля у нас уже все есть — надо расширять датасеты, работать с мультимодальными данными, обеспечивать их полноту и решать много отдельных задач, после чего собирать множество решений в одно. Однако надо посчитать, не окажется ли это слишком дорого и энергетически затратно, а потому — нерентабельно.

Где нас слушать или читать

Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.

Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока». Открыть/Комментировать

2020-12-25 20:55:00 2020 — год комиксов во Франции. По этому случаю Международный центр комиксов и изображений и Национальная библиотека Франции публикуют подборки, посвященные комиксам и их истории. В декабре Gallica делится с читателями праздничными этикетками с красочными эпизодами из комиксов. Опубликованные этикетки можно распечатать, чтобы украсить ими открытки или подарки.

Самые ранние комиксы серии — выпуски The New York Herald за 1904 год. В первом номере «Buster Brown in a peck of trouble again» герой открывает бутылку с шампанским и заливает им весь дом, после чего призывает остальных не открывать ничего, кроме книг и банковского счета. В рождественской истории «Buster Brown’s X-Mas» школьник крадёт у Санты мешок с подарками, чтобы на следующий день раздать их бедным детям.

А выпуск от 1906 года «Little Nemo in Slumberland» рассказывает историю сна маленького мальчика: принцесса загадывает встречу с Немо — летающая машина Санты взрывается в небе — подарки разлетаются по всему миру.

София Емец

#visualheritage Открыть/Комментировать

2020-12-23 16:55:00 ​​Во что верят IT-евангелисты
#society

Твоя вера должна быть сильна: рассказываем, кто такой IT-евангелист, что он должен уметь и сколько может зарабатывать. Эта статья — первая в серии «Новый рынок труда», где мы обсуждаем профессии будущего.

IT-евангелизм — сочетание маркетинга и веры в технологии, которое помогает продвигать продукт. IT-евангелисты любят и понимают продукт, могут влюбить в него других, однако не стремятся создать его идеальный образ. Поэтому найм харизматичного сотрудника может сильно помочь компании в продвижении и развитии своего продукта.

Рынок IT-евангелизма

Профессия IT-евангелист (technology evangelist) распространена в Америке с конца 20 века. С развитием и распространение стартапов навыки евангелизма становятся обязательными для каждого члена IT-проекта. Диаграммы с количеством вакансий и размером зарплат в разных странах прикрепляем ниже.

В России IT-евангелизм распространяется с 2011 года, но до сих пор звучит экзотично. Евангелисты востребованы только для компаний мирового масштаба, а региональные проекты обходятся без них. Основатели порой сами выступают в роли евангелистов, ведь именно они и есть истинные верующие в свой продукт, способный помочь человечеству.

По-русски должность IT-евангелиста называется «эксперт по стратегическим технологиям». Самые известные — Георгий Бакунов (Яндекс), Петр Гоголоев (MyTona), Михаил Черномордиков, Андрей Ивашенцев и Дмитрий Сошников (Microsoft). Все они активно популяризируют как свои продукты, так и саму профессию IT-евангелист.

Первый IT-евангелист

Первым IT-евангелистом считается Гай Кавасаки — человек, который научил весь мир пользоваться мышью. Его нанял маркетолог Майк Бойх из Apple, который предложил концепцию «software evangelist», чтобы завоевать рынок софта.

В то время — 1980-ые года — Apple не входило даже в топ-5 IT-компаний. Компьютеры Apple II нашли свою нишу в игровой и образовательной сфере, а Apple III быстро ушел в небытие. Apple сложно было конкурировать в сфере продаж, поэтому они выбрали сферу идей.

Кавасаки распространяет новую идеологию Apple на всех сотрудников компании и разработчиков программ. Так, в 1984 году выходит Macintosh, который добивается успеха благодаря первому применению мыши, графического интерфейса, большого количества софта, а главное — рекламной кампании и первой презентации Macintosh от Стива Джобса. Конкурируя с IBM «на словах», яблочные евангелисты распространили Macintosh во все сферы жизни.

Гай Кавасаки написал множество книг по IT-евангелизму. В работе «The Macintosh way» он сравнивает путь IT-евангелиста с путем самурая. Такой путь можно назвать «Мак-до»: «Mac» от Macintosh и «До» от японского «путь». Работа описывает не психологию или философию, а практику жизни, которая позволит незнающему человеку достичь духовного совершенствования.

Советы от Гая Кавасаки о том, как надо читать проповеди о своем продукте, — в нашей статье: https://sysblok.ru/permhse/vo-chto-verjat-it-evangelisty/

Никита Маткин,
социально-гуманитарный факультет НИУ ВШЭ Открыть/Комментировать

2020-12-21 20:59:38 ​​Как обучать датасаентистов, играя в шляпу
Третий выпуск подкаста Неопознанный Искусственный Интеллект — с Виктором Кантором
#podcasts

В студии подкаста — Виктор Кантор. Виктор руководит Data Science в МТС и преподает машинное обучение. Виктор — соавтор популярной специализации по машинному обучению на Coursera, преподает в вузах и на офлайн-курсах по машинному обучению «Data Mining in Action».

Мы пригласили его в наш подкаст, чтобы обсудить преподавание Data Science, развитие технологий машинного обучения и, конечно, будущее искусственного интеллекта.

О чем мы поговорили с Виктором

• Как обучать крутых датасаентистов;
• Как распознать инфоцыган, продающих некачественное образование
• Чем отличаются Data Mining, машинное обучение и Data Science;
• Возможен ли сильный искусственный интеллект;
• Что мешает преодолеть «узость» ИИ и так ли универсален человеческий мозг;
• Как научить робота ловить рыбу и будем ли мы программировать на естественном языке;
• Как стать крутым преподавателем Data Science и чем помогает игра в шляпу;
• Как запускать космические корабли в далеком будущем;
• Кто самый крутой русский датасаентист и о чем говорить с искусственным интеллектом.

Хайлайты выпуска

1. Как развивать General Artificial Intelligence

Наука не развивается по плану: для того, чтобы развивать General Artificial Intelligence, не обязательно верить, что-то получится, и не обязательно знать заранее, что мы воспринимаем как GAI. Можно просто решать больше задач, которые сейчас кажутся неподъемными, и постепенно приходить в ту точку, когда то, что получится, люди назовут General Artificial Intelligence.

То есть постепенно мы будем закрывать все больше узких задач, и постепенно у нас будут появляться алгоритмы, которые будут такое количество узких задач решать, что нам уже не так принципиально будет, что все они такие узкие.

2. На каком языке мы общаемся с ИИ

Чтобы роботы выполняли наши задачи, нам нужно уметь формулировать их так, чтобы их можно было выполнить в точности. На естественном языке можно выразить любой, доступный человеку смысл, но и интерпретировать его можно по-разному. General AI, наверное, должен сам уметь что-то делать с недостаточно точно сформулированной задачей.

Однако узкие ИИ так не умеют, поэтому мы пока перебираем разные возможные языки общения. Один из языков общения — обучающая выборка, примеры. ИИ учится на них, а мы ему говорим, что надо оптимизировать. Другой язык общения — среда, которая позволяет ИИ действовать определенным образом и периодически выдает ему фидбек, вознаграждает за какие-то действия. Это называется Reinforcement Learning, или обучение с подкреплением.

3. Что важно для преподавателя в Data Science

Будучи преподавателем, главное, себя не обманывать — понимать, какой у тебя есть реальный опыт и стараться учить в рамках него, а не пытаться себя выдавать за того, кем ты не являешься.

К преподаванию мотивирует осознание того, что ты вроде бы приходишь просто лекцию читать, но если делаешь это действительно хорошо — получается, что на самом деле в будущем запускаешь корабли в космос. Потому что сформированные с твоей помощью крутые специалисты и будут менять наше будущее.

Где нас слушать или читать

Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.

Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока». Открыть/Комментировать

2020-12-17 19:00:36 ​​Как работает GPT-2 и в чем его особенности
#nlp #knowhow

GPT-2 — нейросеть, которая способна генерировать образцы синтетического текста с вполне логичным повествованием, если задать ей любое начало. Модель учитывает стиль и содержание заданного ей фрагмента и уже на их основании создает свое продолжение истории. На момент релиза в ней было рекордное число параметров — 1,5 млрд против обычных 100–300 млн.

История создания и особенности GPT-2

Первая версия GPT (Generative Pre-trained Transformer) от OpenAI появилась еще летом 2018 года. Ее обучали на выборке текстов из Wikipedia и литературных произведений. Однако выяснилось, что нейросеть быстрее учится понимать естественную речь на основе простых постов в интернете. Поэтому в 2019 году OpenAI обучили GPT на больших объемах текстов — 8 млн. страниц из интернета. Новая версия нейросети получила название GPT-2.

Особенность GPT-2 в том, что она сразу — без дообучения — показала отличные результаты, близкие к state-of-the-art. Сразу после обучения нейросеть уже готова сгенерировать текст со всеми логическими вставками: повторное упоминание имен героев, цитаты, отсылки, выдержка одного стиля на протяжении всего текста, связанное повествование.

Таким образом GPT-2 могла понять суть задания примерно как человек — просто по его виду: если есть пропуски — дописать их, задают вопрос — попытаться ответить и т. д.

Что умеет GPT-2

Помимо простого создания текстов, модель можно использовать для следующих целей:

1. Краткий пересказ текста или обобщение.

В качестве входных данных нужно подать не просто фрагмент, а целый текст, состоящий из хотя бы пары абзацев (но лучше — страниц). Если в конце добавить «TL;DR», модель выдаст краткое содержание рассказа.

2. Ответы на вопросы исходя из содержания текста.

На входе подается несколько примеров в виде «Вопрос-Ответ», в конце же дается реальный вопрос, на который нейросеть выдает по тому же макету ответ.

3. Перевод текстов.

Механизм работы с переводами похож на механизм работы с ответами на вопросы. Главное — подать модели правильное начало, то есть нужную структуру текста. В оригинале GPT-2 подавали фрагменты в виде «hello- = привет» и так далее, используя английский и французский. В итоге, когда в конце была фраза «cat = …», нейросеть, следуя логике, выдала «кошку».

О том, как обучали GPT-2 и почему OpenAI предоставили доступ к его полной версии только через год после создания — читайте в нашей статье: https://sysblok.ru/knowhow/kak-rabotaet-gpt-2-i-v-chem-ego-osobennosti/

Камилла Кубелекова, Владимир Селеверстов Открыть/Комментировать

2020-12-14 20:56:08 ​​Как лингвисты делают искусственный интеллект, а компьютер решает ЕГЭ
Второй выпуск подкаста Неопознанный Искусственный Интеллект — с Татьяной Шавриной
#podcasts

В студии подкаста Неопознанный Искусственный Интеллект — Татьяна Шаврина. Лингвист, программист, руководитель команды по обработке естественного языка и искусственному интеллекту в Сбере, соорганизатор AI Journey.

«Лингвистика для нас — центр всего. И программирование, и когнитивные науки, и гуманитарные вещи — все соединяются в ней».

О чем мы поговорили с Татьяной

• Как разработка искусственного интеллекта объединила лингвистику, программирование и когнитивные науки
• Что должен уметь «сильный ИИ» и как его построить
• Должен ли ИИ быть устроен как человеческий мозг
• Как должен быть устроен тест на интеллектуальность
• Чем растущий ребенок отличается от обучающейся нейросети
• Как нейросети решают ЕГЭ
• Как устроен русский SuperGLUE: головоломки для ИИ
• Что такое колониализм в ИИ
• Кого заменят роботы и какие статьи об ИИ стоит почитать

Хайлайты выпуска

1. Каковы критерии «сильного» ИИ

• Мультимодальность: он работает одновременно с информацией из разных источников — текстом, картинками, звуками, — и обрабатывает это все вместе.
• Мультидоменность: он одинаково хорошо работает в разных предметных областях и способен разбираться в новых.
• Адаптивность: он может сам приобретать новые навыки, причем на небольшом количестве примеров — на таком же, как это мог бы сделать человек, или даже меньше.

2. Как оценивают работу новых нейросетей и сравнивают их друг с другом

Когда выходит новая модель, ее оценивают по тому, как она справляется с решением benchmark’ов. Benchmark подразумевает, что у нас есть несколько типов заданий, у каждого из которых есть свой набор данных — в нем тренировочная выборка и тестовая. Тестовая выборка может быть открыта, а может быть скрыта. После оценки нейросеть добавляют в рейтинг, чтобы увидеть, где произошел прорыв, а где — просадка по качеству.

3. Как проявляется колониализм в цифровой среде

Происходящее в data science и вообще в интернет коммуникациях можно объяснить колониальной экономикой и политикой. Кто первый построил новую инфраструктуру, тот выкачивает все дорогостоящие данные, устанавливает свои правила и облагает остальных пользователей налогами.

Где нас слушать или читать

Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.

Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока». Открыть/Комментировать