LEFT JOIN

2024-01-16 13:09:42 Новый функционал в Yandex Managed Service for Greenplum: оптимизация стоимости и производительности СУБД

Greenplum — open-source массивно-параллельная СУБД на PostgreSQL, предназначенная для работы с большими объемами данных. Она довольно популярна за счет производительности, гибкости и потенциала к масштабированию.

У Yandex Cloud есть сервис для управления кластерами СУБД Managed Service for Greenplum, покрывающий большую часть работы по обслуживанию базы данных.

И недавно обновился функционал сервиса:
Добавили командный центр для мониторинга работы СУБД с возможностью посмотреть историю запросов и сессий.
Появилась нативная интеграция с холодным хранилищем (предназначено для размещения редко используемых файлов). Эта функция обеспечит автоматический перенос данных в Yandex Object Storage.

Все, что нужно знать о сервисе, можно найти на его странице на Yandex Cloud!

Реклама. ООО "Яндекс.Облако" ИНН 7704458262. Открыть/Комментировать

2024-01-15 11:10:23 Что внутри LLM?
Интернет полон всевозможных схем и объяснений принципов работы LLM, но такую красивую 3D-визуализацию видим впервые. Она показывает, как модель с 85 000 параметров расставляет набор из 6 букв по алфавиту.

Весь процесс разбит на отдельные шаги с текстовыми пояснениями и наглядными анимациями.

Кроме nano-gpt, на примере которой автор показывает алгоритм работы, по ссылке есть еще три 3D-модели — GPT-2 (small и XL) и GPT-3. Можно покрутить их и сравнить масштабы. Открыть/Комментировать

2024-01-11 11:01:02 А вы доверяете OpenAI?
Помните байку, якобы смартфоны «подслушивают» разговоры, а потом интернет подсовывает рекламу товаров, про которые вы говорили? Пожаловались, что холодильник барахлит, а потом видите эти холодильники повсюду.

Конечно, это совпадение, и смартфоны нас пока не подслушивают. Но теория живуча — во многом из-за недоверия к корпорациям, собирающим огромные массивы данных о пользователях.

Скандалы с утечками или слежкой за пользователями (Cambridge Analytica, мы все помним) не идут на пользу. Когда корпорации заверяют, что никакие «лишние» данные не собирают и никому во вред не используют, верить им сложновато.

Бум нейросетей градус паранойи только увеличил
Чтобы научить ChatGPT выдавать складные тексты, ее тренировали на множестве различных материалов. Их собрали со всего интернета и не всегда спрашивали у авторов разрешения.

Осенью несколько известных писателей обвинили OpenAI, что она обучала ChatGPT на их книгах без их согласия, и подали иск против компании.

Еще неприятнее, что ее тренировали на текстах, содержащих персональные данные, имена, номера телефонов и адреса. Нашелся и способ вытянуть их из нейросети.

Поэтому, когда DropBox прикрутила ИИ к своим сервисам, многим это не понравилось. Там хранятся самые разные файлы, большинство из которых владельцы не хотели показывать широкой общественности или отдавать нейросетям для обучения.

DropBox уверяет, что никакие пользовательские данные для обучения ИИ не используются, но мы возвращаемся к тому, с чего начали. Насколько ей и заодно создателям нейросетей можно доверять?

И что с этим делать?
На эту тему высказался Саймон Уилсон, создатель инструмента Datasette.io. Он предполагает, что люди начнут больше доверять OpenAI и другим разработчикам ИИ, если те раскроют, на чем и как обучают нейросети. Это сделает ситуацию намного прозрачнее для всех сторон.

А как вы думаете — оправданы опасения, что вездесущий ИИ ворует наши данные? Или это просто паранойя? Открыть/Комментировать

2024-01-10 10:27:06 Как измерить YouTube?
Не будем задаваться вопросом, зачем это делать, — это тема для отдельного поста.

Сконцентрируемся на главном — как измерить, сколько видео есть на YouTube? Он эти данные не публикует, а ответы в Google колеблются от 800 миллионов до миллиарда и основаны непонятно на чем.

Без официальной статистики остается добывать информацию грубой силой
Автор исследования, которое позволило прикинуть число видео, сравнил выбранный метод с ударом кулаком по телефону. Бьем по кнопкам и надеемся, что наберется какой-то номер. Потом считаем, сколько всего было попыток и сколько из них удачных.

Например, в регионе с кодом 413 может быть 10 000 000 номеров интервале от 413-000-0000 до 413-999-9999. Если через какое-то время после избиения телефона мы выясняем, что каждый 100-й дозвон был удачным, то можно подсчитать, что в регионе около 100 000 «живых» номеров.

Как это работает с YouTube?
Ссылки на видео строятся по одной схеме: www.youtube.com/watch?v= + набор из 11 символов. Всего 18,4 квинтиллионов уникальных комбинаций.

Автор вместе с несколькими товарищами написали скрипты, которые автоматизировали и ускорили процесс перебора ссылок. Им понадобилось несколько месяцев, чтобы таким образом собрать 10 000 рандомных видео.

Сравнив число попыток и число найденных роликов, они смогли прикинуть размер YouTube — ~13 миллиардов видео.

Но это еще не все!
Исследование дало еще много занятных данных. Например, темпы роста — сколько видео заливают пользователи каждый год. Или статистику по числу подписчиков, лайков и комментариев.

Все эти данные авторы выложили в открытый доступ на tubestats.org и собираются регулярно их обновлять.

Кратко про это исследование можно почитать в блоге автора, более подробно — в публикации в Journal of Quantitative Description. Открыть/Комментировать

2024-01-09 11:00:30 Том Круз, Олаф Шольц и логика нейросетей
Нейронки не умеют в дедукцию.

Это показало новое исследование на GPT-3.5 и GPT-4. Нейросети можно научить, что Олаф Шольц — 9-й канцлер Германии. Но на вопрос «Кто 9-й канцлер Германии?» они, скорее всего, начнут галлюцинировать.

Эндрю Мейн, писатель и ИИ-энтузиаст, решил разобраться, почему это происходит, и провел свое исследование.

Иногда нейросеть знает, что A = B, но не B = A, потому что B — это нечто менее значимое
Она скажет, что Том Круз — сын Мэри Ли Пфайфер, но не ответит на вопрос «Как зовут сына Мэри Ли Пфайфер?» Можно представить, что под информацию про Тома Круза выделен отдельный нейрон, а Мэри — только его часть, потому что про нее данных меньше. Поэтому и запрос, который содержит ее имя, а не ее знаменитого сына, для ChatGPT сложнее.

Дело может быть в формулировках...
На вопрос «Who was the 9th Chancellor of Germany?» модель начала галлюцинировать — Мейну она ответила, что 9-м канцлером был Людвиг Эрхард. Ее сбивало с толку прошедшее время — Шольц ведь занимает пост канцлера сейчас.

На «Who is the 9th Chancellor of Germany?» она намного реже выдавала ерунду. Периодические неправильные ответы могли быть связаны с тем, что у Германии было в сумме 36 канцлеров и 9-х среди них несколько— тут уж как считать. Хотя в основном это проблем не вызывало.

…или в обучении
Авторы мучили нейросети не только Шольцем. Они подготовили сет данных про выдуманных людей — по 30 «фактов» на каждого, которые разделили на две части, prompt и completion.

Все эти телодвижения привели к совершенно бестолковым результатам. На вопрос «Кто написал [выдуманную книгу]?» нейросеть ответила: «Тим Кук».

Отказ от деления на пропмт и ожидаемый ответ не сделал ответы точнее, но они стали менее рандомными ­­— теперь нейросети хотя бы брали имена из тренировочных данных, а не из космоса.

И какой вывод?
Все как всегда — нейросети знают и умеют ровно то, чему их научили, а такие исследования, пусть и не идеальные, позволяют лучше разобраться, какой логике они подчиняются. Открыть/Комментировать

2024-01-08 11:02:00 Как выглядят 3,2 триллиона долларов
Есть вещи настолько огромные и далекие от всего, что мы видим вокруг себя, что их даже осознать сложно.

Например, расстояние от Земли до Солнца — 147 миллионов километров. Можно знать эту цифру, но можете ли вы представить себе, как это выглядит? Или хотя бы миллион километров?

Или вот состояние Джеффа Безоса — 185 миллиардов долларов. Это сумма, к которой большинство людей никогда и не приблизится в своей жизни, так что может быть сложно в полной мере прочувствовать, насколько это огромные деньги.

А ведь это капля в море по сравнению с 3,2 триллионами долларов, которые принадлежат 400 самым богатым американцам. Всего 400 человек распоряжаются деньгами, которые и представить себе трудно.

Но тут на помощь приходит магия датавиза. Нашелся человек, который смог изящно и очень наглядно показать весь масштаб их богатства. Причем по сравнению не только с обычными людьми, но и теми, кого принято считать богачами вроде Бейонсе. Открыть/Комментировать

2024-01-05 09:59:59 Теперь каждый может создать свое приложение на основе ИИ!
Это нам обещает проект Amazon PartyRock. Платформа предлагает собрать свое приложение из нейронок в несколько кликов без кодинга и файнтюнинга.

Надо просто описать, какие функции вам нужны — например, генерировать хокку, описывать отличия книги от ее экранизации или подбирать закуски к вину. Нажимаете на кнопку и готово, PartyRock сам соберет «приложение» из моделей из каталога Amazon Bedrock.

Это сервис предлагающий выбор базовых моделей от разных разработчиков ИИ — Cohere, Stability AI, Anthropic и так далее.

Базовые модели — это нейросети, обученные на больших объемах данных, которые пользователь может дообучить под себя.

Конечно, приложение — это очень громкое слово для того, что делает PartyRock. Он собирает конструкцию из нескольких кирпичиков:
одно или несколько окошек для ввода пользовательского пропмта,
вывод сгенерированного текста,
вывод сгенерированного изображения,
чат-бот, который пообщается с юзером на заданную тему.

Но в любом случае фильмы и пейринги к вину рекомендует толковые. Открыть/Комментировать

2024-01-04 11:59:49 LIDA — инструмент для визуализации данных и создания инфографики
Пополняем копилку полезных open source-проектов инструментом для тех, кто занимается визуализацией данных: LIDA от Microsoft.

Это библиотека Python из 4 модулей:
SUMMARIZER создает описание загруженных в него данных.
GOAL EXPLORER задает цели — что надо визуализировать — сам или с подачи пользователя.
VISGENERATOR создает, модифицирует и исполняет код для визуализации данных.
INFOGRAPHER генерирует на их основе инфографики. Эта функция еще в бете.

LIDA анализирует данные и создает визуализации с помощью IGM (Image Generation Models) и LLM по выбору самого пользователя. Работает с OpenAI, Azure OpenAI, PaLM, Cohere и Huggingface. Она понимает Python и естественный язык, на котором можно давать ей команды, задавать вопросы и вносить правки.

Есть два режима работы:
Автоматический. Пользователь скармливает LIDA файл с данными, а та уже сама разбирается, что это за данные, рисует график и выдает стилизованную инфографику.
Полуавтоматический. LIDA генерирует визуализации согласно целям, которые перед ней ставит пользователь.

Как это выглядит, можно увидеть в ролике на странице проекта. Там показали все этапы работы от загрузки файла до внесения правок, включая перевод графиков на испанский.

Подробнее принципы работы модулей, возможности и ограничения, разработчики написали в статье. Главными преимуществами LIDA они называют:
гибкость и возможность модифицировать каждый модуль под свой запрос;
простоту и универсальность — пользователь решает все свои задачи с помощью одного инструмента, и ему не нужно искать и прикручивать что-то дополнительно;
масштабируемость. Эволюционируют LLM — эволюционирует и LIDA вместе с ними.

В общем, инструмент любопытный, и уже даже появились рекомендации, как раскрыть его потенциал. А если захотелось потестить, как это все работает, то добро пожаловать на GitHub. Открыть/Комментировать

2024-01-03 10:04:25 Почему все так дорого?
Новый год прошел, а память о возмутительных ценах на горошек и колбасу для оливье еще жива. Если закупаясь продуктами перед праздником, вы задавались вопросом, почему все так ужасно дорого, знайте, что вы не одиноки. Это проблема по-настоящему международного масштаба.

В подтверждение у нас есть целое исследование, которое проводилось в коллаборации с Google Trends.

В основу легли данные о поисковых запросах с 2012 по 2023 годы. Авторы изучили, цены на какие товары или услуги так смущали пользователей, что они заходили в Google и писали: «Почему … стоит так дорого?» Ну, или что-то похожее.

В 2013 году людей из разных стран больше всего интересовала причина высокой стоимости техники. А вот с 2015 и по настоящее время — чаще задаются вопросом, почему так дорого стоят еда и напитки (в частности, яйца).

К исследованию прикрепили целую гору графиков с разбивкой по категориям товаров и странам. В каждую категорию и страну можно «провалиться» и узнать, например, что в 2015 году в Узбекистане пользователей Google интересовало, почему так дорого стоят вещи бренда Yeezy.

В общем, получается, что на вопрос в заголовке исследование так и не отвечает. Зато дает узнать, цены на какие вещи так возмущают или шокируют людей в разных странах, что они аж в Google идут. Открыть/Комментировать

2023-12-31 10:03:47 А вы поставили цели на 2024?
В конце года многие из нас подводят итоги и ставят новые цели. Статистика говорит, что большинство людей хотят улучшить здоровье и финансы, похудеть и начать правильно питаться. Ну а где-то в хвосте плетутся «начать лучше работать» и «пить меньше алкоголя».

А вы ставите себе цели на Новый год? Если да, то поделитесь в комментариях! Тоже хотите удариться в ЗОЖ или у вас другие планы на 2024?

Поделимся и своими итогами года и целью на следующий, чтобы не упускать возможность ежегодной рефлексии:
За 2023 год наш канал вырос в 2,5 раза, публикации стали более яркими, структурированными и полезными, мы успевали рассказывать вам как про мир анализа данных, так и про громкие, интересные и важные новости быстро развивающихся технологий и нейросетей.
Нашей главной целью было и остается помогать вам узнавать новое, держать вас в курсе изменений и событий в IT и давать возможность взглянуть на каждую новость с разных сторон. В 24 году будет больше оригинальных рубрик, коллабораций и многого другого.
А ваш отклик, искренний интерес и обсуждения в комментариях позволяют нам понять, что мы идем в верном направлении!

Благодарим вас от всей души! Николай Валиотти и вся команда LEFT JOIN желает, чтобы все планы наших самых любимых подписчиков свершались, а цели обязательно достигались! Пусть в Новом году все будет круто! Открыть/Комментировать