iggisv9t channel

2022-08-29 16:32:12 Работает, собака!!!

Вы видите настоящую эволюцию: клетки-пиксели размножаются, майнят энергию и тратят её на движение, пожирают тех, у кого энергии меньше, мутируют — всё по алгоритму, записанному в их ДНК.

Пиксели одного цвета — родственники.

Вначале по центру вырастает серо-фиолетовая вертикальная полоска. Она склонна к мутации, это видно по многочисленным цветным вкраплениям.

Мутабельность помогает фиолетовым удачно поменяться и захватить почти всё поле. А потом стреляет в ногу: появляются конкуренты, которые и съедают всех фиолетовых.

Видео ускорено в 8 раз, работает в браузере. Открыть/Комментировать

2022-08-27 23:43:45 Приятно, что кто-то вспоминает NewsViz да ещё и как источник вдохновения.
Хорошая аналитика, хоть и на небольшом наборе каналов.
Если матчатся сюжеты, то можно ещё много интересного наковырять как это делали в Memetracker и NIFTY. Например волны цитирований визуализировать или отслеживать перемещение сюжетов по группам источников. Кстати, ещё можно отслеживать шаблонность. То есть насколько разные источники одинаково подают одно и то же.
https://habr.com/en/post/684952/ Открыть/Комментировать

2022-08-24 15:29:29 На самом деле там не всё так весело. Очень много кластеров из новостей на русском языке, и они до ужаса шаблонный набор слов содержат. Ощущение такое, что официальные российские СМИ можно заменить даже не нейронкой, а марковской цепью.
Есть правда и приятные кластера. Например целый мультиязычный кластер слов благодарности, ещё один с пожеланиями доброго дня/утра/вечера. Открыть/Комментировать

2022-08-24 14:45:03 c-Tf-Idf поверх кластеров из hDBSCAN на векторах из RoBERTa сжатых через UMAP чтобы уловить суть телеграм-каналов. Открыть/Комментировать

2022-08-23 20:13:05 До моего любимого viewpoints ещё не дотягивает, но зато не надо делать лишних телодвижений для экспорта данных. Открыть/Комментировать

2022-08-17 21:49:52 Ещё успел завести и немного потыкать вот эту штуку https://github.com/flekschas/jupyter-scatter Сразу некоторое разочарование, что нет ховеров и нельзя экспортировать выделение куда-то вне виджета. Пока потенциал этой штуки не раскрыл. Потом посмотрим. Теперь… Открыть/Комментировать

2022-08-17 21:48:42 Ещё успел завести и немного потыкать вот эту штуку https://github.com/flekschas/jupyter-scatter
Сразу некоторое разочарование, что нет ховеров и нельзя экспортировать выделение куда-то вне виджета. Пока потенциал этой штуки не раскрыл. Потом посмотрим. Теперь в планах соединить графовые и текстовые признаки, доделать кластеризацию и какую-то интерпретацию кластеров. Потом уже можно будет снова качать данные и обновлять выводы. Открыть/Комментировать

2022-08-17 21:44:12 Большие сложные датасеты всегда заставляют что-то новое освоить. Тут так много текстов ещё и на разных языках с разными алфавитами, что мои любимые архаичные подходы безнадёжны. Алексей порекомендовал мне BERTopic. Я попробовал, всё сломалось (я тепреь знаю как чинить, но поздно). Пришлось распотрошить и начать делать всё что у него внутри по частям. В это время моё виртуальное окружение вконец поломалось, пришлось всё снести и открыть для себя мамбу. Это такой пакетный менеджер, который заменяет conda. Работает за секунды, там где конда пыхтит часами и не может места сдвинуться. Антон в с воей миссии распространения раста подкинул мне забавный бенчмарк polars vs pandas. На раст я от этого не перешёл (и носки ношу обычные), но получилось здорово сэкономить память, потому что у меня уже даже кусками всё это дело не получалось ворочить с пандасом.
А вот CuML, которые обещают быстрый UMAP и HDBSCAN на видюхе я завести в этот раз не смог. Но предыдущее моё занкомство с поделиями от RAPIDS тоже ничем хорошим не кончилось. Там надо было принудительно все данные заранее пихать в видюху, что делало бессмысленным всякое ускорение. В видюху то мало лезет. Открыть/Комментировать

2022-08-17 20:01:03 Саундтрек к гифке выше Открыть/Комментировать