iggisv9t channel

2022-06-21 22:54:23

Открыть/Комментировать

2022-06-21 22:54:23 Я купил журнал "Корея" — там тоже хорошо. Открыть/Комментировать

2022-06-19 00:54:00 Это средний уровень искажений. 100% они выбили на высоком уровне. То есть будет ещё страшнее. Ну и испорченных фотографий должно быть значительно больше, чем нормальных. Ну раза в два, наверное, как минимум. Заметно, что тренировали на кропнутых квадратиках, и проверяли видимо на мелких картинках. Это можно поправить, если код приличный. Надо разбираться. Открыть/Комментировать

2022-06-19 00:53:00 Открыть/Комментировать

2022-06-19 00:52:39 Чему я удивился: это poisoning attack. Я почему-то считал такие атаки нереалистичными. Отчасти из-за того, что не мог придумать сценарий когда это одновременно возможно и целесообразно, отчасти из-за того, что какие-то странные данные легко детектируются и отбрасываются, да и вообще, как можно незаметно попортить модели, которые учатся на гигантских датасетах.
Fawkes предполагает, что вы портите не весь датасет, а только свой класс. То есть смещаете признаки изображения так, чтобы модель считала вас больше похожими на кого-то другого, чем на самих себя. При этом искажение должно быть достаточно незаметным, но тут вы сами увидите.
То есть сценарий такой, что сначала вашу физиономию в интернете никто не видел, потом вы грузите пачку попорченных картинок, и недобросовестные деятели выучивают для вас неправильные представления в модели.
Разумеется, уже поздно. И авторы статьи это осознают. На самом деле изначально я отнёсся к этому делу с большим скепсисом, потому что раз есть открытый инструмент, то любой так называемый (в терминологии статьи) трекер может тоже взять эту штуку и аугментировать ей свои данные, чтобы доучить модель быть устойчивой к таким фокусам. Но авторы рассмотрели достаточно много деталей применимости и проверили всё это дело на самых больших доступных API для классификации физиономий. Одновременно они очертили масштабы своих амбиций до более менее реалистичных. Ребята даже проверяли, что будет если всё-таки атакуемая модель видела вас без "нейромакияжа". Поэтому мой скепсис поумерился и я наверное даже буду пробовать эту штуку использовать. Хотя всем будет видно, что я какую-то ерунду опять творю со своими изображениями.

Как оно вообще работает. Берут какой-нибудь feature extractor (предполагается, что ломают модели обученные трансфер лёрнингом). Берут случайный вектор чьей-то чужой физиономии. Учат искажения, которые будут приближать вектор признаков искажённой картинки к таргету. Можно менять экстракторы, можно брать сразу несколько. Как оно делает из коробки -- не знаю. Код ещё не смотрел.

Ещё у статьи довольно интересный список литературы в конце. Я планирую по нему пройтись. Интересно, например, про Sybil аккаунты, как их детектят и как можно этим пользоваться (например докинуть моделям неправильной разметки)

P.S. забыл добавить, что они изначально брали экстрактор и атакуемую модель разных архитектур и обученные на разных датасетах, что очень хорошо и делает результаты более практичными. Открыть/Комментировать

2022-06-19 00:51:34 Снова адверсариал атаки. Есть такая штука Fawkes (да, именно из-за масок из комикса Алана Мура) -- инструмент, чтобы незаметно изменять ваши фотографии перед публикацией в интернетах, так чтобы всякий нейронки потом вас не могли узнать. Я почитал статейку, как оно работает и какой сценарий использования предполагается.

Сначала ТЛДР, а то потом стена текста будет и вы напугаетесь.
- Портите картинки, грузите их в интернеты, машина потом думает что вы выглядите совсем не так как на самом деле
- Проверяли это дело на разных больших API для классификации лиц, при соблюдении некоторых (выполнимых) условий работает (по словам авторов) на 100%
- Применимость очень ограничена, потому что базовый сценарий вы скорее всего уже испортили, засветившись в интернете как следует.
- Искажения, всё же заметные даже на среднем уровне. А надёжный сценарий предполагает более сильные искажения.
- Плохо работает, когда атакуемая модель не классификатор (ну там софтмакс на выходе и выплёвывает вероятность класса), а просто ищет ближайший кластер, соответствующий человеку (как в амазоновском API)
- Модели подготовленные к адверсариал атакам всё ещё сложно одолеть (как Face++)
- Наверняка можно делать модели защищённые от этой штуки, но пока это приколюха для полутора параноиков, возможно никто не будет заморачиваться.
- Если вы не умеете pip install ... и ваша машина никак не сможет завести тензорфлоу, то вам оно не доступно.
- Несмотря на все минусы, это пока самое практичное, что я видел.
- Можно наверное доучить, переписать, сделать пару костылей и станет лучше.
- Чуда не случилось, но вместе со строгой цифровой гигиеной (выдернуть сетевую карту, да) может быть не лишним. Всё-таки даже самому серьёзному параноику может пригодиться фото в LinkedIn. Открыть/Комментировать

2022-06-15 12:19:42 Отключил отображение рёбер и видюха расслабилась. Открыть/Комментировать

2022-06-15 12:17:51 Я только что проверил. Засунул туда 3М вершин. Какое-то время повисела загрузка данных, а потом всё раз и уложено. Можно на ходу менять параметры укладки. Всё супербыстро, даже круче чем в standalone приложухах для графов. Из того, что не заметно с первого взгляда, мне рассказывали, что можно вершины красить по атрибутам если отдельно загрузить атрибуты и анимировать рёбра по времени, если подгрузить временную метку. Открыть/Комментировать

2022-06-15 12:14:05 Сегодня у меня большой анонс. В течение последних двух лет мы с командой работали над GPU-алгоритмом укладки графа и инструментом визуализации на его основе.

Представляю вам Cosmograph — самый быстрый Force Layout для графов в вэбе! С его помощью можно визуализировать графы с сотнями тысячами узлов и ребер (что в разы больше, чем при использовании классических силовых алгоритмов).

Cosmograph доступен для всех желающих по адресу cosmograph.app. Можете загружать туда CSV со списком ребер и наслаждаться визуализацией графа в реальном времени. Все работает прямо в браузере!

Если у вас есть друзья и коллеги, занимающиеся визуализацией графов, пожалуйста, поделитесь с ними!

#tools #networks #cosmograph @dataviznews Открыть/Комментировать

2022-06-13 14:11:46 Открыть/Комментировать