я обучала одну модель

2022-04-04 21:33:39 Очень крутой визуализатор для команд git

https://learngitbranching.js.org/ Открыть/Комментировать

2022-04-01 03:56:16 На stackoverflow тем временем появились темы в честь первого апреля, некоторые даже ничего Открыть/Комментировать

2022-03-26 12:29:01 У Майкрософт какое-то время назад вышла статья про µTransfer – эффективную технику подбора гиперпараметров для гигантских нейросетей

In a nutshell, сначала они придумали, как более эффективно скейлить веса моделей при инициализации и апдейте, так, чтобы не взрывались и не затухали градиенты. Потом оказалось, что при такой параметризации можно ‘переносить’ гиперпараметры – сначала найти наилучшие значения для тренировки модели поменьше, и потом перенести их на большую модель. И теоретически, и эмпирически оказывается, что оптимальные значения гиперпараметров для обучения будут +- близки при таком скейлинге, то есть, например, оптимальные значения learning rate для большой и маленькой модели будут совпадать. В частности это хорошо работает при увеличении width сетки (числа нейронов в одном слое), но и для глубины, батчсайза и sequence length работает тоже

Авторы так перенесли параметры обучения GPT 40M на GPT 6B, и их модель побила качество модели такого же размера на NLU задачах Открыть/Комментировать

2022-03-12 22:40:23 успокаивающий генеративный воздушный хлеб

автор говорит, что модель на основе CLIP-guided diffusion, но самого кода пока нет увы Открыть/Комментировать

2022-03-12 20:47:40 Тем временем, как сообщают в заблокированном твиттере, нейронка научилась неплохо определять пол человека по фотке зрачка. При чем, никакой гипотезы, чем так различаются зрачки мужчин и женщин, пока что нет

Это на моей памяти первый такой яркий кейс неинтерпретируемости нейросетей – да, свертки и до этого могли выучивать какие-то не слишком очевидные человеку паттерны, но тут похоже они видят какие-то различия, о которых мы сами вообще ничего не знаем (прикольно!)

Есть как оказалось похожий кейс, когда нейронки по рентгеновским снимкам тела могли определить расу человека, но тут какие-то корреляции еще можно предположить Открыть/Комментировать

2022-03-03 17:47:09 Фан фект, но когда-то очень давно это был канал с моими околполитологическими измышлениями. С тех пор я, очевидно, больше ушла в матешу, ML и вот это все, но сейчас на удивление помогает перечитывать то, что я читала тогда

Может быть, кому-то из вас это тоже будет интересно – Арендт много осмысляет опыт нацистской Германии, вопрос коллективной вины, политического насилия, и это сильно не исчерпывающий список. ‘Ответственность и суждение’ и глава про личную ответственность при диктатуре на меня очень сильно повлияла в свое время, и сейчас (увы) кажется очень уместной.
Эйхмана в Иерусалиме стоит читать только за то, как она выстебывает, собственно, банальность зла, с ее отговоркой про простое выполнение приказов и ‘мне не оставили иного выбора’

Можете накидать в коменты, что вы сейчас читаете, например! Открыть/Комментировать

2022-02-16 17:35:45 Открыть/Комментировать

2022-02-05 20:24:59 как же хорошо Открыть/Комментировать

2022-02-04 07:29:25 Вспомнила про один из моих любимых залипательных сайтов synesthesia, где можно миксовать биты, и изменения ритма визуализируются с помощью point clouds
https://synesthesia.rikard.io/ Открыть/Комментировать

2022-02-04 05:39:29 ​​Вышла интересная модель MIDI-DDSP для контролируемой генерации музыки. Если вы не следите за этой темой, то в области генерации музыки все пока не очень радужно, и даже jukebox от OpenAI иногда выдает звуки из ада

Тут сетка продуцирует MIDI-дорожки, то есть последовательность разных нот в исполнении разных инструментов. Дальше для каждой ноты отдельно устанавливается Synthesis, то есть тембр и высота звука, и Expression – параметры того, как звук играется, например, его громкость, ‘зашумленность’, вибрато и так далее. В colab demo вам дают огромную таблицу со всеми этими параметрами, чтобы можно потвикать, как на синтезаторе

Учили это с помощью human-in-the-loop, то есть сначала более простая сетка генерировала последовательности звуков на основе тренировочных данных, а далее эксперты уже так или иначе ее меняли, например, повышая октавы в каких-то местах, или делая более резкий переход, и на таких размеченных измененных данных учили уже MIDI-DDSP

Вообще я не видела пока похожих экспериментов в плане настолько контролируемого звучания. Конечно, такая сетка может генерить только классику или в теории джаз, возможно что-то электронное, – так или иначе жанры, где инструменты относительно легко разложить. И, конечно, она не может в осмысленный текст. Очень интересно было бы увидеть, можно ли пофьюзить языковые модели с моделями для генерации музыки, чтобы с этим стало лучше

spaces | git | blogpost Открыть/Комментировать