MLArt

2022-08-22 01:28:32 В прикрепленном примере слева DeOldify, а справа я разбил ч/б видео на сцены, взял из них по одному кадру, прогнал их через image2text (да, такие сетки тоже кому-то нужны в 2к22), загуглил картинки по тексту (хотя можно было бы и сгенерить) и подал как референс, а в колабе ниже я попытался все это автоматизировать на примере одной старенькой сетки. Видно, результат сыроват, но это ведь только «Введение». Далее, если эта тема окажется интресной не только мне, я постараюсь простым языком шире ее раскрыть. Пока не решил серия ли это будет постов, или в статейку все уместить.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/VCR.ipynb Открыть/Комментировать

2022-08-22 01:28:08 «Колоризация. Введение»

Колоризация кадров - одна из моих любимых задач в машинном обучении. Я протестировал, наверное, все существующие, на данный момент, репозитории с сетками по раскрашиванию, написанные на питоне, что-то писал сам (но лучше пусть это так и останется в старых, забытых колабах) и теперь могу подвести некоторые итоги. Отправной точкой возьму DeOldify (как самого популярного представителя жанра). У него есть проблемы, такие как синие ореолы вокруг объектов, отсутствие консистентности кадров, а также он часто пятнит. Приходится балансировать между буйством красок и согласованностью кадров. Либо куча цветов и фликер, либо стабильная ржавчина, но при всем при этом DeOldify все еще многие используют ибо он полностью автоматизированный. Хотя добавь немного ручной работы и видео заиграет новыми красками, так как есть куча алгоритмов, которые красят по референсу, а значит можно и богатую палитру, и когерентность сохранить. Открыть/Комментировать

2022-07-03 00:15:05 Upscaler VS Frame Interpolator

Наконец я созрел до написания статейки (как в старые добрые времена). В этот раз весьма занимательный эксперимент, а именно: пробую увеличить FPS с помощью Real-ESRGAN и сделать апскейл интерполятором кадров RIFE. По ощущению будто заглядываешь в 4 измерение, когда делаешь пространственно-временной своп, которому и посвящен этот текст, но не стоит пугаться незнакомых фраз. Я очень старался сделать материал максимально доступным, поэтому проблем быть не должно.

P.S. Даже колаб собрал (пусть и думал от него отказаться), но он внутри статьи. Как появится какая-нибудь интересная нейросетка, обязательно соберу и для нее. Открыть/Комментировать

2022-05-18 01:26:10 PetBreeder 1.1

Если (ну вдруг) у вас когда-либо возникало желание взглянуть на себя в облике пёселя или кошары, то сейчас появилась прекрасная возможность. Почему я это собрал? Дело в том, что я наткнулся на стайлгановские веса ffhq, дотюниные собачим и кошачим датасетами, которые дают весьма хорошие результаты и при этом «черты» лица человека (с входного изображения) сохраняются. Разве это не повод сделать что-нибудь забавное? Плюс сейчас такое время, когда в опенсорсе мало интересных проектов. В общем, по ссылке ниже можно генерировать как простое изображение своего психологического питомца, так и анимацию морфинга.

P.S. время удобства колаба медленно, но верно уходит. Возможно следующую нейронку соберу каким-нибудь градио, но не факт. Плюс хотел бы все-таки постить время от времени что-то новостное, обзорное, образовательное или тому подобное. А то канал пустует, а мне иногда есть что рассказать.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/PetBreeder.ipynb Открыть/Комментировать

2022-04-09 17:49:14 Text2Image 5.0 Latent-Diffusion

Чуть меньше недели назад в сети появился новый генератор картинок по тексту (LD). Он был без преувеличения прекрасен (благодаря новому подходу к диффузии), но лишь до тех пор, пока мир не узрел Dall-E 2. В тот момент все предыдущие генераторы стали меркнуть на фоне детища OpenAI. Но коль поиграться нам не дают, будем довольствоваться тем, что есть. Тем более, при очевидных различиях, я бы не сказал, что они прям колоссальные. Энивей с LD можно получить море фана, а именно за этим многие здесь и собрались. Запросы в колабе принимаются на множестве языков. Чем дополнить я не придумал, но и пройти стороной такое событие не мог.

P.S. Ку, ребят, не теряемся. Да, немного пропал, но честное слово, за 2 месяца ничего особо стоящего просто небыло, поэтому я и не публиковал посты. Канал бросать не планирую, но и вести его по расписанию не хочу. Прошу отнестись с пониманием.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Image_v5.ipynb Открыть/Комментировать

2022-01-29 18:21:18 DeepVoiceClone

Как-то давно я уже публиковал у себя пару нейросетей по клонированию голоса, но с тех пор качество значительно возросло. Сейчас я поковырял парочку свежих сеток и выбрал текущего фаворита. Им стала зеро-шот моделька под названием YourTTS. Да, там не только с голоса, но и с текста можно делать перенос. Если вы выбираете текст, то имейте в виду, что нейросеть может транслировать только английский, французский и португальский языки. Есть даже вэб-версия, но там дополнительно накладывается закадровая музыка (думаю сами понимаете почему). Если хотите на других языках клонировать, то милости прошу в перенос с голоса на голос, который так же имеется в Колабе. Но свой текст надо стараться проговаривать интонацией того человека, кто будет его озвучивать. Результат генерируется быстро, но получается чуточку шумным, что легко фиксится, например сторонними нейронками.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/DeepVoiceClone.ipynb Открыть/Комментировать

2022-01-26 11:40:01 Обновленная модель генератора HD портретов

Недавно мы в neural.love выкатили новый генератор лиц по исходному изображению, который был анонсирован в одном из предыдущих постов. Точность значительно возросла, в сравнении со старой моделью, однако немного просела скорость. Теперь на вычисление тратится чуть больше времени, но оно того стоит. По окончанию работы можно будет либо сравнить изменения, двигая шторкой, либо просто забрать результат, который придет на email. Протестировать можно по ссылке ниже:

https://neural.love/portraits Открыть/Комментировать

2022-01-18 14:00:04 HomeStylist v.1.0

Сегодня выкатили нейросеть, которая может не только менять позу, но и переодевать человека на фотографии. Код есть, а Колаба не было. Я исправил это недоразумение. Сделал его удобным на столько, на сколько это вообще возможно, ибо чтобы завести эту нейросеть пришлось клонировать еще парочку, но оно того стоило. Качество синтезированного изображения на высоте. Разрешение, конечно, 512 по большей стороне, но те, кому нужно, прогонят дополнительно через какой-нибудь апскейлер.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/HomeStylist.ipynb Открыть/Комментировать

2022-01-01 17:25:27 Text2Voxel v.1.0

Наступил 2022 год и мне хотелось бы пожелать всем вам счастья, любви и благополучия. Я благодарен каждому кто проявляет интерес к моему труду. В новом году будем знакомиться с еще большим количеством интересных нейронок и собирать на них Колабы.

Сегодня мне хотелось бы поделиться Колабом, который по текстовому описанию генерирует воксельный объект. Двухмерные генерации стали трендом предыдущего года. Кто знает, может 3D будет трендом текущего. Внутри основного блока есть куча всяких переменных. Не хотелось усложнять интерфейс, но кому нужна тонкая настройка, тот может открыть код и подправить.

P.S. На видео процесс генерации новогодней елки.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Voxel.ipynb Открыть/Комментировать

2021-12-22 04:51:05 NeuralCorrector v.1.0

Вчера появилась новая нейронка GLIDE от OpenAI, которая помимо уже привычной генерации картинок из текстовых описаний умела дорисовывать объекты на изображение, которое мы подадим. Нужно просто маской указать где хочется добавить объект и все. Но требовать от пользователей заранее готовить картинку с этой маской мне не хотелось, поэтому я прямо в колаб добавил рисовалку, которой нужно будет закрашивать изменяемую область. Плюс встроенный переводчик для тех, кто привык писать запросы на родном языке. Ну и учитывая то, что на выходе мы получаем изображение 256х256, я добавил свежий алгоритм апскейла на диффьюзивных моделях. Инструмент очень сырой, поэтому если объект не добавится, нужно перезапустить блок с генерацией.

P.S. На фото «мужчина и пирог на столе»

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/NeuralCorrector.ipynb Открыть/Комментировать