Machinelearning

2023-05-19 10:53:52 FunASR: A Fundamental End-to-End Speech Recognition Toolkit

FunASR, an open-source speech recognition toolkit designed to bridge the gap between academic research and industrial applications

Фундаментальный набор инструментов для распознавания речи.

Github: https://github.com/alibaba-damo-academy/FunASR

Docs: https://alibaba-damo-academy.github.io/FunASR/en/index.html

Paper: https://arxiv.org/abs/2305.11013v1

Dataset: https://paperswithcode.com/dataset/wenetspeech

ai_machinelearning_big_data Открыть/Комментировать

2023-05-18 12:02:26 FastComposer: Tuning-Free Multi-Subject Image Generation with Localized Attention

FastComposer uses subject embeddings extracted by an image encoder to augment the generic text conditioning in diffusion models, enabling personalized image generation based on subject images and textual instructions with only forward passes.

FastComposer - новый проект MIT, который обеспечивает высококачественное, персонализированное, многопредметное преобразование текста в изображение без тонкой настройки.

Github: https://github.com/mit-han-lab/fastcomposer

Paper: https://arxiv.org/abs/2305.10431v1

Dataset: https://paperswithcode.com/dataset/ffhq

Project: https://fastcomposer.mit.edu/

ai_machinelearning_big_data Открыть/Комментировать

2023-05-18 10:02:09 Как пройти техническое собеседование на ML-специалиста?

Узнайте на примере mock-интервью с преподавателями курса «MLOps» в OTUS!

На открытом уроке вы сможете наблюдать один из этапов собеседования при найме ML-специалистов — ML System Design секцию.

Для удачного прохождения этого этапа не достаточно только знания алгоритмов машинного обучения. Также проверяются навыки проектирования ML систем, которые могут успешно работать в промышленной среде.

Больше инструментов MLOps ждет вас на курсе. Обратите внимание: возможные способы оплаты обучения.

Готовьте вопросы и записывайтесь на вебинар!
https://otus.pw/mQFg/

Нативная интеграция. Информация о продукте www.otus.ru Открыть/Комментировать

2023-05-16 13:00:37 ULIP: Learning a Unified Representation of Language, Images, and Point Clouds for 3D Understanding

You can easily plug in any 3D backbone models and pre-train it using our framework to get a jump-start for various downstreaming tasks!

ULIP - мультимодальная предварительно обученная модель, которая может использовать данные из разных модальностей (изображения, текст и тд) для работы с 3D-данными.

Github: https://github.com/salesforce/ulip

Paper: https://arxiv.org/abs/2305.08275v1

Dataset: https://paperswithcode.com/dataset/objaverse

ai_machinelearning_big_data Открыть/Комментировать

2023-05-15 11:02:33 An Inverse Scaling Law for CLIP Training

CLIP, the first foundation model that connects images and text, has enabled many recent breakthroughs in computer vision. As a result of this finding, we are able to successfully train CLIP even by using academic resources.

CLIP, первая фундаментальная модель, которая связывает изображения и текст, которая помогла совершить множество прорывов в компьютерном зрении. Проект показывает спопобы снижения вычислительных затрат на работу CLIP.

Github: https://github.com/UCSC-VLAA/CLIPA

Paper: https://arxiv.org/abs/2305.07017v1

Dataset: https://paperswithcode.com/dataset/imagenet-sketch

ai_machinelearning_big_data Открыть/Комментировать

2023-05-13 11:01:49 Towards Building the Federated GPT: Federated Instruction Tuning

Shepherd: A lightweight, foundational framework enabling federated instruction tuning for large language models

Модель для фундаментальной основы для изучения федеративной тонкой настройки LLM.

Github: https://github.com/jayzhang42/federatedgpt-shepherd

Paper: https://arxiv.org/pdf/2305.05644.pdf

Data Preparation: https://github.com/jayzhang42/federatedgpt-shepherd#Data_Preparation

ai_machinelearning_big_data Открыть/Комментировать

2023-05-12 13:02:09 DaGAN++: Depth-Aware Generative Adversarial Network for Talking Head Video Generation

A novel self-supervised method for learning dense 3D facial geometry (ie, depth) from face videos, without requiring camera parameters and 3D geometry annotations in training.

Новый метод на основе генеративных состязательных сетей для генерации видео с говорящими головами.

Github: https://github.com/harlanhong/cvpr2022-dagan

Paper: https://arxiv.org/pdf/2305.06225v1.pdf

Demo: https://huggingface.co/spaces/HarlanHong/DaGAN

Dataset: https://paperswithcode.com/dataset/voxceleb1

ai_machinelearning_big_data Открыть/Комментировать

2023-05-11 11:57:19 VideoChat: Chat-Centric Video Understanding

Currently, Ask-Anything is a simple yet interesting tool for chatting with video.

Набор данных, ориентированный на видео, состоящий из тысяч видеороликов, сопровождаемых подробными описаниями и субтитрами.

Github: https://github.com/OpenGVLab/Ask-Anything

Demo: https://huggingface.co/spaces/ynhe/AskAnything

Paper: https://arxiv.org/pdf/2305.06355v1.pdf

Dataset: https://paperswithcode.com/dataset/webvid

ai_machinelearning_big_data Открыть/Комментировать

2023-05-11 10:07:45 Начните изучать инструменты MLOps с библиотеки DataFrame API!

Приглашаем 15 мая в 20:00 мск на открытый урок «DataFrame API: от Dask к PySpark» в OTUS.

DataFrame API — это библиотека для обработки данных в Python, которая часто используется в задачах машинного обучения.

На этом занятии мы рассмотрим ситуацию, когда данные уже не помещаются на дисковый массив, а для быстрой обработки требуется большое количество ядер.

Покажем на практике как деплоить модели в production

Больше инструментов MLOps ждет вас на курсе. Обратите внимание: возможные способы оплаты обучения.

Готовьте вопросы и записывайтесь на вебинар!
https://otus.pw/UImi/

Нативная интеграция. Информация о продукте www.otus.ru Открыть/Комментировать

2023-05-10 15:01:01 ImageBind: One Embedding Space To Bind Them All

ImageBind, an approach to learn a joint embedding across six different modalities - images, text, audio, depth, thermal, and IMU data.

ImageBind, новый подход от Meta к обучению совместному встраиванию шести различных модальностей - текста,изображений, аудио, глубины, тепловых данных и данных IMU.

Github: https://github.com/facebookresearch/imagebind

Meta blog: https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/

Paper: https://arxiv.org/pdf/2305.05665v1.pdf

Demo: https://imagebind.metademolab.com/

Dataset: https://paperswithcode.com/dataset/msr-vtt

ai_machinelearning_big_data Открыть/Комментировать