Machinelearning

2023-06-26 11:03:50 Awesome-Multimodal-Large-Language-Models

Latest Papers and Datasets on Multimodal Large Language Models, and Their Evaluation.

Огромный, упорядоченный список новейших статей, датасетов и кода по мультимодальным большим языковым моделям.

Github: https://github.com/bradyfu/awesome-multimodal-large-language-models

Paper: https://arxiv.org/abs/2306.13394v1

Dataset: https://paperswithcode.com/dataset/coco

ai_machinelearning_big_data Открыть/Комментировать

2023-06-24 11:59:03 Rofunc: The Full Process Python Package for Robot Learning from Demonstration and Robot Manipulation

A pre-trained soft object manipulation skill learning model, namely SoftGPT, that is trained using large amounts of exploration data, consisting of a three-dimensional heterogeneous graph representation and a GPT-based dynamics model.

Полный набор инструментов Python для обучения роботов на основе имитационного обучения и обучения роботов путем демонстрации.

pip install rofunc

import rofunc as rf
import numpy as np
from isaacgym import gymutil
from importlib_resources import files

# Demo
raw_demo_l = np.load(files('rofunc.data.RAW_DEMO').joinpath('taichi_raw_l.npy'))
raw_demo_r = np.load(files('rofunc.data.RAW_DEMO').joinpath('taichi_raw_r.npy'))
demos_x_l = [raw_demo_l[300:435, :], raw_demo_l[435:570, :], raw_demo_l[570:705, :]]
demos_x_r = [raw_demo_r[300:435, :], raw_demo_r[435:570, :], raw_demo_r[570:705, :]]
rf.lqt.plot_3d_bi(demos_x_l, demos_x_r, ori=False, save=False)

# TP-GMM
show_demo_idx = 1
_, _, gmm_rep_l, gmm_rep_r = rf.tpgmm.bi(demos_x_l, demos_x_r, show_demo_idx=show_demo_idx, plot=True)

Github: https://github.com/skylark0924/rofunc

Paper: https://arxiv.org/abs/2306.12677v1

Dataset: https://paperswithcode.com/dataset/plasticinelab

ai_machinelearning_big_data Открыть/Комментировать

2023-06-11 21:11:27 Large Language Model for Geoscience

We introduce K2 (7B), an open-source language model trained by firstly further pretraining LLaMA on collected and cleaned geoscience literature, including geoscience open-access papers and Wikipedia pages, and secondly fine-tuning with knowledge-intensive instruction tuning data (GeoSignal).

Применение базовой языковой модели для понимания и использования знаний в области геонаук

git clone https://github.com/davendw49/k2.git
cd k2
conda env create -f k2.yml
conda activate k2

Github: https://github.com/davendw49/k2

Demo: https://huggingface.co/daven3/k2_fp_delta

Paper: https://arxiv.org/abs/2306.05064v1

Dataset: https://huggingface.co/datasets/daven3/geosignal

ai_machinelearning_big_data Открыть/Комментировать

2023-06-11 19:00:21 Открыть/Комментировать

2023-06-11 13:01:36 Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models

It is a multimodal model that merges a video-adapted visual encoder with a LLM.

Video-ChatGPT - это новая модель, способная генерировать осмысленные разговоры о видео.

Github: https://github.com/mbzuai-oryx/video-chatgpt

Demo: https://www.ival-mbzuai.com/video-chatgpt

Paper: https://arxiv.org/abs/2306.05424v1

Dataset: https://paperswithcode.com/dataset/activitynet-qa

ai_machinelearning_big_data Открыть/Комментировать

2023-06-09 13:00:52 PandaLM: ReProducible and Automated Language Model Assessment

Judge large language model, named PandaLM, which is trained to distinguish the superior model given several LLMs. PandaLM's focus extends beyond just the objective correctness of responses, which is the main focus of traditional evaluation datasets.

PandaLM - обеспечивает автоматизированные сравнения между различными большими языковыми моделями (LLM). Задавая одинаковый контекст, PandaLM может сравнивать ответы различных LLM и предоставлять причину решения вместе с эталонным ответом.

Github: https://github.com/weopenml/pandalm

Paper: https://arxiv.org/abs/2306.05087v1

Dataset: https://github.com/tatsu-lab/stanford_alpaca#data-release

ai_machinelearning_big_data Открыть/Комментировать

2023-06-08 13:01:33 Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding

LLaMA is working on empowering large language models with video and audio understanding capability.

Video-LLaMA - мультимодальная система, которая расширяет возможности больших языковых моделей (LLM) для понимания как визуального, так и аудио контента в видео.

Github: https://github.com/damo-nlp-sg/video-llama

Paper: https://arxiv.org/abs/2306.02858

Demo: https://huggingface.co/spaces/DAMO-NLP-SG/Video-LLaMA

Model: https://modelscope.cn/studios/damo/video-llama/summary

ai_machinelearning_big_data Открыть/Комментировать

2023-06-08 11:00:54 Пройдите тест на углубленные знания в сфере Machine Learning. Professional

Ответьте на 10 вопросов и проверьте, насколько вы готовы к обучению на продвинутом курсе «Machine Learning. Professional» от OTUS и его партнера — Сбера.

Время прохождения теста ограничено 30 минут

ПРОЙТИ ТЕСТ: https://otus.pw/vMDX/

Присоединяйтесь 15 июня в 18:00 мск к открытому уроку. На вебинаре «Content-based рекомендательные системы» вы:

— Узнаете общие принципы построения рекомендательных систем

— Познакомитесь с методами контентной фильтрации

— Построите свою первую рекомендательную систему для онлайн-магазина.

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. 2RanynG9KRz Открыть/Комментировать

2023-06-07 11:11:57 Segment Anything 3D

SAM-3D: A toolbox transfers 2D SAM segments into 3D scene-level point clouds.

Новый фреймворк, который может предсказывать маски объектов в трехмерных сценах, используя модель "Segment-Anything" (SAM) в RGB изображениях без дополнительного обучения или настройки.

Github: https://github.com/pointcept/segmentanything3d

Paper: https://arxiv.org/abs/2306.03908v1

Dataset: https://paperswithcode.com/dataset/scannet

ai_machinelearning_big_data Открыть/Комментировать

2023-06-06 11:18:07 Gorilla: Large Language Model Connected with Massive APIs

Gorilla a finetuned LLaMA-based model that surpasses the performance of GPT-4 on writing API calls.

Gorilla — это модель, обученная на основе LLaMA, для вызова 1600+ сторонних API. На вход подается запрос на естественном языке, модель находит семантически и синтаксически правильное API для настройки модели мо. Производительность настроенной модели превосходит GPT-4 на трех масштабных наборах данных.

Github: https://github.com/ShishirPatil/gorilla

Paper: https://arxiv.org/abs/2305.15334

Demo: https://drive.google.com/file/d/1E0k5mG1mTiaz0kukyK1PdeohJipTFh6j/view?usp=share_link

Project: https://shishirpatil.github.io/gorilla/

Colab: https://colab.research.google.com/drive/1DEBPsccVLF_aUnmD0FwPeHFrtdC0QIUP?usp=sharing

ai_machinelearning_big_data Открыть/Комментировать