Machinelearning

2024-04-18 20:44:09 Llama 3 is here, with a brand new tokenizer!

Вышла Llama 3

Сегодня вышла новая SOTA Llama 3 в двух версиях на 8B и 70B параметров.

Длина контекста 8К, поддержка 30 языков.

•HF: https://huggingface.co/spaces/ysharma/Chat_with_Meta_llama3_8b
•Blog: https://ai.meta.com/blog/meta-llama-3/

Вы можете потестить MetaLlama 3 70B и Meta Llama 3 8B с помощью бесплатного интерфейса: https://llama3.replicate.dev/

P.S. В процессе обучения находится модель на 400В+ параметров.

@ai_machinelearning_big_data Открыть/Комментировать

2024-03-24 13:17:12 Nvidia опубликовала в открытом доступе бесплатные обучающие курсы для пользователей любого уровня подготовки по нейросетям и нейромоделям для понимания работы ИИ

объяснение генеративного ИИ: базированный 2-часовой курс, который подробно объяснит устройство нейронок, их применение и возможности;

создаём «мозг» за 10 минут: объяснит, как нейронка обучается на данных и покажет всю математику у неё под капотом;

введение в ИИ в центре обработки данных: всё про машинное обучение и глубокое обучение; какие есть фреймворки и как видеокарты двигают ИИ;

усиливаем свою LLM с помощью RAG: объяснит всю базу по генерации с дополненной выборкой;

создание своих RAG-агентов: мощнейший 8-часовой курс про масштабируемые стратегии развертывания для LLM и векторные базы данных;

ускорение работы с Data Science без изменения кода: всё об обработке данных и машинном обучении без переписываний кода;

усиление рекомендательных систем с помощью ИИ: курс-коллаб NVIDIA и YouTube;

устройство сетей: база про протоколы TCP/IP и Ethernet — необходимо для понимания процессов обработки данных.

@ai_machinelearning_big_data Открыть/Комментировать

2023-12-18 12:46:46 𝗧𝗵𝗲 𝘀𝘁𝗮𝘁𝗲 𝗼𝗳 𝗼𝗽𝗲𝗻 𝘀𝗼𝘂𝗿𝗰𝗲 𝗶𝗻 𝟮𝟬𝟮𝟯 by GitHub

GitHub только что опубликовал свой последний отчет о состоянии открых проектов. Авторы отметили тренд на использование разработчиками технологий искусственного интеллекта и тренд на создание приложений на основе искусственного интеллекта.

Они выделили основные тенденции:

Разработчики все чаще используют генеративный ИИ: Все больше разработчиков работают с моделями OpenAI ( 92% ) и с моделями других ИИ-компаний; в 2023 году проекты генеративного ИИ с открытым исходным кодом входят в десятку самых популярных проектов по количеству контрибьюторов.

Наблюдается тренд на работу с облачными приложениями:
Развертывание облаков становится стандартом; резко возросло количество использования разработчиками Docker контейнеров, IaC и других облачных нативных технологий.

В 2023 году на GitHub было создано 98 млн новых проектов (за 2022 год - 85.7 млн, за 2021 - 61 млн, за 2020 - 60 млн). Общее число проектов достигло отметки в 420 млн (+27%), а число публично доступных репозиториев - 284 млн (+22%).

За год добавлено около 65 тысяч новых проектов, связанных с машинным обучением, это на 248% больше, чем в прошлом году. Число AI-проектов за год выросло на 148%.

Аудитория GitHub за год выросла на 20.2 млн пользователей (+26%) и теперь достигает 114 млн (в прошлом году было 20.5 млн, позапрошлом - 73 млн, три года назад - 56 млн). На первом месте по числу разработчиков находится США, на втором - Индия, на третьем - Китай, на четвёртом Бразилия, на пятом - Великобритания, на шестом - РФ, на седьмом Германия. К 2027 году Индия обгонит США как крупнейшее сообщество разработчиков на GitHub

Javascript остается самым популярным язком. Второе место сохраняет за собой Python.Популярность TypeScript выросла на 37 %. и он вытеснил на четвёртое место язык Java. 5, 6 и 7 места удержали за собой языки С#, C++ и PHP. На восьмое место поднялся язык С, который вытеснил на девятое место Shell. Десятое место занял Go.

𝗥𝘂𝘀𝘁 растет быстрее всех остальных языков в этом году (рост на 40 % по сравнению с предыдущим годом).

𝟰.𝟯 миллиона открытых и приватных репозиториев используют 𝗗𝗼𝗰𝗸𝗲𝗿𝗳𝗶𝗹𝗲𝘀. Это является следcтвием роста использования Terraform и других облачных нативных технологий, который мы наблюдали в течение последних нескольких лет.

Сингапур занял первое место по количеству новых разработчиков на душу населения.

Полный отчет
Видео

ai_machinelearning_big_data Открыть/Комментировать

2023-11-24 15:03:35 Российская художница написала картину совместно с Kandinsky

Мария Суворова использовала ИИ для создания картин, уделив особое внимание логическому расположению цвета и тона. Такая методика предполагает установление баланса тона, цвета и динамики, что похоже на очень сложный аналитический процесс.

Суворова говорит, что для работы с Kandinsky нужно соединить два полюса, создавая эскиз по методу Матисса и постепенно дополнять его абстрактным видением.

Плоды ее творчества человека и искусственного интеллекта представила галерея «МастАРТ» на международной конференции AI Journey.

@ai_machinelearning_big_data Открыть/Комментировать

2023-11-22 20:57:15 На AI Journey авторы лучшей статьи про искусственный интеллект получили 1 млн рублей

Сбер наградил группу исследователей из Университета Иннополис и МФТИ в составе Михаила Рудакова, Александра Безносикова, Ярослава Холодова и Александра Гасникова — они получили 1 млн рублей за свою статью «Техники сжатия активаций слоёв и градиентов для распределённого обучения моделей искусственного интеллекта».

Её и еще 37 работ других претендентов опубликуют в научном сборнике международной конференции AI Journey — «Путешествие в мир искусственного интеллекта». Всего для участия в отборе прислали более 270 заявок.

«Лучшую статью члены экспертной комиссии отобрали в силу её высокой научной ценности, огромного фундаментального и прикладного значения. Я поздравляю победителей и надеюсь, что они продолжат свои исследования в этом важном направлении», — рассказал первый заместитель председателя правления Сбера Александр Ведяхин.

@ai_machinelearning_big_data Открыть/Комментировать

2023-07-07 17:01:06 Focused Transformer: Contrastive Training for Context Scaling

LongLLaMA, a large language model capable of handling long contexts of 256k tokens or even more.

LongLLaMA - это большая языковая модель, способная обрабатывать очень длинные тексты (размером 256k токенов и даже больше). Модель основана на OpenLLaMA и доработана с помощью метода фокусированного преобразования (FoT).

Github: https://github.com/cstankonrad/long_llama

Paper: https://arxiv.org/abs/2307.03170v1

Colab: https://colab.research.google.com/github/CStanKonrad/long_llama/blob/main/long_llama_colab.ipynb

Dataset: https://paperswithcode.com/dataset/pg-19

ai_machinelearning_big_data Открыть/Комментировать

2023-07-07 15:01:40 NeurIPS, ICML, ACL, CVPR без PhD

Tinkoff Lab — лаборатория Тинькофф, в которой студенты работают над исследованиями в области технологий искусственного интеллекта.

Студенты Tinkoff Lab проводят эксперименты в области обработки естественного языка (NLP), компьютерного зрения (CV), обучения с подкреплением (RL) и рекомендательных систем (RecSys). По результатам экспериментов они пишут научные работы для наиболее значимых научных конференций: NeurIPS, ICML, ACL, CVPR и других.

vc: https://vc.ru/education/742897 Открыть/Комментировать

2023-07-06 20:02:17 Making ML-powered web games with Transformers.js

The goal of this tutorial is to show you how easy it is to make your own ML-powered web game.

Инструкция с кодом по созданию веб-игры с поддержкой ML в реальном времени, которая запускается полностью в вашем браузере (благодаря Transformers.js).

Github: https://github.com/xenova/doodle-dash

Hugging face: https://huggingface.co/blog/ml-web-games

Code: https://github.com/xenova/doodle-dash

Demo: https://huggingface.co/spaces/Xenova/doodle-dash

Dataset: https://huggingface.co/datasets/Xenova/quickdraw-small

ai_machinelearning_big_data Открыть/Комментировать

2023-07-06 18:00:06 Генерации новой версии Kandinsky неотличимы от реальных фото

Kandinsky — это нейросеть от Сбера, которая генерирует изображения по описанию. Как рассказал зампред правления банка Александр Ведяхин, в ближайшее время в открытом доступе появится новая версия модели. Главные особенности обновления — повышения качества выходящих изображений, появление новых функций и более быстрая обработка запросов.

ai_machinelearning_big_data Открыть/Комментировать

2023-07-06 14:05:02 Hierarchical Open-vocabulary Universal Image Segmentation

Decoupled text-image fusion mechanism and representation learning modules for both "things" and "stuff".

HIPIE - новая модель сегментации и обнаружения изображений, которая способна выполнять задачи сегментации на различных уровнях (объектов, частей объектов и подчастей) и задач в рамках единой структуры, управляемой ествественным языком.

Github: https://github.com/berkeley-hipie/hipie

Paper: https://arxiv.org/abs/2307.00764v1

Project: http://people.eecs.berkeley.edu/~xdwang/projects/HIPIE/

Dataset: https://paperswithcode.com/dataset/pascal-panoptic-parts

ai_machinelearning_big_data Открыть/Комментировать