Пристанище Дата Сайентиста

2021-01-18 15:08:34 Всем привет. Верю в силу участников канала.

Поделитесь пожалуйста списком блогов/ сайтов на которых вы читаете статьи, посты о Data Science, Data Analytics и Data Engineering.

Можно тут в комментах или мне в личку @alimbekovkz Открыть/Комментировать

2021-01-17 19:10:12 ​​Наша команда разработала и зашарила модель для сегментации легких на рентгене. Вы можете использовать её в своих проектах. Мы использовали unet с разными backbones. Веб часть реализована на streamlit. Открыть/Комментировать

2021-01-14 16:00:49 ​​#полезно

Computer Vision Leaderboard

Классный репозиторий который помогает быть в курсе последних достижений (SoTA) по каждой задаче компьютерного зрения и новым архитектурам CNN. На сайте можно сразу увидеть сравнение известных моделей CNN (производительность, скорость, размер и т. д.) Отдельный большой плюс, что есть ссылки на реализацию моделей на PyTorch, TF, Keras и Caffe.

Из минусов - давненько не обнавляли модели на лидерборде. Открыть/Комментировать

2021-01-12 16:02:35 ​​#library #pytorch

Поиск оптимального learning rate PyTorch

В fastai реализован тест диапазона для поиска оптимального learning rate. Хочу рассказать вам о библиотеке для PyTroch, которая является имплементацией пейпера Cyclical Learning Rates for Training Neural Networks by Leslie N. Smith и так же содержит измененую версию как в fastai.

Во время предтренировочного прогона learning rate увеличивается линейно или экспоненциально между двумя границами. Как правило, хорошую скорость статического обучения можно найти на полпути нисходящей кривой потерь. На графике ниже это будет lr = 0,002.

Установка:
pip install torch-lr-finder

Использование изменной версии как в fastai:
from torch_lr_finder import LRFinder
model = ...
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=1e-7, weight_decay=1e-2)
lr_finder = LRFinder(model, optimizer, criterion, device="cuda")
lr_finder.range_test(trainloader, end_lr=100, num_iter=100)
lr_finder.plot()
lr_finder.reset()

Использование изменной версии как в пейпере:
from torch_lr_finder import LRFinder
model = ...
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.1, weight_decay=1e-2)
lr_finder = LRFinder(model, optimizer, criterion, device="cuda")
lr_finder.range_test(trainloader, val_loader=val_loader, end_lr=1, num_iter=100, step_mode="linear")
lr_finder.plot(log_lr=False)
lr_finder.reset() Открыть/Комментировать

2021-01-10 14:12:10 Пристанище Дата Сайентиста pinned «Всем привет! Я решил вернуться к standalone блогу. На выходных и во время праздников я сваял https://alimbekov.com куда и буду писать обучалки и практические советы по Data Science и Machine Learning. Я перенес все статьи из медиума, новые будут публиковаться…» Открыть/Комментировать

2021-01-10 14:12:10 Всем привет! Я решил вернуться к standalone блогу. На выходных и во время праздников я сваял https://alimbekov.com куда и буду писать обучалки и практические советы по Data Science и Machine Learning.

Я перенес все статьи из медиума, новые будут публиковаться только в этом блоге.

Standalone блог дает больше свободы и защищен от возможных блокировок, так как блокировали medium. К тому же у medium довольно агрессивная монетизация, что меня тоже беспокоит. Не говоря уже о том, что на medium нет подходящего инструмента для публикации кода.

Скоро будут будут новые статьи про production Открыть/Комментировать

2021-01-07 16:00:09 ​​#library

Rich - это библиотека Python для форматированного текста и красивого форматирования в терминале

Rich API упрощает добавление цвета и стиля к выводу терминала. Rich также может отображать красивые таблицы, индикаторы выполнения, трассировки и многое другое - прямо из коробки.

Установка:
pip install rich
python -m rich

Так же можно использовать Rich в Jupyter notebooks.

Отдельная крутая возможность это использовать Rich для форматирование текста, для модуя logger.

Вот пример кода:
import logging
from rich.logging import RichHandler
FORMAT = "%(message)s"
logging.basicConfig(
level="NOTSET", format=FORMAT, datefmt="[%X]", handlers=[RichHandler()]
)
log = logging.getLogger("rich")
log.info("Hello, World!")
log.error("[bold red blink]Server is shutting down![/]", extra={"markup": True}) Открыть/Комментировать

2021-01-05 16:01:05 ​​SegLoss - коллекция Loss функций на Pytorch для задач сегментации изображений

Если вы работаете с задачами сегментации изображений, тот тут для вас собрана PyTorch реализация часто используемых Loss функций именно для этих задач. Открыть/Комментировать

2020-12-29 16:00:32 ​​imagededup - библиотека, которая упрощает задачу поиска точных и близких дубликатов в наборе изображений

Если вы работаете с изображениями, то задача поиска дубликатов в вашем датасете изображений важная составляющая. imagededup располагает большим числом методов для поиска дубликатов:
Convolutional Neural Network (CNN)
Perceptual hashing (PHash)
Difference hashing (DHash)
Wavelet hashing (WHash)
Average hashing (AHash)

Установка:
pip install imagededup

Применение:
# Импортируем perceptual hashing метод
from imagededup.methods import PHash
phasher = PHash()

# Создадим хэши для всех изображений в папке
encodings = phasher.encode_images(image_dir='images/')

# Найдем дубликаты, использую хэш
duplicates = phasher.find_duplicates(encoding_map=encodings)

# Посмотрим на дубли
from imagededup.utils import plot_duplicates
plot_duplicates(image_dir='images/',
duplicate_map=duplicates,
filename='cityscape-dark-fantasy-fantasy-art-fantasy-city-wallpaper-preview.jpg') Открыть/Комментировать

2020-12-29 14:58:22 ​​С наступающим! Каналу меньше года, но у нас уже есть крутая статистика за которую спасибо команде @TGStat_Bot Открыть/Комментировать