Spark in me

2022-05-27 15:24:58 CoCa: Contrastive Captioners are Image-Text Foundation Models

Looks like Google is dead set on developing a production grade dual Image-Text encoder / captioning model:

we unify single-encoder, dual-encoder and encoder-decoder paradigms, and train one image-text foundation model that subsumes the capabilities of all three approaches

The idea of using all of the available noisy data and approaches and creatively sharing the compute is a good pattern, unless you read this line:

Pretraining CoCa takes about 5 days on 2,048 CloudTPUv4 chips

Research and compute siloing, of course, but the pattern itself is nice.

#deep_learing Открыть/Комментировать

2022-05-25 10:09:07 Stupid Hack for Single PyTorch Layer Quantization

Kind of.

Quantization and model packing with PyTorch and ONNX are in a weird state right now.

On one hand, everything just works for most cases for PyTorch (there are competing and unstable new APIs, but that was to be expected).

For ONNX, it also just works, but adding a single "if" to the model proved to be a challenge, forget about more complex logic. To expose or not to expose (and how to obfuscate) some logic into external wrapper utilities is a design decision (also out of scope for this short post).

The problem is, the pre-packaged versions of PyTorch do not work properly with quantized models on older CPUs (1, 2 + literally dozens of similar questions in telegram chats). Typically people report having a "10 year old laptop" with some old Intel CPU or something similar.

Of course, no one would tweak or rebuild anything. So, unless a TTS model for example is fully quantized (or somehow cleverly packaged into ONNX) it does not make sense to quantize some parts of the model or expose some logic outside of jit / pt packages even if it reduces package size significantly.

But there is a third solution. If there is a single large layer / module (e.g. nn.Embedding - the best candidate) there is a dirty hack:

- Do not quantize the model;
- Quantize the weight matrix manually;
- Save the checkpoint with int8 weights;
- Store scale and zero_point separately;
- On loading, just convert int8 into float32 manually;

(Basically the same approach as dynamic quantization).

Your mileage may vary, but basic conversions is as follows:

qmax = 127
qmin = -128
scale = (weight.max() - weight.min()) / (qmax - qmin)
zero_point = qmin - weight.min() / scale

Obviously we tried going below int8, but the dynamic range for nn.Embedding was somewhere around 2**6, so we decided not to.

If this faces some further real world hurdles, I will provide an update.

#deep_learing Открыть/Комментировать

2022-05-12 10:56:45 Google NMT for Next 1000 Languages

Google ... to create NMT for next 1000 languages w/o labels - https://ai.googleblog.com/2022/05/24-new-languages-google-translate.html

Unlike similar papers from FAIR that I saw, at least in principle, their approach is kind of simple and engineering driven.

Most likely the key omitted detail is huge / infrastructure compute used.

I wonder why such sudden interest to these particular regions ... India / Africa / Asia Открыть/Комментировать

2022-05-11 20:13:28 Elbrus CPU Review

Cannot tell if this video is true to life:

-



Anyone knowledgeable in CPU design, please help

Tldr, still 2-3x slower than similarly sized 5nm CPUs on non-optimized C++ code, but it works, which is a miracle.

On optimized code it can be 10x faster, but there is very little such code.

Java and Python are obviously not supported. Открыть/Комментировать

2022-05-09 12:01:33 Пора ли уже проводить денацификацию в России?

Ложка дегтя в праздник.

Недавно было два публичных фиаско у Яндекса. Первое - массовый слив данных доставки сотрудником Яндекса. Второе было вот это (печальная история Ильи из Яндекса).

Но к чему это? Проблема-то системная. Разруха, как говорится, не в клозетах, а в умах.

Мы опубликовали видео с Юрием Алексеевичем на нескольких ресурсах, где обычно заходят посты на тематику ML:

- На Пикабу
- В телеге (буквально постом выше)
- На Хабре

И что вы думаете, статья на Хабре сразу набрала +11, но Хабр ее забанил ... без объяснения причин.

Неудивительно, я недавно спрашивал их саппорт и они отвечали мне следующими перлами:

Хабр читают люди из разных уголков мира, у которых разные ассоциации и с Победой, и с СССР, и даже с Юрием Алексеевичем. Поэтому мы рекомендуем отказаться от провокации этих ассоциаций.

...

Это не столько позиция, сколько обобщенные результаты наблюдений. Модераторам каждый день приходится устранять десятки нарушений, спровоцированных, казалось бы, безобидными ассоциациями.

Стоп ... но с Победой и Юрием другие ассоциации ведь всем понятно у кого? А Хабр работает по российским законам и получает 100% выручки в РФ.

Но почему-то модераторы Хабра ... своими действиями поддерживают именно этих людей и намекают, что надо бы ассоциации забыть или перепрошить, или по крайней мере не напоминать.

Понятно, что на УК РФ 354.1 это наверное не тянет (для этого нужна более активная "позиция"), но осадочек остается очень и очень неприятный.

Причем, посмотрите видео, оно максимально "белое и пушистое", за все светлое и чистое, никого ни к чему не призывает (да, почему-то кому-то можно везде всех призывать, а нам типа всегда нельзя).

Короче, товарищи. Если вам даже так, мерзко, вяло и на пол-шишечки, запрещают помнить и гордиться своей историей - задумывайтесь, анализируйте информацию и делайте выводы.

И да, максимальный репост. Спасибо! Открыть/Комментировать

2022-05-09 08:42:17 Поздравление с Днем Победы 9 мая 2022 года от Юрия Гагарина

- Текст поздравления доступен по ссылке
- The English translation is available here

С Днем Великой Победы над фашизмом! Открыть/Комментировать