Получи случайную криптовалюту за регистрацию!

Spark in me

Логотип телеграм канала @snakers4 — Spark in me S
Логотип телеграм канала @snakers4 — Spark in me
Адрес канала: @snakers4
Категории: Технологии
Язык: Русский
Количество подписчиков: 2.68K
Описание канала:

Lost like tears in rain. DS, ML, a bit of philosophy and math. No bs or ads.

Рейтинги и Отзывы

2.50

2 отзыва

Оценить канал snakers4 и оставить отзыв — могут только зарегестрированные пользователи. Все отзывы проходят модерацию.

5 звезд

0

4 звезд

0

3 звезд

1

2 звезд

1

1 звезд

0


Последние сообщения 4

2022-06-22 09:45:10 Telegram Voice-to-Text

Tested the Telegram STT Premium feature and compared it with our @silero_audio_bot, it is surprisingly decent. I have no idea which engine they use, but:

- It seems to have at least 2 languages (I tried to speak Russian, English, German and Spanish, it picked up only Russian and English);

- The pipeline seems to be - language classifier + STT;

- It works only with voice recordings, not audio files in general. I.e. it avoids the huge pain in the ass we had to endure to parse audio and check MIME tags vs extensions vs actual codecs used;

- It is 2-3x slower than our bot on average (a 30s file was processing by us in 4-5s, theirs took 10-12s), but it also supports some form of hash based caching (the same message is processed instantly);

- It boasts some recasing and repunctuation model, but on anecdotal tests it performed worse, probably due to lack of polish in their pipeline;

- As for quality - it is subjective, I ran some anecdotal tests on funny / difficult / purposefully misleading or made up phrases, and it is decent, though I believe that our models are still better;

- Yeah ... and the elephant in the room - it should be manually triggered on each message and it is hidden behind a paywall for premium users;
560 viewsAlexander, 06:45
Открыть/Комментировать
2022-06-21 13:07:17 DALL-E Mini Explained with Demo

Tech report:

- Financed by Google Cloud and HF, essentially an advertising campaign for JAX, 8 person team
- 27x smaller than the original, trained on a single TPU v3-8 for only 3 days + ~3 weeks for experiments, 400M params
- 30m image-text pairs, only 2m used to fine-tune the VQGAN encoder
- Could use preemptible TPU instances
- Pre-trained BART Encoder
- Pre-trained VQGAN encoder
- Pre-trained CLIP is used to select the best generated images
- (so the actual cost probably is actually ~1-2 orders of magnitude higher)
- (compare with 20k GPU days stipulated by Sber)
- The report is expertly written and easy to read
3.7K viewsAlexander, edited  10:07
Открыть/Комментировать
2022-06-21 12:26:12 DALL-E Mini

Did not read the technical report yet, but I am kind of impressed.

Takes dozens of attempts to generate something decent, takes only a couple of minutes (w a GPU?), compared to 30m on GPU for a Sber's DALL-E.

Cannot really say that it is much better than GANS in 2018-2019, but this is in the wild and it clearly memorized the famous photos.
527 viewsAlexander, edited  09:26
Открыть/Комментировать
2022-06-20 10:17:51 Plz upvote, if you have a HN account:

- https://news.ycombinator.com/item?id=31807201
594 viewsAlexander, 07:17
Открыть/Комментировать
2022-06-15 06:50:11 The Cat is on the Mat

Interesting approach to be combined with Ngram embeddings when span boundaries are fuzzy.

I guess can be used downstream with existing sentence parsers.

Such models can be rough and dirty, cheap to train and robust.

- https://explosion.ai/blog/spancat
3.7K viewsAlexander, 03:50
Открыть/Комментировать
2022-06-13 12:54:39 Разруха не в клозетах, или чтобы стать крылатым нужно стремление к полету

Репостил тут недавно вот статью про полезный русский BERT. И ... будучи выше на голову, чем прошлая такая же статья автора она набрала на Хабре +20. Хм.

Недавно Хабр объявил итоги своего очередного конкурса статей ... и в номинации ML они отдали приз статье-реферату. Это распрекрасный и полезный реферат, но если бы отдали свой "приз" статье-переводу на тему очередного хайпа, было бы еще показательнее.

Не то чтобы раньше у нас или у меня были прямо идеальные статьи-кандидаты (именно про ML они выбирали годные, но неконструктивные статьи и раньше), но в 2021 году нас была статья-единорог, набравшая +205 с 45к просмотрами.

И естественно там есть еще парочка конструктивных статей в этой категории (где люди сами что-то сделали своими руками) ... но по состоянию на сейчас Хабр естественно уже удалил эту страницу (https://habr.com/ru/technotext/ml/).

И тут мы приходим к основной идее этого поста. Показывать людям, что они могут - опасно. Надо гасить весь конструктивизм и поддерживать пустые вскрики. Нужно топить за карго-культ и максимально кричащие и бессмысленные заголовки.

Вам это ничего и никого не напоминает?
450 viewsAlexander, 09:54
Открыть/Комментировать
2022-06-10 12:08:24 A More Realistic Piece on AV

AV companies, in general line with typical western marketing, have employed many dirty tricks trying to justify their bloated forecasts (e.g. purchasing scripted non-critical coverage from influencers).

This is the first down to earth AV experience I have seen shared:

https://rodneybrooks.com/no-front-seat-occupants-adventures-in-autonomous-ride-services

Tldr:

- Works in a limited area in SF, avoids busy zones, ~50% of its area
- Works only during low traffic hours (10:30pm to 5:00am)
- The rides must originate and terminate in SF
- Avoids bad weather
- "quite a bit of heavy braking, and at one point a car behind us also had to brake heavily to avoid hitting us"

Please read in full.
633 viewsAlexander, edited  09:08
Открыть/Комментировать
2022-06-08 18:23:57 https://github.blog/2022-06-08-sunsetting-atom/

Because give us more of your data, quick! xD
367 viewsAlexander, edited  15:23
Открыть/Комментировать
2022-06-08 00:18:54 Я долго ходил вокруг jax-а, что-то про него читал и смотрел, но наконец-то более-менее добрался и полноценно потыкал. Мне понравилось, но я подумал, что в продакшн его запускать рановато и написал про это.

#Миша #тулинг
521 viewsAlexander, 21:18
Открыть/Комментировать
2022-06-08 00:15:42 Теперь хоть кто-то пояснил зачем нужен jax
570 viewsAlexander, 21:15
Открыть/Комментировать