2023-05-18 13:48:22
Прочитал блогпост Coinbase: Scaling Experimentation for Machine Learning at Coinbase. Хорошо, что я больше не работаю в Blockchain.com, иначе бы сказали, что ругаю конкурента, но блог пост позорный, уровень информативности и нововведений практически нулевой. Настолько, что мне даже нужна помощь, может быть я просто что-то пропустил или не понял? Но начальное заявление : we've built a
uniquely elegant approach that combines universes with simple configurations for our ML engines
Не бьется с тем что дальше рассказывают - неслыханное дело, дошли до такой истории как бакеты и что самое смешное, чуваки даже не знают про пересолку:
Hashing in a universe is quite similar to hashing in a split test, using the following formula:
slot_num = hash(universe_name + universe_version + user_id) % num_slots
However, one important aspect to consider is that universe hashing remains consistent over time. This means that historical tests might have a slight influence on the results of future tests. For instance, if a test in slot 1 performs poorly and causes all new users to stop using the app, future tests in that slot could be negatively affected.
To address this issue, we use the "
universe version" to allow for rehashing the entire universe when no experiments are running. We've also explored a more advanced technique called "hashing on demand." In this approach, creating a new slot pulls a user group randomly from the entire unused user space rather than from a pre-allocated space. When the slot is emptied, the user group is then returned to the unused user space.
В свое время с @opaOz в Яндексе пересаливаемый конвеер на 1000 бакетов занял у нас целую неделю на имплементацию (вместе с дизайном) и делали сколько угодно экспов в месяц.
На мега платформе coinbase теперь могут гонять до 14 экспериментов в месяц! (пиковое значение)
Еще как мне кажется, чуваки не используют разные слои, хотя на слайде есть Function layer - в тексте про это ни слова
В целом понятно, написали потому что нужно промо, но если я вдруг что-то пропустил, напишите в комментах как я не прав
14.8K views10:48
В
