На РБК вышло интервью с директором по аналитике больших данных | Geeks

На РБК вышло интервью с директором по аналитике больших данных Tele2, которое посвящено этому направлению у мобильного оператора. Из интересного там можно, например, прочитать, что размер кластера с данными у сотового оператора приблизительно достигает десяти петабайт. Уже прошли те времена, когда сбор телеметрических данных пользователей был лишь прерогативой компаний, занимающихся разработкой и поддержкой рекомендательных сервисов. В современном мире любой сервис, в том или ином виде, собирает подобные данные, и это нормально и даже правильно. Надо понимать, что пользователь в ответ получает более качественные рекомендации контента и более предсказуемую работу сервисов. А зачастую это ещё и делает возможным предоставление сервиса по менее высокой цене или вовсе бесплатно.

Также про большие данные надо понимать, что основной коммерческий интерес лежит не в кейсе использования данных конкретного пользователя, а в хранении большого массива обезличенных данных. Так достигается более качественное обучение требуемых моделей. Зачастую данные собираются на опережение, то есть сначала их собирают, а потом уже ищут, зачем массив можно использовать. Так тестируются те или иные гипотезы, чтобы можно было быстро "подчистить" данные и натренировать нужную модель на достаточном их объёме.

В статье делается акцент на том, что у Tele2 данные хранятся обезличенно, то есть без хранения идентификационных данных конкретных людей. Надо полагать, что обезличенность собираемых данных это не только "хороший тон", но скорее даже необходимость, которая позволяет обезопасить как самих пользователей, так и компанию. Получается эдакий дешевый харденинг. Хочется надеяться, что это понимают все большие игроки, ну или поймут, когда к этому придут. Я ностальгически читал у Кушнера про времена, когда Билл Гейтс выступал на презентации Doom в 95м году, а компьютерные игры были тем паровозом, который во многом популяризировал и двигал ИТ. В современном мире таким паровозом прогресса стали аналитика и большие данные, и это случилось отнюдь не вчера.

https://trends.rbc.ru/trends/industry/cmrm/611c26309a794760e2c9927b