Инжиниринг Данных

2021-02-24 08:36:31 В игровой индустрии есть термин - “The Door Problem”. Идея простоя, допустим вы хотите в игре добавить дверь. Звучит просто, но по факту получается это очень нетривиальная задача. У каждого будет свое понятие двери, ее функциональности и внешнего вида. Это очень хорошо ложится на кейсы аналитики.

Вот примеры вопросов из разряда Door problem из блога выше:
Creative Director: “Yes, we definitely need doors in this game.”
Project Manager: “I’ll put time on the schedule for people to make doors.”
Designer: “I wrote a doc explaining what we need doors to do.”
Concept Artist: “I made some gorgeous paintings of doors.”
Art Director: “This third painting is exactly the style of doors we need.”
Environment Artist: “I took this painting of a door and made it into an object in the game.”
Animator: “I made the door open and close.”
Sound Designer: “I made the sounds the door creates when it opens and closes.”
Audio Engineer: “The sound of the door opening and closing will change based on where the player is and what direction they are facing.”
Composer: “I created a theme song for the door.”
FX Artist: “I added some cool sparks to the door when it opens.”
Writer: “When the door opens, the player will say, ‘Hey look! The door opened!’ “
Lighter: “There is a bright red light over the door when it’s locked, and a green one when it’s opened.”
Legal: “The environment artist put a Starbucks logo on the door. You need to remove that if you don’t want to be sued.”
Character Artist: “I don’t really care about this door until it can start wearing hats.”
Gameplay Programmer: “This door asset now opens and closes based on proximity to the player. It can also be locked and unlocked through script.”
AI Programmer: “Enemies and allies now know if a door is there and whether they can go through it.”
Network Programmer: “Do all the players need to see the door open at the same time?”
Release Engineer: “You need to get your doors in by 3pm if you want them on the disk.”
Core Engine Programmer: “I have optimized the code to allow up to 1024 doors in the game.”
Tools Programmer: “I made it even easier for you to place doors.”
Level Designer: “I put the door in my level and locked it. After an event, I unlocked it.”
UI Designer: “There’s now an objective marker on the door, and it has its own icon on the map.”
Combat Designer: “Enemies will spawn behind doors, and lay cover fire as their allies enter the room. Unless the player is looking inside the door in which case they will spawn behind a different door.”
Systems Designer: “A level 4 player earns 148xp for opening this door at the cost of 3 gold.”
Monetization Designer: “We could charge the player $.99 to open the door now, or wait 24 hours for it to open automatically.”
QA Tester: “I walked to the door. I ran to the door. I jumped at the door. I stood in the doorway until it closed. I saved and reloaded and walked to the door. I died and reloaded then walked to the door. I threw grenades at the door.”
UX / Usability Researcher: “I found some people on Craigslist to go through the door so we could see what problems crop up.”
Localization: “Door. Puerta. Porta. Porte. Tür. Dør. Deur. Drzwi. Drws. 문”
Producer: “Do we need to give everyone those doors or can we save them for a pre-order bonus?”
Publisher: “Those doors are really going to help this game stand out during the fall line-up.”
CEO: “I want you all to know how much I appreciate the time and effort put into making those doors.”
PR: “To all our fans, you’re going to go crazy over our next reveal #gamedev #doors #nextgen #retweet”
Community Manager: “I let the fans know that their concerns about doors will be addressed in the upcoming patch.”
Customer Support: “A player contacted us, confused about doors. I gave them detailed instructions on how to use them.”
Player: “I totally didn’t even notice a door there.” Открыть/Комментировать

2021-02-24 02:28:10 Знакомый data engineer написал блог про интеграцию Tableau и SageMaker (сервис AWS для ML). Открыть/Комментировать

2021-02-23 22:00:11 Открыть/Комментировать

2021-02-23 21:45:45 Сейчас проходим Microsoft Gaming Research Summit (внутренний ивент). Я посмотрел несколько сессий, и мне очень понравились истории про создание игровых миров например Minecraft (Incredible Minecraft build in timelapse) или Microsoft Flight Simulator.

Microsoft Flight Simulator - это шедевр с точки зрения инженерии. Это реальный пример синергии. Bing maps - сервис карт Microsoft, накопил огромное кол-во данных (петабайтов), но все они 2D. С помощью стартапа BlackShark AI - они смогли построить deeplearning model, которая воссоздает дома в 3D, и это не просто статические картинки как у Google Bird Eye, тут они выглядят очень реалистично. Помимо это, они воссоздают погоду, турбулентность и множество других реальных вещей. И все это с помощью сотен виртуальных машин Azure. Таким образом, это не просто игра, но это стимулятор, который может помогать тренировать пилотов и автопилот для самолетов.

В целом, в играх очень много AI, есть множество базовых задач, есть задачки посложней. К нам недавно пришел Principal ML engineer, который перешел из Microsoft Research. Будет интересно с ними работать и смотреть какие данные они буду использовать из платформы, которую нужно будет для них создать. Открыть/Комментировать

2021-02-23 21:27:44 Все так, +5 дней к отпуску Открыть/Комментировать

2021-02-23 07:34:45 Очень интересный канал про то, как данные и технологии помогают городам стать удобнее для жизни, а так же обзоры и ссылки на интересные проекты, анонсы мероприятий и лекций.

https://t.me/urbandata Открыть/Комментировать

2021-02-23 06:52:35 Cloud очень сильно развивается и создает новые возможности и вакансии. Много интересных вакансий помимо аналитики попадают в категорию Security и DevOps Открыть/Комментировать

2021-02-22 22:35:45 Модуль 7 будет про Apache Spark и Databricks. С удовольствием послушаем вебинары про Spark, Huidi, Delta Lake и Iceberg. Форма вебинаров в шапке! Открыть/Комментировать

2021-02-22 22:30:05 Открыть/Комментировать

2021-02-22 12:00:06 Netflix рассказывает про Data-mesh

Netflix processes trillions of events and petabytes of data a day in the Keystone data pipeline, which is built on top of Apache Flink. As Netflix has scaled up original productions annually enjoyed by more than 150 million global members, data integration across the streaming service and the studio has become a priority. Scalably integrating data across hundreds of different data stores in a way that enables us to holistically optimize cost, performance and operational concerns presented a significant challenge. Learn how we expanded the scope of the Keystone pipeline into the Netflix Data Mesh, our real-time, general-purpose, data transportation platform for moving data between Netflix systems. The Keystone Platform’s unique approach to declarative configuration and schema evolution, as well as our approach to unifying batch and streaming data and processing will be covered in depth. Открыть/Комментировать