Техлид (старший разработчик) ядра Spark over YT Мы работаем | Яндекс нанимает разработчиков

Техлид (старший разработчик) ядра Spark over YT

Мы работаем над Spark-over-YT — результатом интеграции Apache Spark и YT. YT — основная платформа для аналитики и построения batch-процессов в Яндексе, которая включает несколько видов хранилищ, планировщик ресурсов и встроенный MapReduce-движок. Apache Spark — популярный открытый фреймворк для распределённой обработки больших данных. Ищем сильного разработчика, которому интересно заниматься распределёнными системами и инфраструктурой обработки больших данных.

Наш стек:
• Spark Core на Scala
• YT на C++
• клиентские библиотеки на Java и Python

Что нужно делать:
• дорабатывать Spark Core для наших нужд, внедрять свой код в upstream, следить за новыми версиями
• разрабатывать новые функции на стыке Spark и YT
• консультировать пользователей, устранять баги
• рассказывать о своих успехах на конференциях

Мы ждём, что вы:
• уверенно пишете на Scala или Java не меньше трёх лет
• готовы учить другие языки
• понимаете принципы обработки больших данных, парадигму MapReduce и её наследников

Будет плюсом, если вы:
• работали с Apache Spark
• знаете C++ или Python
• хорошо знаете Hadoop Stack (особенно HDFS, YARN)

Откликайтесь на вакансию на нашем сайте

#инфраструктура #java #scala #cloud