Hadoop администратор (Big Data)

Big Data – один из ключевых юнитов МТС. Наши технологии применяются практически во всех направлениях компании — маркетинг, обслуживание, планирование сети, HR, розница. Мы знаем о точках концентрации абонентов и их миграциях, планах развития городских агломераций, пользовательском опыте. С помощью Big Data мы планируем сеть базовых станций, определяем места и форматы новых розничных салонов, управляем ассортиментом розничных точек, снижаем фродовые действия и не только. Сегодня Big Data – это: 20 петабайт данных, 5 000 метрик на профиль и 400 увлеченных профессионалов в команде

Команда центра Big Data находится в поиске Hadoop администратора в команду, которая занимается разработкой собственного дистрибутива и поддержкой кластеров Hadoop

Стек

Hadoop, Hortonworks, Cloudera, Hive, HDFS, Spark, Kafka, Arenadata

Требования, необходимые навыки

Обязательно:

• Опыт работы с Hadoop кластерами (разворачивание, тюнинг, конфигурирования, траблшутинг)
• Опыт работы с Kubernetes
• Опыт построения CI\CD pipeline (Jenkins или GitLab CI)
• Опыт работы с системами управления конфигурациями и деплоя (мы используем ansible)
• Понимание работы JVM
• Хорошее знание SQL
• Английский язык на уровне свободного чтения технической документации

Желательно:

• знание принципов работы Kerberos
• знание принципов работы сети и виртуализации
• знание языков Python, GoLang, Java
• опыт работы с rest api
• опыт работы с ELK

Задачи

• Разработка собственного дистрибутива Hadoop, замена HDP и CDH
• Обеспечение CI/DI процессами всех компонентов дистрибутива
• Эксплуатация кластеров для работы с большими данными (стек: Hadoop, Hbase, Hive, Spark, Ozone, Kafka)
• Разработка инструментов для автоматизации и мониторинга
• Участие в разработке собственной платформы для работы с большими данными

Условия работы

• График работы: плавающее начало рабочего дня, гибридный график (или возможность работать из дома)
• Условия и бонусы: ДМС, куда включены: стоматология, страхование жизни и страховка при поездках за рубеж
• Десятки курсов и тренингов в Корпоративном университете МТС, «Coursera» и Собственная виртуальная библиотека
• Корпоративный психолог и карьерный коуч
• Спорт: компенсация фитнес абонемента, бассейна, скидка в «Alex fitness», «Spirit fitness», «World class» и др
• Бесплатная сотовая связь, выгодные тарифы для ваших близких, промокод на онлайн-кинотеатр KION и бесплатная подписка на МТС Premium
• Программа performance-review