Написать пост
МТС

Hadoop администратор (Big Data)

По итогам собеседованияFull-time, Опыт от 1 до 3 лет, Москва, Можно удалённо

Big Data – один из ключевых юнитов МТС. Наши технологии применяются практически во всех направлениях компании — маркетинг, обслуживание, планирование сети, HR, розница. Мы знаем о точках концентрации абонентов и их миграциях, планах развития городских агломераций, пользовательском опыте. С помощью Big Data мы планируем сеть базовых станций, определяем места и форматы новых розничных салонов, управляем ассортиментом розничных точек, снижаем фродовые действия и не только. Сегодня Big Data – это: 20 петабайт данных, 5 000 метрик на профиль и 400 увлеченных профессионалов в команде

Команда центра Big Data находится в поиске Hadoop администратора в команду, которая занимается разработкой собственного дистрибутива и поддержкой кластеров Hadoop

Стек

Hadoop, Hortonworks, Cloudera, Hive, HDFS, Spark, Kafka, Arenadata

Требования, необходимые навыки

Обязательно:

  • Опыт работы с Hadoop кластерами (разворачивание, тюнинг, конфигурирования, траблшутинг)
  • Опыт работы с Kubernetes
  • Опыт построения CI\CD pipeline (Jenkins или GitLab CI)
  • Опыт работы с системами управления конфигурациями и деплоя (мы используем ansible)
  • Понимание работы JVM
  • Хорошее знание SQL
  • Английский язык на уровне свободного чтения технической документации

Желательно:

  • знание принципов работы Kerberos
  • знание принципов работы сети и виртуализации
  • знание языков Python, GoLang, Java
  • опыт работы с rest api
  • опыт работы с ELK

Задачи

  • Разработка собственного дистрибутива Hadoop, замена HDP и CDH
  • Обеспечение CI/DI процессами всех компонентов дистрибутива
  • Эксплуатация кластеров для работы с большими данными (стек: Hadoop, Hbase, Hive, Spark, Ozone, Kafka)
  • Разработка инструментов для автоматизации и мониторинга
  • Участие в разработке собственной платформы для работы с большими данными

Условия работы

  • График работы: плавающее начало рабочего дня, гибридный график (или возможность работать из дома)
  • Условия и бонусы: ДМС, куда включены: стоматология, страхование жизни и страховка при поездках за рубеж
  • Десятки курсов и тренингов в Корпоративном университете МТС, «Coursera» и Собственная виртуальная библиотека
  • Корпоративный психолог и карьерный коуч
  • Спорт: компенсация фитнес абонемента, бассейна, скидка в «Alex fitness», «Spirit fitness», «World class» и др
  • Бесплатная сотовая связь, выгодные тарифы для ваших близких, промокод на онлайн-кинотеатр KION и бесплатная подписка на МТС Premium
  • Программа performance-review