Мы ищем DevOps инженера, готового принять активное участие в эксплуатации одного из крупнейших хранилищ группы компании, где собрана информация большинства ключевых бизнес-юнитов компании. Накопленная информация позволяет составить достаточно полную картину поведения пользователя во всех сервисах mail.ru и строить на полученных данных сложные математические модели.
Что известно про команду?
Команда DWH агрегирует в себе накопленную экспертизу и лучшие практики компании в области построения хранилищ данных и аналитических приложений. Мы превращаем информационный хаос в четко организованную систему, которая собирает, обрабатывает и анализирует любые объёмы данных.
В нашей команде убеждены, что системы хранилищ данных должны упрощать работу людей — автоматизировать рутинные задачи, собирать и анализировать сырые данные, подготавливать почву для удобного и аргументированного принятия решений.
Мы ищем специалистов, которые готовы активно участвовать в разработке одного из крупнейших хранилищ группы компании: объемы данных скоро превысят 4,5 петабайт, количество узлов кластера более 150, ежедневный прирост информации составляет 1,5 — 2 Тб. В хранилище собрана информация большинства ключевых бизнес-юнитов компании. Она описывает поведение пользователей рунета: события посещений сайтов, клики\показы рекламы, использование мобильных приложений, профили и действия пользователей в соц.сетях, их публичные сообщения и т.д. Все это позволяет составлять полную картину поведения пользователя во всех сервисах Mail.Ru Group и строить на полученных данных сложные математические модели.
Чем нужно будет заниматься?
- эксплуатацией DWH-инфраструктуры на базе Apache Hadoop;
- разработкой и внедрением инфраструктурных сервисов;
- разработкой и внедрением систем мониторинга сервисов и данных;
- автоматизацией процессов CI/CD.
Какие требования к соискателям?
- опыт администрирования Linux (CentOS 7) от 3-х лет;
- опыт администрирования Apache Hadoop и компонентов (ZooKeeper, Kafka, Hive, Spark…)
- уверенное владение git, bash, Python
- опыт работы со средствами автоматизации сборки/доставки/тестирования: RPM, Jenkins, GitLab CI;
- опыт использования/администрирования: Puppet, Nginx, MySQL, PostgreSQL, Docker;
- коммуникабельность.
Что будет плюсом к кандидатуре?
- опыт разработки на Python, Go, Java, Lua;
- владение современными инструментами как ClickHouse, Apache Airflow, Prometheus, Kubernetes;
- опыт работы системным архитектором.
Какие корпоративные преимущества?
- проекты большого масштаба: соцсети, почтовые сервисы, киберспорт, портал, игры, электронная коммерция ─ в каждом есть возможность делать жизнь миллионов людей лучше;
- сложные и интересные задачи: высоконагруженные сервисы, которые задают уровень для конкурентов качеством и технологиями; быстрый рост в трендовых направлениях; амбициозные цели перед каждым проектом;
- оборудование: мощное железо, дополнительные мониторы, специализированные гаджеты ─ все для решения масштабных задач и экспериментов;
- команда: работа бок о бок со «звездами» IT-индустрии, каждый из которых может поделиться своей экспертизой;
- профессиональное развитие: прямо в офисе мы организуем митапы, конференции, встречи разработчиков и тестировщиков, семинары и тренинги, куда открыт доступ каждому сотруднику;
- новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях;
- офис в 5 минутах от метро, крытый паркинг для всех сотрудников, велопарковка, а летом ─ прокат велосипедов, лонгбордов и самокатов;
- здоровье и спорт: программа ДМС доступна с первого месяца работы; для поддержания иммунитета круглый год во фреш-баре овощи и фрукты; собственный тренажерный и спортивный зал в офисе.