Мы ищем BigData инженера, готового принять активное участие в разработке одного из крупнейших хранилищ группы компании: объемы данных скоро превысят 4,5 петабайт, количество узлов кластера более 150, ежедневный прирост информации составляет 1,5 — 2 Тб.
В хранилище собрана информация большинства ключевых бизнес-юнитов компании, которая описывает поведение пользователей рунета: события посещений сайтов, клики\показы рекламы, использование мобильных приложений, профили соц.сетей пользователя, действия пользователей в соц.сетях и их публичные сообщения и т.д. Все это позволяет составить достаточно полную картину поведения пользователя во всех сервисах mail.ru и строить на полученных данных сложные математические модели.
Какие будут задачи?
- участие в роли BigData Engineer в проекте построения системы обработки и хранения разнородной информации из различных бизнес-юнитов компании на базе Hadoop (BigData DWH);
- построение и оптимизация ETL процессов обработки больших данных;
- поддержка и модификация созданного решения, ответственность за доступность сервиса для внутренних потребителей и корректность предоставляемых для принятия решений данных.
Что нужно знать и уметь?
- не менее года релевантного опыта работы;
- опыт работы с большими объемами данных, понимание стека технологий Hadoop, Spark, Hive ;
- опыт организации ETL процессов обработки данных (плюсом будет знание code-driven ETL Luigi, Airflow);
- знание классических алгоритмов и структур данных (плюсом будет опыт разработки на Python);
- ссылки на публичные репозитории, статьи с примерами работы приветствуются.
Какие корпоративные бонусы?
- проекты большого масштаба: соцсети, почтовые сервисы, киберспорт, портал, игры, электронная коммерция ─ в каждом есть возможность делать жизнь миллионов людей лучше;
- сложные и интересные задачи: высоконагруженные сервисы, которые задают уровень для конкурентов качеством и технологиями; быстрый рост в трендовых направлениях; амбициозные цели перед каждым проектом;
- оборудование: мощное железо, дополнительные мониторы, специализированные гаджеты ─ все для решения масштабных задач и экспериментов;
- команда: работа бок о бок со «звездами» IT-индустрии, каждый из которых может поделиться своей экспертизой;
- профессиональное развитие: прямо в офисе мы организуем митапы, конференции, встречи разработчиков и тестировщиков, семинары и тренинги, куда открыт доступ каждому сотруднику;
- новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях;
- офис в 5 минутах от метро, крытый паркинг для всех сотрудников, велопарковка, а летом ─ прокат велосипедов, лонгбордов и самокатов;
- здоровье и спорт: программа ДМС доступна с первого месяца работы; для поддержания иммунитета круглый год во фреш-баре овощи и фрукты; собственный тренажерный и спортивный зал в офисе.