Архив: Big Data инженер

Mail.Ru Group
Big Data инженер в Mail.Ru Group

Мы ищем BigData инженера, готового принять активное участие в разработке одного из крупнейших хранилищ группы компании: объемы данных скоро превысят 4,5 петабайт, количество узлов кластера более 150, ежедневный прирост информации составляет 1,5 — 2 Тб.

В хранилище собрана информация большинства ключевых бизнес-юнитов компании, которая описывает поведение пользователей рунета: события посещений сайтов, клики\показы рекламы, использование мобильных приложений, профили соц.сетей пользователя, действия пользователей в соц.сетях и их публичные сообщения и т.д. Все это позволяет составить достаточно полную картину поведения пользователя во всех сервисах mail.ru и строить на полученных данных сложные математические модели.

Какие будут задачи?

  • участие в роли BigData Engineer в проекте построения системы обработки и хранения разнородной информации из различных бизнес-юнитов компании на базе Hadoop (BigData DWH);
  • построение и оптимизация ETL процессов обработки больших данных;
  • поддержка и модификация созданного решения, ответственность за доступность сервиса для внутренних потребителей и корректность предоставляемых для принятия решений данных.

Что нужно знать и уметь?

  • не менее года релевантного опыта работы;
  • опыт работы с большими объемами данных, понимание стека технологий Hadoop, Spark, Hive ;
  • опыт организации ETL процессов обработки данных (плюсом будет знание code-driven ETL Luigi, Airflow);
  • знание классических алгоритмов и структур данных (плюсом будет опыт разработки на Python);
  • ссылки на публичные репозитории, статьи с примерами работы приветствуются.

Какие корпоративные бонусы?

  • проекты большого масштаба: соцсети, почтовые сервисы, киберспорт, портал, игры, электронная коммерция ─ в каждом есть возможность делать жизнь миллионов людей лучше;
  • сложные и интересные задачи: высоконагруженные сервисы, которые задают уровень для конкурентов качеством и технологиями; быстрый рост в трендовых направлениях; амбициозные цели перед каждым проектом;
  • оборудование: мощное железо, дополнительные мониторы, специализированные гаджеты ─ все для решения масштабных задач и экспериментов;
  • команда: работа бок о бок со «звездами» IT-индустрии, каждый из которых может поделиться своей экспертизой;
  • профессиональное развитие: прямо в офисе мы организуем митапы, конференции, встречи разработчиков и тестировщиков, семинары и тренинги, куда открыт доступ каждому сотруднику;
  • новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях;
  • офис в 5 минутах от метро, крытый паркинг для всех сотрудников, велопарковка, а летом ─ прокат велосипедов, лонгбордов и самокатов;
  • здоровье и спорт: программа ДМС доступна с первого месяца работы; для поддержания иммунитета круглый год во фреш-баре овощи и фрукты; собственный тренажерный и спортивный зал в офисе.

Заявка на личную беседу

К сожалению, отклики на эту вакансию уже не принимаются. Возможно, компания нашла подходящего кандидата или позиция потеряла актуальность.