ETL-разработчик

Мы ищем ETL-разработчика, который займется построением аналитического хранилища для одного из e-commerce бизнес-юнитов холдинга. Мы ожидаем, что ETL-разработчик примет активное учатие в построении процессов потребления данных на всех этапах их трансформации от собранных сырых данных до монетизации полученных знаний.

Чем занимается команда?

Команда DWH агрегирует в себе накопленную экспертизу и лучшие практики холдинга в области построения хранилищ данных и аналитических приложений. Мы превращаем информационный хаос в четко организованную систему, которая позволяет собирать, обрабатывать и анализировать любые объемы данных. В нашей команде убеждены, что системы хранилищ данных должны максимально помогать людям — автоматизировать рутинные задачи, собирать и анализировать сырые данные, подготавливать почву для удобного и аргументированного принятия решений.

Какой стек технологий?

• Database Systems: MySQL, Tarantool, ClickHouse, GreenPlum;
• Hadoop: Hive, Spark, MapReduce, Kafka, HBase;
• DataFlow/ETL: Luigi, Airflow, Jenkins;
• Business Inteligence: Tableau, QlikView, Redash, SuperSet;
• Continuous Integration: Jenkins, GitLab CI;
• IssueTracking/KnwoledgeBase : Jira, Confluence;
• Monitoring: Sentry, Graphite, Grafana, Prometheus, Telegraf.

Чем нужно будет заниматься?

• участвовать в роли ETL-разработчика в проекте построения системы обработки и хранения разнородной информации одного из e-commerce бизнес-юнитов холдинга;
• исследовать большой объем необработанных данных, накопленных в бизнес-юните, работать с потребителями этих данных, уметь слушать и слышать их проблемы, предлагать способы решения и аргументировать их;
• построением и оптимизацией нетривиальных ETL процессов обработки данных, участвовать в построении процессов потребления данных на всех этапах, их трансформации от появления информации в конкретном бизнес-юните до монетизации полученных знаний;
• разработкой и проектированием OLAP-кубов и витрин для аналитиков, участвовать в полном цикле построения BI-решений (проектирование, разработка, поддержка, развитие);
• взаимодействовать с командой Data Scientist’ов и совместно реализовывать стабильный расчет математических моделей;
• поддержкой и модификацией созданного решения, отвечать за доступность сервиса для внутренних потребителей и корректность предоставляемых для принятия решений данных.

Какие требования к соискателям?

• не менее двух лет релевантного опыта работы;
• широкий опыт работы с различными СУБД, глубокое понимание работы как минимум одной из MySql, Tarantool, Clickhouse, GreenPlum, Vertica HP, умение оптимизировать процессы обработки данных
• опыт организации ETL процессов обработки данных (плюсом будет знание code-driven ETL Luigi, Airflow);
• знание классических алгоритмов и структур данных (плюсом будет опыт разработки на python);
• опыт работы с классическими BI-системами (Tableau, QlikView) или open-source решениями (Redash, Superset) (плюсом будет умение визуализировать данные).
• обширные знания в области теории баз данных, SQL на уровне родного языка;
• ссылки на публичные репозитории, статьи с примерами работы приветствуются.

Какие преимущества у работы в Mail.Ru Group?

• проекты большого масштаба: соцсети, почтовые сервисы, киберспорт, портал, игры, электронная коммерция ─ в каждом есть возможность делать жизнь миллионов людей лучше;
• сложные и интересные задачи: высоконагруженные сервисы, которые задают уровень для конкурентов качеством и технологиями; быстрый рост в трендовых направлениях; амбициозные цели перед каждым проектом;
• оборудование: мощное железо, дополнительные мониторы, специализированные гаджеты ─ все для решения масштабных задач и экспериментов;
• команда: работа бок о бок со «звездами» IT-индустрии, каждый из которых может поделиться своей экспертизой;
• профессиональное развитие: прямо в офисе мы организуем митапы, конференции, встречи разработчиков и тестировщиков, семинары и тренинги, куда открыт доступ каждому сотруднику;
• новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях;
• офис в 5 минутах от метро, крытый паркинг для всех сотрудников, велопарковка, а летом ─ прокат велосипедов, лонгбордов и самокатов;
• здоровье и спорт: программа ДМС доступна с первого месяца работы; для поддержания иммунитета круглый год во фреш-баре овощи и фрукты; собственный тренажерный и спортивный зал в офисе.