Data Quality Engineer / Data Analyst / Инженер по качеству данных
От 200000Full-time, Опыт от 2 лет, Санкт-Петербург, Можно удалённоПривет!
Мы компания Quadcode, компания-разработчик одной из лучших мировых трейдинговых SaaS-платформ.
Сейчас находимся в поиске Аналитика/инженера по качеству данных (Data Quality) в команду, которая занимается поддержкой и развитием нашей аналитической платформы. Здесь ребята отвечают за то, как хранятся и обрабатываются мастер-данные компании.
Направление DQ у нас появилось недавно, культура работы с данными только начинает выстраиваться, поэтому у тебя будет возможность влиять на подходы к тестированию качества данных, проявлять инициативу и творчество, решать задачи так, как нравится тебе, а не по чётко заданному ТЗ.
Ты будешь не один, наши DQ инженеры покрывают автоматизированными тестами финансовые отчёты и создают модуль по самописному компоненту мониторинга данных на Scala и Python. Также в команде есть ETL-разработчики, Big Data админы и тимлид.
Тимлид Саша любит качественные данные, и вот что говорит по этому поводу: «Нельзя делать качественные выводы на некачественных данных. Чтобы бизнес принимал правильные решения, решение должно быть основано на данных и различных инсайтах рынка, а для этого данные должны быть чистыми (Data Driven подход)».
Кроме этого, у нас ты сможешь поработать с такими подходами и инструментами:
Scrum с 2-недельными спринтами для прозрачности задач, Slack, Google Meet и Zoom для командного взаимодействия, SQL для добывания инсайтов, а также Scala, Python, Greenplum, PostgreSQL, Clickhouse, Cassandra, Hadoop, Airflow, Flink, Spark.
Требования, необходимые навыки
Для решения этих задач тебе пригодится знание SQL и принципов построения DWH-системы (дизайн, реализация). А также:
- опыт тестирования больших объемов данных и выявления аномалий;
- знание английского для общения с нашими англоязычными коллегами (чаще используется письменная коммуникация).
Если ты владеешь ЯП: Python, Scala или Java — это жирный плюс!
Задачи
В роли DQ ты будешь писать тесты для выявления дефектов и покрывать тест-кейсами бизнес-данные компании (валидация ключевых метрик — PnL/NPS/LTV/AU). А ещё:
- строить «индексы» качества данных по доменам или сервисам для прозрачности заказчиков платформы;
- находить причины дефектов данных;
- эскалировать инциденты владельцу данных.
Условия работы
Мы платим полностью белую зарплату, подключаем ДМС, компенсируем стоимость обедов, оплачиваем корпоративный спортзал с личным тренером и спортивные секции, проводим корпоративные тренинги с внешними и внутренними спикерами. Можешь работать удаленно, в офисе или 50/50.
Если ты живешь в другом городе и хочешь переехать в Питер, мы купим тебе билеты, дадим жильё на первый месяц работы и поможем с оформлением документов.
Чему научим
- Проводить проверки качества больших объёмов данных (от 1 ТБ), в том числе, в системах, построенных по принципам микросервисной архитектуры.
- Подтянем в ЯП: Python/Scala.