Чаптеры, метрики, мотивация: что мы изменили в отделе тестирования REG.RU и как он устроен сегодня

Ксения Бычкова

руководитель отдела тестирования хостинг-провайдера и регистратора доменов REG.RU

Сайт REG.RU — большой и сложный продукт с микросервисной архитектурой. Над ним трудятся много разных распределённых команд. Все они самостоятельны и создают свой продукт, или же являются сервисом для других. У каждой свои разработчики, менеджеры и, конечно, тестировщики.

Во многом из-за этого специалисты по тестированию в разных командах хоть и входили в общий отдел тестирования, но мало работали вместе и не были объединены. Ситуация изменилась в 2020 году. Сегодня я расскажу, что удалось сделать и что в итоге получилось.

Почему перемены были необходимы и что изменилось?

Последние несколько лет все тестировщики работали распределённо со своими командами. Отдела тестирования в его классическом понимании не было, что не позволяло применять новые подходы, внедрять новые инструменты. Из общего были только инструменты автоматизации, но процессы тестирования отличались. Также не было общего вектора развития, ведения тестовой документации (только предпринимались попытки).

Чтобы избежать подобного рассинхрона в отделах, и чтобы новые инструменты внедрялись оперативнее — в REG.RU появились чаптер-лиды. Мы в отделе тестирования дифференцировали технический чаптер и чаптер обучения. Перед каждым из них стоят свои задачи, у каждого свой workflow работы.

Помимо выделения чаптеров и совместной работы, в отделе появилась своя система мотивации, общие метрики и roadmap развития. Расскажу подробнее обо всех изменениях.

Цели и работа чаптеров и чаптер-лидов

Что такое чаптер?

Чаптер — это группа специалистов (обычно 7-9 человек) одного направления работы со сходными узкопрофессиональными навыками в одной сфере технических компетенций (hard skills). Например, чаптер бэкенд-разработчиков или UX-дизайнеров.

Разница между командами и чаптерами

Цель чаптера — развивать профессиональные знания, умения и навыки сотрудников. Чаптер не занимается конкретным продуктом или сервисом. Его фокус — развитие компетенций и технической экспертизы. Благодаря обмену опытом внутри чаптера участники узнают новые инструменты и методы работы.

Кто такие чаптер-лиды?

Чаптер-лид — это лидер чаптера, помогающий его участникам достигать целей чаптера. Он должен быть практикующим экспертом в своём направлении.

Чаптер-лиды помогают каждому члену команды найти точки роста и эффективно обучаться, а также ставить и выполнять цели отдела.

Зоны ответственности чаптер-лидов:

• постановка целей развития отдела в компании (регламенты, идеи, экспертная оценка);
• обучение (организация процесса, фокусировка на целях обучения в чаптерах);
• поиск точек роста и развития сотрудников, мониторинг динамики роста и развития сотрудников (индивидуальный план развития);
• мониторинг и контроль психологического комфорта сотрудников (performance review, оценка 360, обратная связь, one-to-one встречи);
• вопросы по профессиональному росту и зарплате;
• взаимодействие с PO (Product Owner), SDM (Service Delivery Manager), SRM (Service Request Manager) при сложностях в команде.

Сейчас в нашем отделе два чаптер-лида, которые поделили между собой зоны ответственности на ручное и автоматизированное тестирование. Прокачкой чаптер-лидов занимается руководитель отдела, он же ставит им задачи и цели.

Чаптер обучения

По мере становления отдела стало понятно, что все тестировщики очень разные по своим навыкам и техническим скиллам. А так как формировались единые процессы тестирования и автоматизации, то необходимо было прокачать некоторых сотрудников до нужного уровня. Для этого мы и создали чаптер обучения, его основная цель — развитие необходимых скиллов и повышение знаний в области тестирования на практике.

Работа в чаптере обучения

Для начала мы совместно с чаптер-лидами сформировали бэклог необходимых умений, которые понадобятся в дальнейшей работе над задачами и, используя скрам с трёхнедельными спринтами, стали брать задачи по теории и практике. Тестировщики в течение трёх недель выполняют задания, обмениваются опытом, делают доклады.

Примеры задач в чаптере:

• рассмотреть редакторы баз данных;
• изучить продвинутый Xpath оси и операторы;
• изучить методы CodeceptJs;
• изучить, как генерируется и из чего состоит Allure отчёт.

Технический чаптер

Чаптер сформировался из прокаченных тестировщиков, чтобы изучать и продвигать новые инструменты в отделе, а также выполнять внешние запросы от других команд из области тестирования.

Работа в техническом чаптере

Изначально мы организовали работу по скраму, тоже сделали свой бэклог работ. Но так как задачи сами по себе сложные и трудоёмкие, то трёх недель было недостаточно для их выполнения. Поэтому мы перестроились и стали использовать канбан.

Еженедельно на митинге мы планируем, что будем брать в работу, в зависимости от типа задач: внешний заказчик, задачи по roadmap отдела тестирования и другие. Поток задач стал равномерным и прогнозируемым.

Примеры задач в чаптере:

• автоматизация тестирования REG.API;
• подтянуть свежие образы браузеров;
• поправить хрупкость тестов deploy;
• оптимизировать архитектуру тестов.

Совместная работа отдела

Каждый отдельный чаптер, как уже отмечалось, работает по своему workflow: чаптер обучения — скрам, технический чаптер — канбан (изначально был скрам).

На еженедельных митингах тестировщики обсуждают задачи, которые сейчас в работе, проводят стримы (совместная демонстрация новых инструментов и других вещей).

Раз в три недели проводят планирование, груминг и ретроспективу.

Общая ретроспектива со всеми тестировщиками проводится раз в квартал для фокусировки на roadmap отдела.

Как изменилась мотивация сотрудников?

Когда в отделе наладилась работа и все тестировщики объединились, была придумана система мотивации для сотрудников. Чтобы интерес к задачам не угасал и появлялись новые идеи по улучшению текущих процессов.

Отгул «‎за молодец»

Раз в месяц чаптер-лиды определяют тех, кому положен отгул. Сотрудник может получить его, когда берёт на себя дополнительные активности по чаптерам, отделу или командам, например:

• поделиться знаниями вне общих задач;
• проверить задания в чаптерах;
• за заслуги перед отделом (сделать проще и лучше жизнь отдела, усовершенствовать какие-либо процессы);
• переработки (вынужденные и подтверждённые менеджером или руководителем);
• замещение сотрудника:выполнение тикетов во время отсутствия;проверка отчётов во время отсутствия;помощь более четырёх часов на другом проекте.

Обучение в компании

В дополнение к новым методам мотивации остались те, что давно работают в REG.RU. Например, программа внешнего обучения, где каждый может пройти курсы и съездить на конференцию за счёт компании. Также есть обширная онлайн-библиотека, корпоративный университет с тренингами, разработанными под потребности сотрудников. Доступна программа компенсации оборудования для удалёнщиков: можно прокачать не только скиллы, но и рабочее место.

Ещё в REG.RU есть программа офлайн-встреч (временно приостановлена на период пандемии коронавируса), чтобы распределённые команды могли синхронизироваться по рабочим вопросам и познакомиться поближе.

Какие общие метрики появились в отделе?

Качество работы отдела тестировщики подкрепляют метриками, которые собирают ежемесячно. Все метрики отображаются в одной общей таблице и отправляются командам для статистики. Также тестировщики обращают внимание команд на проблемы или увеличение количества пропускаемых багов.

Количество потраченного времени на задачи или другие активности

Назначение метрики

Для бизнеса необходимо измерять, сколько потрачено времени и на что, то есть сколько тратится из бюджета компании на тестирование, автоматизацию, работу чаптеров и прочие активности в командах.

Руководителю и чаптер-лиду важно видеть картину целиком и понимать, что если человек вырос и больше времени тратит на рутину, надо пересмотреть его деятельность.

Как считается

В нашей системе баг-трекинга на задачи автоматически можно ставить счётчики выполнения задач (таймер).

Доля отфильтрованных дефектов

Назначение метрики

Доля отфильтрованных дефектов — один из показателей качества, эффективность обнаружения багов (несоответствий требованиям). То есть какая доля дефектов была отфильтрована, а какая прошла на прод.

Как считается

Формула: количество багов, обнаруженных после выкатки, разделённое на общее количество багов, обнаруженных до и после выкатки.

Допустимый процент ошибок, которые были пропущены на прод, конечно же, будет зависеть от многих факторов. Однако если коэффициент получился >0,1 — это плохо. Показатель означает, что каждый десятый дефект не был обнаружен во время тестирования и привёл к проблемам в ПО, уже переданном пользователям.

Количество багов, пойманных автотестами на предпроде

Назначение метрики

Метрика необходима, чтобы понять пользу e2e-тестов.

Как считается

Считается количество багов из отчёта Allure, которые автотесты не пропускают на прод.

Тестовое покрытие требований

Назначение метрики

Помогает следить за тенденцией изменений тестового покрытия, выявлять его слабые места, а также анализировать качество тест-дизайна.

Как считается

В Google-таблице на основании нашей карты функционала и тестов в TestLink. Считается вручную в %.

Покрытие автотестами требований

Назначение метрики

Отразить покрытие автотестами требований (тесты описываем в TestLink).

Как считается

Общее количество тест-кейсов, покрытых автотестами. Считается вручную в %.

Скорость прохождения сквозных (e2e) тестов

Назначение метрики

Проанализировать, за какое время проходят тесты и нужно ли оптимизировать скорость их прохождения.

Как считается

Считается из отчетов по автотестам (Allure) каждый месяц.

Процент хрупкости e2e-тестов по командам

Назначение метрики

Проанализировать, как часто у нас падают тесты и в каком количестве (в %), чтобы уменьшить количество падающих тестов путем их стабилизации или вообще отказаться от этих тестов.

Как считается

Собирается из отчетов по автотестам (Allure) каждый месяц.

После изменений работа в отделе тестирования стала прозрачной для всей компании: выстроились общие процессы, появился вектор развития, который отражается в roadmap. Удалось также внедрить множество новых идей. Среди них, например, общее ведение тестовой документации, оптимизация архитектуры кода, автоматизация REG.API, замер скорости динамических страниц.

Тестировщики прокачали soft skills и hard skills, а ещё — сплотились как команда. Для эффективной и слаженной работы важна комфортная обстановка и доверие к коллегам, поэтому появились неформальные встречи, игры, общение не только по работе. Благодаря всему этому мы стали продуктивнее и сплочённее.

Встреча команды тестирования REG.RU в Zoom