Управляем несколькими СУБД из одного интерфейса: тестируем сервис

Развернуть кластер СУБД в продакшене, настроить мониторинг, организовать резервное копирование и распределить права доступа между командой — задачи, на которые уходит неделя, если делать всё вручную.

А если в проекте несколько кластеров на разных контурах и разные типы СУБД, время на администрирование бесполезно увеличивается. Проверили RT.ClusterManager — инструмент для управления несколькими СУБД через один веб-интерфейс

Зачем нужен менеджер кластеров

Типичная задача DBA выглядит так: развернуть кластер, настроить мониторинг метрик, организовать бэкапы, раздать права доступа разным специалистам команды. Для кластерных и MPP-решений добавляются риски — при обновлении ПО, изменении настроек или масштабировании можно сломать кластер, даже если вы действуете чисто по документации.​

Проблема масштабируется с количеством кластеров. Если у вас один Greenplum-кластер на проде, можно обойтись Ansible-скриптами и ручными операциями через psql. Но когда кластеров несколько — dev, stage, prod, плюс разные СУБД для логов и Hadoop для озера данных, — переключение между инструментами и повторение одних и тех же операций убивает время.

Чек-лист, когда нужен один интерфейс:

• У вас несколько кластеров на разных контурах (разработка, тестирование, продакшен)
• В проекте используются разные типы СУБД — MPP для аналитики, колоночные для быстрых агрегаций, NoSQL для метаданных
• С кластерами работают специалисты с разным уровнем доступа: разработчики могут читать метрики, DBA — масштабировать, поддержка — только просматривать логи
• Требуется автоматизировать рутинные операции: развертывание новых нод, создание бэкапов по расписанию, установку расширений

Что решает RT.ClusterManager

Управление базами данных в продакшене — это не только написание SQL-запросов. Типичная задача выглядит так: развернуть кластер, настроить мониторинг, организовать бэкапы, раздать права доступа разным специалистам. Если у вас несколько кластеров на разных контурах и разные типы СУБД, время на администрирование растёт кратно.​

RT.ClusterManager автоматизирует развёртывание и управление несколькими типами СУБД через веб-интерфейс. Инструмент работает с RT.Warehouse (на базе Greenplum), RT.WideStore (Clickhouse), RT.DataLake (Hadoop) и RT.KeyValue (Cassandra). Помимо СУБД, управляет другими решениями платформы TData: RT.MDM, RT.DataGovernance, RT.Streaming, RT.DataVision. Для хранения метаданных использует PostgreSQL.

Основной сценарий использования — когда команде нужно управлять несколькими кластерами на разных контурах без переключения между инструментами. Вместо ручного подключения к каждой ноде вы делаете операции через интерфейс.

Как работает развёртывание

Развёртывание происходит через протестированные Ansible-скрипты, собранные в плагины для работы с конкретным продуктом. При установке плагина и инсталляции продукта система сама проверяет готовность серверов перед установкой и сообщит об ошибках конфигурации, учтёт все зависимости компонентов и выдаст подробный лог установки.​

Помимо on-premise, RT.ClusterManager подготовлен для работы в облачных средах — включает плагины на базе Terraform для управления облачной инфраструктурой и взаимодействия с платформами контейнеризации.​

Функции администрирования

Инструмент покрывает стандартные операции DBA:​

• Масштабирование. Горизонтальное и вертикальное масштабирование делается через интерфейс. Для MPP-кластеров это нужно — неправильная последовательность действий может привести к недоступности данных.​
• Резервное копирование. Создание резервных копий настраивается в интерфейсе. Можно автоматизировать бэкапы по расписанию.​
• Расширения. Можно устанавливать расширения вроде PostGIS или DiskQuota через интерфейс. Не нужно подключаться к нодам вручную.​
• Мониторинг. Встроен в веб-интерфейс — доступны метрики серверов и системных таблиц ядра Greenplum. Если стандартного набора метрик недостаточно, их можно расширить через модуль RT.Monitoring на базе Grafana.​
• Настройка политик. Можно настраивать парольные политики и контролировать данные. Задания по обслуживанию СУБД создаются в крон-формате из интерфейса.​

Ролевая модель и доступы

Можно настроить права для разных специалистов, по умолчанию доступны роли: Пользователь, Поддержка, Администратор, Супер-Администратор, Менеджер. Например, сотруднику поддержки можно дать доступ только на просмотр без возможности изменений. При необходимости создаются кастомные роли с уникальными правами.​

Ещё одна фишка — возможность разделить роли между продуктами. Администраторы СУБД не получат доступ к продуктам визуализации или управления данными, если это не требуется.​

Авторизация работает через локальные учётные записи или Active Directory по протоколу LDAP. Кластеры дополнительно поддерживают керберизацию.​

RT.Warehouse: MPP-СУБД для аналитических нагрузок

RT.Warehouse — это доработанная версия Greenplum 6.26.1 от вендора TData. СУБД ориентирована на аналитические задачи с большими объёмами данных и работает по архитектуре MPP (Massively Parallel Processing) — запросы распределяются между несколькими узлами для параллельной обработки.​

Основной сценарий использования — когда нужно обрабатывать петабайты данных и выполнять сложные аналитические запросы. Работа с данными происходит через стандартный SQL, что снижает порог входа для команд, знакомых с реляционными СУБД. Для интеграции с другими источниками данных доступны коннекторы и протоколы, включая кастомизированный PXF с шифрованием паролей JDBC-подключений.​

RT.Warehouse поддерживает RBAC (Role-Based Access Control) — можно ограничить доступ к конкретным колонкам и определённым SQL-командам. Это важно, когда с одной базой работают разные отделы, и каждому нужен свой уровень доступа к данным.​

Технические детали и масштабируемость

Инструмент работает с кластерами любого размера — от одной ноды до десятков нод суммарным объёмом на сотни терабайт. Производительность интерфейса при этом не меняется. Доступны две темы оформления: светлая и тёмная.​

Развёртывание возможно в облаке, on-premise или в гибридной модели. Поддерживаются отечественные операционные системы: RedOS, Astra, ALT Linux. Продукт зарегистрирован в реестре российского ПО и имеет сертификат ФСТЭК-УД4.​

Лицензирование и поддержка

RT.ClusterManager лицензируется по инстансам и предоставляется условно бесплатно при оформлении основного продукта, например RT.Warehouse.​

RT.Warehouse лицензируется по ядрам CPU на сегмент-серверах. Лицензия предоставляется бессрочно или в формате годовой подписки. При покупке лицензии с технической поддержкой утверждается SLA реакции на инциденты и временем исправления.​

Доступны тестовые лицензии на срок до 90 дней с развёртыванием on-premise в инфраструктуре заказчика или в облаке вендора.​

Документация, интерфейс и техническая поддержка доступны на русском языке. TData совместно с партнёрами — учебными центрами, обладающими необходимыми лицензиями и компетенциями в продуктах — проводит обучение и сертификацию по продуктам платформы по запросу. Компания поддерживает канал в Telegram и публикует материалы на Rutube.​

Когда имеет смысл использовать

Единый интерфейс управления кластерами оправдан в нескольких сценариях:

1. Несколько кластеров и разные СУБД. Если у вас Greenplum для аналитики, Clickhouse для логов, Hadoop для озера данных — переключение между инструментами отнимает время. Единый интерфейс ускоряет рутинные операции.
2. Требования к сертификации. Когда проект требует использования ПО из реестра российских решений или сертификата ФСТЭК, RT.ClusterManager и RT.Warehouse закрывают эти требования.​
3. Команда с разными ролями. Если с кластерами работают разработчики, DBA, поддержка и менеджеры, ролевая модель позволяет разграничить доступ без дополнительных инструментов.