Это главная особенность работы с отсутствующими значениями: ошибок нет, есть тихо неправильные числа. Разбираем, откуда они берутся в фильтрах, в арифметике, в агрегатах и в соединениях, и какими операторами это лечится.

Отправная точка одна: NULL — не значение, а отметка «неизвестно». Неизвестность распространяется дальше по всему выражению: через сравнения, арифметику, склейку строк, агрегаты, оконные функции и условия отбора. Результат при этом строго определён правилами языка, он просто может не совпасть с тем, что вы имели в виду.

В SQL три логических исхода, а не два: истина, ложь и неизвестность. Условие отбора оставляет только строки с истиной, поэтому неизвестность отбрасывается наравне с ложью.

Сравнение = NULL не почти верно, а отвечает на другой вопрос. Для проверки на отсутствие есть отдельные операторы, которые сравнением не являются.

Одно значение NULL в списке для NOT IN обнуляет всю выдачу целиком, а не сужает её.

Соединение по равенству отбрасывает строки, где ключ отсутствует с обеих сторон, и то же самое делает проверка уникальности.

Запрос, который отработал, прошёл только проверку грамматики. Число становится верным, когда с вопросом совпали строки, фильтры и знаменатель.

Три логических исхода вместо двух

Начнём с простого случая. В таблице клиентов у одного из них не заполнен телефон, и это прямо видно глазами. Запрос находит ноль строк:

Условие phone = NULL спрашивает: «равно ли это неизвестное значение тому неизвестному значению?» Ответить на такое нельзя, поэтому для каждой строки возвращается неизвестность, включая ту самую строку с пустым телефоном. А отбор оставляет только строки, где условие истинно. Неизвестность не проходит ровно так же, как не прошла бы ложь.

Правило действует единообразно: NULL = NULL тоже не истина, а неизвестность. Отсюда и главный вывод — оператор равенства нельзя «подправить», чтобы он здесь заработал. Он не почти прав, он отвечает на другой вопрос.

В Postgres это проверяется одной строкой. Что вернёт такое выражение?

Оба внутренних сравнения неизвестны, поэтому внешнее сравнивает неизвестность с неизвестностью и тоже даёт неизвестность. Операторы сравнения возвращают NULL, если хотя бы одна сторона неизвестна. Именно поэтому в языке есть отдельный оператор проверки на отсутствие: узнать, равны ли две неизвестности, нельзя, а узнать, является ли значение неизвестным, можно.

Как ведут себя И, ИЛИ и НЕ

Логические связки тоже работают в трёх значениях, и запомнить стоит два исключения:

То есть ИЛИ всё ещё истинно, если истинна вторая сторона, а И всё ещё ложно, если ложна вторая сторона. Всё остальное с участием неизвестности схлопывается в неизвестность.

Последствия неочевидны. Вот запрос, который отбрасывает строку, которую вы почти наверняка хотели оставить:

В обычной двузначной логике «активно или не активно» — тавтология, утверждение, истинное при любом значении. В SQL это не так.

Операторы, которые никогда не возвращают неизвестность

Лечится это выходом из трёхзначной логики. Сначала решите, что NULL означает в вашей предметной области, а потом скажите это явно:

Проверки IS TRUE, IS NOT TRUE, IS FALSE, IS NOT FALSE и IS UNKNOWN никогда не возвращают неизвестность, поэтому строку не потеряют.

Аналог того же для равенства — IS NOT DISTINCT FROM. Обычное равенство спрашивает, известно ли, что значения совпадают. Этот оператор спрашивает, одно ли это значение, обращаясь с отсутствием как с полноценным состоянием. Две неизвестности неразличимы, поэтому предикат истинен.

Где это пригодится:
Соединение по условию равенства отбрасывает строки, где ключ отсутствует с обеих сторон. Если два отсутствующих ключа должны считаться совпадением, замените равенство на IS NOT DISTINCT FROM. То же касается проверок уникальности и условий отбора, где «отсутствует» должно означать «отсутствует», а не «неизвестно».

Ловушка NOT IN, из-за которой пропадает вся выдача

Это самый дорогой из всех эффектов, потому что он не сужает результат, а стирает его целиком. Операторы IN и NOT IN разворачиваются в цепочки сравнений, а NOT IN — в цепочку через И:

Разберём оба исхода. Если значение совпало с одним из перечисленных, срабатывает то самое правило «И спасает ложь справа», и выражение честно ложно. Если не совпало ни с одним, множитель со сравнением с пустым значением делает всё выражение неизвестным.

Для условия отбора разницы между этими исходами нет: оно оставляет только истину, а ложь и неизвестность отбрасывает одинаково. Поэтому итог один — если в списке или в подзапросе есть хотя бы одно отсутствующее значение, NOT IN не вернёт ни одной строки. Никакой ошибки при этом не будет.

Обычный IN ведёт себя мягче, поскольку разворачивается в цепочку через ИЛИ: совпадение остаётся истиной независимо от того, что ещё есть в списке. В простом условии отбора пустое значение в списке вообще ничего не меняет: несовпавшая строка отсеется что при неизвестности, что при лжи. Разница вылезает там, где результат сравнения используется дальше: под отрицанием, в выражении CASE или в ограничении целостности.

Надёжная замена — NOT EXISTS, который работает через равенство внутри условия отбора и потому никогда не трактует сравнение с отсутствующим значением как совпадение. Тот же смысл выражает антисоединение, которое вдобавок часто даёт лучший план:

Вычистить отсутствующие значения из подзапроса тоже можно, но это помогает, только если вы уверены, что их следует игнорировать. Вариант с NOT EXISTS делает это намерение явным, а не подразумеваемым.

Арифметика: одно значение NULL обнуляет строку

Любая арифметическая операция с участием отсутствующего значения даёт отсутствующее значение. Сложение, умножение, деление, модуль, возведение в степень — результат один.

В отчётах это выглядит как пустые ячейки, а в обновлениях данных как стёртые колонки. Классический пример, который каждый когда-нибудь писал:

Подставлять значение по умолчанию нужно в той точке, где вам известно правило предметной области, а не механически везде. В разборе Кристофера Уинслетта из Crunchy Data приводится удачная иллюстрация: отсутствующее количество почти всегда означает ноль, отсутствующая ставка налога тоже, а вот отсутствующая цена нулём не является и должна оставаться неизвестной, пока её кто-нибудь не заполнит.

Агрегаты и оконные функции считают не то, что кажется

Здесь отсутствующие значения ведут себя иначе, чем везде: агрегаты их пропускают. Функция COUNT(*) считает строки, а COUNT(колонка) — только непустые значения; SUM, AVG, MIN и MAX пропускают пустые входы.

У товара с двумя незаполненными оценками среднее и сумма пусты, а число строк равно двум. Отсюда практическое правило, которое экономит часы разбирательств с аналитикой: среднее — это сумма, делённая на количество непустых значений, а не на количество строк. Смешивать SUM(x) / COUNT(*) и ожидать совпадения со средним нельзя.

Оговорка про типы тоже важна: если сумма и счётчик целочисленные, деление усечёт дробную часть. Шесть, делённое на два, случайно даст ровно три, а оценки 5, 1 и 2 дадут при целочисленном делении двойку вместо 2,67.

Где ломаются оконные функции

Суммирование и усреднение в окне пропускают отсутствующие значения так же, как при группировке, а ROW_NUMBER считает строку в любом случае. Расхождение начинается у функций, которые смотрят в конкретную позицию окна: LAG, LEAD, FIRST_VALUE, LAST_VALUE и NTH_VALUE.

Такая функция возвращает то, что лежит в запрошенной позиции. Если там пусто, результат пуст. Ближайшее реальное значение она не ищет, и на рядах измерений с пропущенным отсчётом это даёт разрывы там, где ожидалась непрерывность.

Проверка чужого запроса, включая сгенерированный

Всё описанное складывается в одну проблему: запрос, который отработал, прошёл только проверку грамматики. База ловит опечатку в имени таблицы. Она не ловит суммирование не той колонки, соединение, задваивающее строки, и фильтр, поставленный не на том этапе. Каждая из этих ошибок — синтаксически корректный SQL.

Со сгенерированными запросами есть отдельная сложность: они беглые. Псевдонимы аккуратные, форматирование чистое, форма выглядит как работа внимательного человека. Беглость читается как правильность, хотя это разные вещи.

Проверка первая: посчитайте строки до того, как поверите сумме

Задача звучала как «чистая выручка по завершённым заказам». Полученный запрос:

Он отрабатывает и возвращает 1830. Правильный ответ 1330, и это легко проверить руками: валовая сумма одиннадцати завершённых заказов равна 1605, возвраты составляют 275.

Виновато соединение. Два заказа возвращались частями, по две записи на каждый, поэтому одиннадцать строк превращаются в тринадцать, а сумма по заказам считает эти два заказа дважды: 2105 вместо 1605. Лишние 500 — это ровно стоимость задвоенных заказов. Явление называется размножением строк: соединение множит строки всякий раз, когда ключ на другой стороне встречается больше одного раза.

Проверка стоит двух запросов:

Одно это сравнение всё решает. Второе число выросло, значит, соединение размножило строки, и любая сумма или среднее по колонкам левой таблицы под подозрением. Число совпало — соединение безопасно, идём дальше.

Проверка вторая: ищите отсутствующие значения в каждом фильтре

Следующая просьба звучала как «та же выручка, но без служебных аккаунтов», и запрос получился такой:

Он возвращает пустоту, полученную из нуля строк. Не меньшее число, а вообще ничего. Механизм вы уже знаете: в справочнике служебных аккаунтов есть одна строка с незаполненным идентификатором, а справочники в реальной жизни такими и бывают. Одна такая строка бесшумно опустошает результат целиком.

Что забрать с собой

Правила про отсутствующие значения не сложны, они просто действуют не там, где их ждут. Из фильтра строка пропадает молча, арифметика превращает результат в пустоту, соединение по равенству теряет пары без ключа, а среднее делит на другой знаменатель. Ошибки при этом нигде не возникает, и потому такие дефекты живут в отчётах годами.

Самый надёжный способ не разбираться со всем этим каждый раз — не хранить отсутствующие значения там, где они не нужны. Если колонка обязана иметь значение, скажите это в схеме. Ограничение NOT NULL выглядит формальностью ровно до первого расследования, почему выручка в отчёте оказалась на пятьсот единиц больше настоящей.

Материалы разбора: почему сравнение с NULL никогда не срабатывает, поведение NULL в вычислениях Postgres и проверка сгенерированного SQL до того, как поверить числу.

Откройте последний отчёт, который вы отдавали наружу, и сравните в нём количество строк до и после соединений. Проверка занимает пять минут и иногда меняет цифру, на которую уже сослались в переписке.

Для тех, кто гоняет Polars в пайплайнах, это значит два дела на сегодня. Во-первых, после обновления часть запросов может вернуть строки в другом порядке: потоковый движок не гарантирует порядок для join, group_by и unpivot, если явно не попросить. Во-вторых, код, который годами «работал» на неявных приведениях типов и молчаливом заполнении пропусков, начнёт падать с ошибкой. Разработчики называют это осознанной политикой: ошибка сразу лучше неверного результата через двадцать минут работы пайплайна.

• RC ставится командой pip install polars==2.0rc1; финальный 2.0 выйдет в ближайшие недели, точной даты нет.
• LazyFrame.collect() по умолчанию идёт через streaming-движок; по ожиданиям авторов, в совокупности он «легко в 5 раз быстрее» старого in-memory и заметно экономит память; независимых замеров RC нет.
• Порядок строк после join, group_by и unpivot больше не гарантирован; для join и group_by порядок возвращает параметр maintain_order, для unpivot нужен явный sort; старый движок включается через pl.Config.set_engine_affinity("in-memory") или collect(engine="in-memory").
• is_in с разными типами, горизонтальный concat с разной высотой, касты строк в даты и целых в Enum теперь бросают исключение вместо тихого приведения.
• Большинство удалённых методов и параметров отвечают типизированными ошибками AttributeRemovedError и ArgumentRemovedError с подсказкой, чем заменить.

Почему потоковый движок потребовал мажорной версии

Polars давно развивает два движка. Классический in-memory собирает результат каждой операции целиком в памяти. Потоковый разбивает данные на куски и прогоняет их через план запроса конвейером, поэтому промежуточные результаты не раздуваются. До 2.0 потоковый движок нужно было включать явно; теперь режим engine="auto" выбирает именно его.

Цена такого дефолта в порядке строк: потоковый движок для ряда операций его не гарантирует. Старый движок порядок сохранял, и на это молча полагалось много кода: например, брали первую строку после группировки и считали её «самой ранней». В 2.0 такие места нужно найти и явно попросить порядок (у join и group_by есть параметр maintain_order, после unpivot остаётся явный sort):

Заявление о скорости стоит читать как оценку вендора: «в сумме мы ожидаем, что потоковый движок будет легко в 5 раз быстрее», со ссылкой на собственные бенчмарки Polars. Независимых замеров на RC пока нет, и выигрыш зависит от запроса: на маленьких таблицах, которые целиком помещаются в кеш, разница будет меньше, чем на группировках по десяткам гигабайт.

Где код перестанет молчать об ошибках

Вторая тема релиза сформулирована в посте так: ошибки должны подниматься заранее, а не через 20 минут работы пайплайна, и неявное поведение при несовпадении данных должно включаться явно, а не быть дефолтом. Авторы отдельно отмечают, что строгость стала ценнее с приходом ИИ-агентов: агент может вызвать collect_schema(), проверить типы без чтения данных и быстро получить обратную связь. Примеры из поста и руководства по миграции:

• is_in с разными типами. Раньше Int64 и Float64 приводились к общему супертипу, даже если это теряло точность. В примере из поста идентификатор 9007199254740993 при касте в float64 округлялся до 9007199254740992 (граница, до которой float64 представляет все целые точно), и проверка по списку «помеченных» аккаунтов давала ложное совпадение. В 2.0 это InvalidOperationError: кастовать нужно самому и осознанно.
• Горизонтальный concat. Таблицы высотой 5 и 4 раньше склеивались, а недостающая ячейка молча становилась null; типичный сценарий из поста: тихо упавшая задача за один из дней. Теперь ShapeError, а старое поведение включается через how="horizontal_extend".
• Касты заменены специализированными методами. Целые в Enum или Categorical и обратно: вместо cast() нужны .cat.to() и .cat.physical(). Строка в дату: вместо cast(pl.Date) методы .str.to_date() и .str.to_datetime(), которым можно явно задать формат. Кастовать плоскую колонку в List через cast(pl.List(...)) тоже нельзя, для этого есть pl.list().
• Булевы операторы между Boolean и целыми числами теперь ошибка; std() и var() для Duration удалены, сначала переводите в микросекунды через .dt.total_microseconds().
• Каст между Struct с разным числом полей при strict=True (дефолт) падает, а не обрезает лишние поля; руководство помечает это отдельным предупреждением, потому что раньше данные терялись молча.

Отдельный набор изменений касается чтения CSV. При сканировании набора файлов схема теперь выводится по первым 10 файлам, а не по всем (параметр infer_schema_files). Автоматические имена колонок для файлов без заголовка начинаются с column_0, а не column_1; это же касается read_excel и read_ods. Пользовательская схема в scan_csv сопоставляется с файлом по именам колонок, а не по позиции: раньше первая запись схемы молча получала данные первой колонки файла, даже если имена не совпадали. Для лишних и недостающих колонок появились параметры extra_columns и missing_columns, по умолчанию оба бросают ошибку.

Что будет со старым кодом

Для большинства удалений библиотека получила два типизированных исключения (документация предупреждает, что часть удалённого по-прежнему даёт обычные AttributeError и TypeError): polars.exceptions.AttributeRemovedError для удалённых методов и атрибутов и polars.exceptions.ArgumentRemovedError для удалённых параметров. Оба сообщения указывают на замену:

По словам Винка, большая часть удалённого давно помечена как deprecated, и у тех, кто обновлялся регулярно, пайплайны пострадать не должны. Команда просит сообщать, если из библиотеки убрали что-то, на что реально полагались. Смена движка не затрагивает eager-API DataFrame: выигрыша в скорости там не будет, потому что дефолт меняется только у LazyFrame. Остальные несовместимости на eager распространяются полностью: строгий concat, новые правила read_csv, убранные касты и удалённые методы.

Как проверить свой проект до финального релиза

1. Поставьте RC в отдельное окружение: pip install polars==2.0rc1. В прод его тащить рано, это кандидат в релиз.
2. Прогоните тесты и посмотрите на исключения AttributeRemovedError, ArgumentRemovedError, InvalidOperationError и ShapeError: каждое сообщение содержит подсказку с заменой.
3. Найдите места, где код полагается на порядок строк после join, group_by или unpivot: сортировки «по умолчанию», head(1) после группировки, сравнение с эталоном по позициям. Добавьте maintain_order (join, group_by) или явный sort (unpivot).
4. Если результат обязан совпадать со старым до байта, зафиксируйте старый движок на время миграции: pl.Config.set_engine_affinity("in-memory").
5. Проверьте чтение CSV без заголовка (сдвиг нумерации колонок на единицу) и scan_csv с явной схемой (сопоставление по именам).

В планах ветки 2.x, о которых команда, по её словам, «недостаточно говорила публично»: полноценная out-of-core обработка для потокового движка, новая архитектура IO-плагинов, собственный читатель S3, расширенное покрытие SQL, планировщик на основе оценки стоимости с переупорядочиванием join и отказ от mmap, после которого конвейер станет асинхронным от начала до конца. Сроков по этим пунктам нет. Замечания по RC команда принимает в issues на GitHub.

Источники: Pre-release of Polars 2.0 (блог Polars, Ritchie Vink), Руководство по переходу на Polars 2.0, Бенчмарки Polars

Изображение на обложке: Логотип: Polars

Главное о формате

Конференция пройдет 9 апреля в Москве на площадке кинотеатра «КАРО 11 Октябрь» в гибридном формате: часть сессий будет транслироваться онлайн, а практические воркшопы и ряд сессий будут доступны офлайн-посетителям. Всего ожидается около 15 live-демозон с сервисами Cloud.ru и партнеров.

Регистрация на мероприятие открыта на сайте конференции.

Ключевые треки конференции

Программа конференции в 2026 году объединит четыре тематических трека:

• AI. Участников ждут сессии о том, как сделать AI удобным инструментом для команд: работать с AI-агентами, AI-workflow и генеративными моделями через простые интерфейсы. Эксперты расскажут про обновление цифровой среды AI Factory для работы с GenAI.
• App & Dev. Трек посвящен инструментам, которые ускоряют запуск продуктов и упрощают весь цикл разработки: от архитектуры и написания кода до тестирования, эксплуатации и поддержки в продакшене.
  
• Data & Analytics. Этот трек объединит доклады и дискуссии экспертов рынка о том, как сделать управление данными экономически эффективным и какие ключевые data-тренды будут определять 2026 год.
  
• Core Infra. На сессиях эксперты и клиенты Cloud.ru обсудят импортонезависимые AI- и облачные решения enterprise-уровня и объяснят, как добиться стабильности и безопасности высоконагруженных систем.
  

Для кого это мероприятие

Конференция рассчитана на CEO, СTO, DevOps-, AI/ML- и дата-инженеров, а также SRE-специалистов, архитекторов и разработчиков.

Когда в компании несколько сотен серверов, виртуальных машин и рабочих станций, мониторинг превращается в жуткую боль и беготню между разными системами. Обычно на каждое устройство ставят своего агента, настраивают подключения, обновляют клиенты — и всё это одновременно на сотнях машин. Мы используем агентов только для ПК, ноутбуков и моноблоков.

«Гравитон» за 17 месяцев сделал систему мониторинга без агентов. Она работает через обычные сетевые протоколы, шлёт уведомления в Telegram и показывает всё в реальном времени. Команда из 7 человек написала всё с нуля и выпустила бесплатно.

Задача: мониторить всю инфраструктуру без установки агентов на каждый сервер

Бизнес хочет, чтобы вся инфраструктура работала без сбоев — серверы, виртуальные машины, рабочие станции. Администраторы должны знать, что происходит: сколько загружен процессор, какая температура, не заканчивается ли место на дисках, все ли сервисы работают.

Техническая часть — сделать систему, которая подключается к устройствам без установки дополнительного софта. Использовать те протоколы, которые уже есть в оборудовании. Показывать проблемы сразу, а не через пять минут. Дать возможность не только смотреть, но и управлять удалённо.

Параметры проекта

• Срок разработки: март 2024 — август 2025 (17 месяцев)
• Команда: 7 человек
• Статус: продукт на рынке 5 месяцев, предоставляется бесплатно на первый год использования
• Первый проект: мониторинг нескольких сотен моноблоков
• Интерес рынка: несколько десятков запросов на тестирование с момента запуска

Поддерживаемое оборудование: виртуальные машины, серверы, системы хранения данных, клиентские устройства (персональные компьютеры, моноблоки, многофункциональные устройства «Гравитон»).

Архитектура: микросервисы и протоколы без агентов

Систему собрали из микросервисов — каждый отвечает за свою часть:

Устройства в сети

→ Подключение через WebSocket, Redfish, IPMI, SNMP, Prometheus

→ Сервисы, которые собирают и обрабатывают данные

→ SQL для настроек, Prometheus для метрик по времени

→ PromQL для правил уведомлений

→ Веб-интерфейс с графиками

→ Уведомления в Telegram

Главное — для серверов и сетевого оборудования система не ставит агентов. Подключается к тому, что уже есть в устройствах. Агенты используются только для пользовательских устройств — ПК, ноутбуков и моноблоков.

Пять главных фишек

1. Всё в реальном времени через WebSocket

WebSocket — это двусторонняя связь. Устройство может само отправить сигнал, когда что-то меняется. Температура выросла, диск заканчивается — администратор видит это мгновенно в интерфейсе. При сканировании сети результаты появляются сразу, не нужно ждать и обновлять страницу.

Чем быстрее узнал о проблеме — тем быстрее починил.

2. Всё написано с нуля

Команда не взяла готовые библиотеки для важных частей. Авторизация, управление пользователями, уведомления — всё своё. Это дало полный контроль и возможность подстроить под российский рынок без зависимости от чужого кода.

3. Никаких агентов

Система использует протоколы, которые уже есть в оборудовании. Redfish для современных серверов, IPMI для управления на аппаратном уровне, SNMP для сетевых устройств, Prometheus для Linux-серверов. Не нужно ничего устанавливать, настраивать, обновлять на каждой машине.

4. Интеграция с Telegram для уведомлений

Вместо email-рассылок или SMS, которые легко пропустить, система отправляет уведомления о проблемах прямо в Telegram. Администратор получает сообщение на телефон: «Температура процессора сервера srv-db-01 достигла 85°C» или «Диск /dev/sda на сервере srv-web-03 заполнен на 95%». Можно настроить отдельные каналы для разных типов событий или разных команд.

5. PromQL для гибких условий мониторинга

Для составления выражений, которые запускают уведомления, используется PromQL — язык запросов Prometheus. Администратор может создавать сложные условия: «уведомить, если загрузка процессора выше 80% в течение 5 минут» или «предупредить, если свободное место на диске меньше 10% и скорость его уменьшения больше 1 ГБ в час». Это не просто пороговые значения, а гибкие правила с учётом трендов и контекста.

Главная трудность: CORS и удалённое управление KVM

🔴 Проблема: запуск KVM через браузер

KVM (клавиатура, видео, мышь) — технология удалённого управления сервером на уровне «железа», как будто вы сидите перед монитором с клавиатурой. Запуск инструмента KVM из веб-интерфейса системы мониторинга столкнулся со сложностями из-за ограничений CORS (Cross-Origin Resource Sharing) — механизма безопасности браузеров, который блокирует запросы между разными доменами.

✅ Решение: корректная авторизация, поддерживаемая сервером

Команда реализовала метод авторизации, который поддерживается сервером управления и корректно обрабатывается браузером с учётом политик CORS. Это позволило безопасно запускать KVM-сессии прямо из веб-интерфейса системы мониторинга без установки дополнительных приложений на компьютер администратора. Теперь можно подключиться к серверу и управлять им через браузер, даже если операционная система на сервере не загружается.

Результаты и конкуренция на рынке

Первый проект — мониторинг нескольких сотен моноблоков в коммерческой эксплуатации. Система показала стабильность работы и справилась с нагрузкой. С момента запуска пришло несколько десятков запросов на тестирование продукта от компаний с разной инфраструктурой.

Продукт на рынке 5 месяцев, в то время как конкуренты работают более 5 лет и имеют устоявшуюся клиентскую базу. По отзывам клиентов собран перечень функционала, который необходимо реализовать для успешной конкуренции: расширение набора метрик, поддержка большего числа типов оборудования, специфические интеграции с корпоративными системами.

Стратегия выхода на рынок — дать базовый функционал бесплатно, чтобы компании могли попробовать продукт без барьеров. В течение 2026 года появится дополнительный платный функционал для крупных инсталляций и специфических задач.

Планы развития: от мониторинга к предсказанию проблем

Команда «Гравитон» развивает продукт по семи направлениям.

1. Больше метрик и функций управления — новые показатели, управление питанием, настройка устройств удалённо.
2. Поддержка большего числа устройств — работа с оборудованием от разных производителей.
3. Платные функции — расширенная аналитика, интеграция с корпоративными системами, отчёты для проверок.
4. Предсказание поломок — анализ данных по времени, чтобы понять, когда диск или блок питания выйдет из строя. Замена до того, как сломалось.
5. Автоматизация — система сама делает что-то при проблемах. Процессор перегружен — перезапустить сервис. Диск заполнен — почистить логи.
6. Настройка интерфейса — каждый видит свои дашборды. Администратор — технические метрики, руководитель — сводки, топ-менеджмент — общую доступность.
7. Карта серверной — схема, где какой сервер стоит в стойках, с привязкой к состоянию. Видно, где проблемный сервер и что рядом с ним.

Реклама. ООО «Ревотех», ИНН 9731071780, erid: 2W5zFJx4cjB

Аналитик данных — специалист, который превращает сырые данные в понятные выводы и рекомендации для бизнеса. Он собирает и очищает данные, строит отчеты и дашборды, проверяет гипотезы и помогает принимать решения, влияющие на выручку, продукт и процессы.

«Дата-аналитик извлекает, очищает, обрабатывает и анализирует данные, предоставляя бизнесу полезную информацию для решений» — hh.ru (2024). https://career.hh.ru/article/analitik-dannyh

Кто такой аналитик данных и что такое анализ данных?

Аналитик данных — специалист по анализу данных (data analyst), который помогает компаниям принимать решения на основе фактов, а не догадок. Профессия для тех, кто умеет превращать цифры в смысл.

Что это значит на практике?

Data-аналитик взаимодействует с данными: извлекает их из разных источников, очищает от ошибок и дубликатов, обрабатывает и изучает. Цель — предоставить полезную информацию для бизнеса или науки. Аналитика данных выявляет закономерности, объясняет, что происходит и почему, показывает, что делать дальше.

Кто это в компании?

Data-аналитик строит отчеты, проверяет гипотезы, находит инсайты. Подсказывает командам, как улучшить продукт и бизнес-процессы. Стоит между бизнесом и датасайнс: применяет методы анализа данных, статистику и визуализацию, чтобы дать понятные рекомендации, а не просто таблицы.

«В 2025 году объём мировых данных достигнет 181 зеттабайта — вдвое больше, чем в 2022-м» — hh.ru (2024).

Почему профессия актуальна в 2025?

Компании буквально тонут в информации. Им нужны те, кто умеет из этого хаоса вытащить ценное. По данным HeadHunter, только за последние десять лет количество вакансий по анализу данных и машинному обучению в России увеличилось почти в 30 раз.

Впечатляет, правда?

Что делает аналитик данных: основные обязанности и задачи

В реальной работе аналитик отвечает на вопрос «что делает и чем занимается специалист по анализу данных» через конкретные бизнес-задачи. Обязанности аналитика данных — перевод бизнес-требований в метрики, сбор данных, обработка и интерпретация результатов анализа для отчётов и решений в компании.

Вот типичный рабочий процесс:

• Сбор данных. Извлечение информации из баз данных и других источников с помощью SQL-запросов или API. Аналитик документирует, откуда приходят данные, чтобы коллеги понимали, насколько им можно доверять.
• Обработка и очистка. Нормализация форматов, контроль качества, устранение дубликатов и пропусков. Самая рутинная, но критически важная часть работы. Без чистых данных любой анализ превращается в гадание на кофейной гуще.
• Интерпретация. Формулировка инсайтов и объяснение причинно-следственных связей. Не просто "продажи упали на 15%", а "продажи упали на 15% из-за сбоя в платёжной системе 12 января, об этом говорит резкий всплеск отказов на этапе оплаты".
  Чувствуете разницу?
• Визуализация и отчеты. Дашборды в BI-системах (Power BI, Tableau), презентации для команд и руководства. Хороший дашборд должен быть понятен даже тому, кто увидел его впервые.
• Проверка гипотез. A/B-тесты, статистические проверки, оценка эффектов изменений. Например, "если поменять цвет кнопки с синего на зелёный, вырастет ли конверсия?"
• Перевод бизнес-задачи в метрики. Определение KPI/OKR, дизайн экспериментов. Умение понять, что на самом деле нужно бизнесу, и выразить это через измеримые показатели.
• Коммуникация результатов анализа. Рекомендации, приоритизация, оценка рисков и потенциального влияния (impact). Результаты анализа становятся реальными решениями только когда их понимают и применяют.

Ключевые навыки и инструменты, которые нужно знать аналитику данных

Технические навыки (Hard Skills)

Статистика и методы анализа — фундамент

Распределения, t-тесты, доверительные интервалы, регрессия. Без этого вы не поймёте, случайны ли ваши выводы или действительно значимы.

Работа с базами данных и SQL-запросы — ядро профессии

JOIN, оконные функции, CTE (Common Table Expressions). Если не умеете вытащить нужные данные из базы, вы не аналитик. Просто человек с Excel.

Python для анализа данных (pandas, numpy)

Для тех, кто хочет автоматизировать рутину и работать с большими объёмами. Jupyter-ноутбуки позволяют документировать анализ так, чтобы его мог повторить кто угодно.

Excel/Google Sheets

Для быстрых расчётов и прототипов. Сводные таблицы, ВПР, условное форматирование. Не стоит недооценивать таблицы — иногда это самый быстрый путь к ответу.

BI-инструменты (Power BI, Tableau)

Для визуализации и дашбордов. Здесь важен навык работы с данными так, чтобы отчёты были наглядными и информативными, а не превращались в хаос графиков.

Основы А/В-тестирования

Методы анализа экспериментов, статистическая значимость, понимание размера выборки и ошибок I и II рода.

«Владение SQL, Python или R, BI-системами, электронными таблицами и хорошая статистика — основа профессии аналитика данных» — skgroups.ru (2024). https://blog.skgroups.ru/kto-takoj-analitik-dannyh-i-chem-on-zanimaetsja/

Гибкие навыки (Soft Skills)

Коммуникация и сторителлинг

Умение объяснить выводы без жаргона. Бизнесу не нужны формулы — им нужны решения и понятные истории.

Критическое мышление

Проверка предположений и источников данных. "А точно ли эти цифры верны? Может, тут артефакт?"

Бизнес-ориентированность

Понимание ценности метрик для продукта и прибыли. Хороший аналитик не просто считает, а понимает, зачем он это делает.

Тайм-менеджмент и приоритизация задач

В работе аналитика всегда больше вопросов, чем времени на ответы.

Внимание к деталям

Качественные данные и корректные выводы. Одна ошибка в SQL-запросе — и весь анализ летит в мусорку.

Работа в кросс-командах

Продукт, маркетинг, разработка. Аналитик — связующее звено между разными отделами.

Основные инструменты аналитика

Виды аналитиков данных: специализации в работе с данными

Здесь мы говорим о специализациях внутри аналитики данных. Бизнес-аналитик и системный аналитик — смежные, но отдельные профессии, о которых речь пойдёт позже.

«Специализации: продуктовая, маркетинговая, бизнес-аналитика и BI-аналитика; задачи и инструменты различаются» — practicum.yandex.ru (2024). https://practicum.yandex.ru/blog/napravleniya-analitiki-kakuyu-specializaciyu-vybrat/

Продуктовый аналитик

Продуктовый аналитик исследует поведение пользователей и влияние изменений на метрики продукта: активация, ретеншн, LTV (lifetime value). Формулирует и проверяет гипотезы, ставит трекинг событий, проектирует A/B-тесты, интерпретирует результаты. Помогает приоритизировать бэклог.

Это data-аналитик с сильной бизнес-ориентацией, влияющий на roadmap и рост продукта. В его зоне ответственности — понимание, что заставляет пользователей возвращаться и платить.

Маркетинговый аналитик

Маркетинговый аналитик помогает бизнесу привлекать клиентов: анализирует данные по кликам и поведению пользователей, даёт рекомендации относительно продвижения и рекламы. Советует, как скорректировать маркетинговую стратегию и оптимально распределить бюджет.

Веб-аналитик

Веб-аналитик (часто digital analyst) измеряет воронку трафика и конверсии. Источники трафика, поведение на сайте/приложении, эффекты SEO/SEA/CRM. Работает с системами веб-аналитики (Google Analytics 4, AppMetrica), UTM-разметкой, атрибуцией и сквозной аналитикой.

Задача — повысить эффективность маркетинга и конверсии, выявляя точки роста и проблемные места пути пользователя. "Почему люди уходят на этапе оформления заказа?" — типичный вопрос веб-аналитика.

BI-аналитик

BI-аналитик (Business Intelligence аналитик) проектирует системы для анализа и хранения данных, тестирует гипотезы, автоматизирует отчётность. Помогает бизнесу моделировать различные ситуации, делать правильные выводы и распределять ресурсы между отделами.

Финансовый аналитик

Финансовый аналитик оценивает доходы/расходы, прогнозирует денежные потоки, строит модели P&L (profit and loss), юнит-экономику, сценарный анализ. Применяет статистику и Excel/BI, визуализирует KPI для управленческой отчетности.

Помогает принимать решения о ценообразовании, инвестициях и оптимизации затрат. Сильная математика и аккуратность критичны — ошибка в финансовой модели может стоить компании миллионов.

Гейм-аналитик

Гейм-аналитик — специалист, рекомендации которого позволяют постоянно развивать игровой продукт, увеличивать заинтересованность пользователей, а следовательно — и прибыльность компании. Многопрофильный специалист — должен разбираться в программировании, звуке, графике и других нюансах разработки игр.

Аналитик баз данных (Database Analyst)

Аналитик баз данных проектирует и оптимизирует БД для качественного анализа. Моделирование данных, нормализация, индексы, производительность запросов. Обеспечивает доступность, целостность и корректность данных, документирует схемы.

Помогает аналитикам и инженерам, чтобы анализ данных был быстрым и надежным, без искажений и узких мест. Тот человек, который следит, чтобы "база не легла" и запросы не выполнялись по три часа.

Смежные роли: бизнес-аналитик и системный аналитик

Бизнес-аналитик и системный аналитик — отдельные профессии, которые часто путают с аналитиком данных.

Бизнес-аналитик: переводит цели компании в требования и формирует метрики успеха. Описывает бизнес-процессы, согласовывает изменения со стейкхолдерами и считает экономический эффект. Работает на стыке аналитики данных и управленческого консалтинга: собирает требования, моделирует сценарии "как есть/как будет", помогает принимать решения, оформляет спецификации для команд разработки.

Системный аналитик фокусируется на структурировании требований к IT-системам. Описывает сущности и связи, интеграции, потоки данных и ограничения. Обеспечивает непротиворечивость и полноту требований, участвует в проектировании API и схем БД, готовит спецификации, юз-кейсы и диаграммы.

Если бизнес-аналитик отвечает на вопрос "что нужно?", то системный — "как это технически реализовать?".

Аналитик данных vs Data Scientist vs BI-аналитик: в чем разница?

«Data Analyst ориентирован на оперативную аналитику и визуализацию; Data Scientist создаёт и внедряет модели машинного обучения» — dtf.ru (2024).

Главное различие: Data Analyst анализирует прошлое и настоящее, чтобы объяснить причины. Data Scientist строит модели для предсказания будущего. BI-аналитик создаёт инфраструктуру отчётности.

На старте карьеры лучше начинать с аналитика данных — вы освоите фундаментальные навыки работы с данными, научитесь формулировать вопросы и искать ответы. А потом, если захотите, сможете специализироваться в Data Science или BI-разработке.

Карьера и зарплата аналитика данных: от начинающего до ведущего специалиста

Карьерный путь обычно проходит ступени junior → middle → senior → lead/head of analytics.

Начинающий аналитик

Быстро набирает опыт работы на поддержке отчетности и простых анализах. Выполняет типовые SQL-запросы, помогает готовить дашборды, учится формулировать гипотезы.

Middle

Ведет полноценные задачи аналитика и проекты самостоятельно — от формулировки вопроса до презентации результатов. Умеет проектировать A/B-тесты, выбирать методы анализа, объяснять выводы бизнесу.

Старший аналитик

Управляет приоритетами, влияет на архитектуру данных, менторит команду. Принимает стратегические решения о том, какие метрики важнее, как строить систему аналитики в компании.

Ведущий аналитик (Head of Analytics)

Влияет на стратегические решения компании, формирует культуру работы с данными, управляет командой аналитиков.

Средняя зарплата аналитика данных в России в 2025 году

Зарплата аналитика данных растет вместе с компетенциями: навык работы с SQL/Python, владение BI-системами, статистикой и продуктовыми метриками, умение объяснять "что делать дальше" — ключ к росту.

На доход также влияют регион (Москва платит больше Воронежа), отрасль (финтех и e-commerce щедрее госсектора), масштаб компании и зона ответственности.

«Зарплаты: Junior 60–100 тыс., Middle 100–180 тыс., Senior от 180 тыс.; уровень зависит от региона и специализации» — hh.ru (2024).

Средняя зарплата по России: 112 000 ₽ в месяц. Чаще всего зарплаты находятся в диапазоне от 68 000 до 155 000 ₽. Минимальная зафиксированная зарплата — 50 000 ₽, максимальная — 450 000 ₽.

Спрос на аналитиков данных: рынок труда в России

По данным HeadHunter (январь 2025):

• Более 14 тысяч активных вакансий с запросом «аналитик данных»
• Более 40 тысяч вакансий по ключевому слову «аналитик»
• 15% вакансий предлагают полностью удалённый формат работы
• За последние 10 лет количество вакансий по анализу данных и ML в России увеличилось почти в 30 раз

«На HeadHunter более 14 тысяч вакансий для аналитиков данных» — Skillbox Media (2024).

Топ-5 отраслей с наибольшим спросом:

1. IT и разработка ПО (35% вакансий)
2. Финансы и банки (22%)
3. E-commerce и ритейл (18%)
4. Телеком (12%)
5. Маркетинг и реклама (8%)

Доля удалённых вакансий: 15% — полная удалёнка, 42% — гибридный формат (данные hh.ru, январь 2025).

Топ-3 навыка в вакансиях:

1. SQL — упоминается в 87% вакансий
2. Python — 62% вакансий
3. Power BI/Tableau — 54% вакансий

Как анализ данных помогает принимать эффективные бизнес-решения

Анализ данных снижает неопределенность и ускоряет принятие решений в компании. На основе анализа бизнес видит, какие каналы трафика реально окупаются, какие фичи продукта улучшают метрики, где теряются деньги в воронке продаж.

Результаты анализа превращаются в бизнес-решения:

• Корректировка цен на основе эластичности спроса
• Перераспределение маркетингового бюджета в пользу эффективных каналов
• Приоритизация бэклога разработки: какие функции принесут максимальный рост конверсии
• Оптимизация логистических процессов для снижения издержек

Для бизнеса это — повышение эффективности, рост прибыли и управляемость рисков. Когда метрики связаны с целями (KPI/OKR), аналитика помогает выбрать действия с максимальным эффектом при минимальных затратах.

Пример: Интернет-магазин видит в дашборде, что 40% пользователей бросают корзину на этапе ввода адреса доставки. Аналитик копает глубже — оказывается, форма требует слишком много данных и долго грузится на мобильных устройствах. После упрощения формы конверсия выросла на 12% за месяц.

Как стать аналитиком данных: обучение и курсы

Чтобы стать аналитиком данных с нуля, нужно выбрать формат обучения, отвечающий вашим целям и стилю жизни. Есть несколько путей:

1. Ускоренные интенсивы — 3-6 месяцев погружения в профессию с менторами, проектами и поддержкой в трудоустройстве. Подходят тем, кто хочет быстро сменить сферу деятельности.
2. Модульные курсы с проектами — более гибкий формат, где можно учиться в своем темпе. Обычно длятся 6-12 месяцев.
3. Самостоятельное обучение по дорожной карте — для самых дисциплинированных и мотивированных. Бесплатно, но требует железной воли и умения находить качественные материалы.

Что должна покрывать хорошая программа обучения

Хорошая программа обучения аналитике данных покрывает:

• Основы статистики (распределения, гипотезы, доверительные интервалы)
• SQL (от базовых SELECT до оконных функций)
• Python для анализа данных (pandas, numpy, matplotlib)
• Excel/Google Sheets (сводные таблицы, формулы)
• Power BI/Tableau (дашборды и визуализация)
• A/B-тестирование (методология, интерпретация результатов)
• Работу с базами данных и понимание структуры данных
• Портфолио-проекты на реальных датасетах

Сравнение форматов обучения

Выбирайте курсы аналитика данных, где много практики, код-ревью, менторство и поддержка трудоустройства — так вы быстрее получите профессию аналитика данных и сможете уверенно войти на рынок.

Например, курс аналитика данных от Sky.pro включает все эти элементы: от базовой статистики до построения дашбордов, с наставниками-практиками и помощью в трудоустройстве после завершения. Программа рассчитана на 12 месяцев и покрывает весь необходимый стек — SQL, Python, BI-инструменты, статистику и A/B-тестирование. В процессе обучения вы соберёте портфолио из реальных проектов, которое потом покажете работодателям.

Как стать аналитиком данных с нуля: пошаговый план

Шаг 1: Изучите основы (математика и статистика)

Без них никуда. Фокус на описательной статистике (среднее, медиана, стандартное отклонение), вероятностях, проверке гипотез, интерпретации p-value и доверительных интервалов.

Не нужно погружаться в матан с головой — достаточно понять базовые принципы. Ресурсы: Khan Academy, Coursera (курсы по статистике), учебник "Practical Statistics for Data Scientists".

Шаг 2: Освойте ключевые инструменты (SQL, Excel, Python)

• SQL — начните с базовых SELECT, WHERE, JOIN. Потом переходите к GROUP BY, подзапросам, оконным функциям. Практика на SQL Zoo, LeetCode, HackerRank.
• Excel/Google Sheets — сводные таблицы, ВПР, условное форматирование. Попробуйте решить несколько кейсов на обработку данных.
• Python — начните с библиотек pandas (работа с таблицами) и numpy (математика). Jupyter-ноутбуки для документирования анализа.
• Ежедневная практика — ключ. Даже 30 минут в день дадут результат через несколько месяцев.

Шаг 3: Пройдите курс или учитесь самостоятельно

Если выбираете курсы — смотрите на программу (покрывает ли все необходимое), отзывы выпускников, наличие менторства и практических проектов.

Если учитесь сами — составьте дорожную карту, найдите публичные датасеты (Kaggle, data.gov), решайте задачи, изучайте чужие решения.

Важны код-ревью и обратная связь. Если учитесь сами — ищите комьюнити (Reddit, Telegram-чаты аналитиков), делитесь своими решениями, просите фидбэк.

Шаг 4: Соберите портфолио

Проекты на реальных датасетах — ваша визитная карточка. Kaggle, публичные API (Twitter, OpenWeatherMap), открытые данные правительств.

Примеры проектов для портфолио:

• Анализ розничных продаж с прогнозом на следующий квартал
• Исследование факторов, влияющих на отток клиентов
• Дашборд с метриками сайта (трафик, конверсия, источники)
• A/B-тест изменения на сайте с расчётом статистической значимости

Структура портфолио-проекта на GitHub:

project-name/

├── README.md (описание, цели, выводы)

├── data/ (сырые данные или ссылки)

├── sql/ (SQL-скрипты для выгрузки)

├── notebooks/ (Jupyter-ноутбуки с анализом)

├── dashboards/ (скриншоты или файлы BI)

└── docs/ (дополнительная документация)

Для каждого проекта — описание задачи, ход решения, выводы и рекомендации. Оформите на GitHub или в Jupyter-ноутбуке.

Шаг 5: Подготовьтесь к собеседованию и начните поиск

Алгоритм:

1. База SQL/статистики — решайте задачи на LeetCode/HackerRank
2. Разбор кейсов — подготовьте истории из портфолио в формате STAR (Situation, Task, Action, Result)
3. Мок-интервью — потренируйтесь с друзьями или менторами
4. Вакансиймейкинг — откликайтесь на позиции junior/стажёр, не бойтесь отказов

Типичные вопросы на собеседовании:

• Как посчитать median через SQL без функции MEDIAN?
• Объясните разницу между LEFT JOIN и INNER JOIN
• Как проверить, значимо ли отличие конверсий в A/B-тесте?
• Расскажите про ваш проект из портфолио

15 типовых вопросов для подготовки

SQL

1. Как вывести топ-3 товара по продажам за последний месяц?

2. В чём разница между HAVING и WHERE?

3. Что такое оконные функции и когда они нужны?

Статистика

4. Что такое p-value и как его интерпретировать?

5. В чём разница между корреляцией и причинно-следственной связью?

6. Как рассчитать размер выборки для A/B-теста?

Продукт и метрики

7. Как посчитать retention 7-го дня?

8. Что такое когортный анализ?

9. Чем отличается MAU от DAU?

Практические кейсы

10. Конверсия в оформление заказа упала на 20%. С чего начнёте?

11. Как проверить, что новая фича увеличила время в приложении?

12. Как определить, какой канал трафика самый выгодный?

Визуализация

13. Когда использовать столбчатую диаграмму, а когда — линейный график?

14. Как построить дашборд для CEO?

15. Что такое dashboard fatigue и как его избежать?

Плюсы и минусы профессии аналитика данных

Типичный рабочий день аналитика данных

Утро (9:00–11:00): Синхронизация с командой (стендап/созвон), проверка алертов по метрикам. Если что-то упало или выросло аномально — копаем причины.

До обеда (11:00–14:00): SQL/Python, подготовка данных, краткий исследовательский анализ (EDA). Проверка гипотезы из вчерашнего дня: ""А правда ли новая версия приложения повлияла на конверсию?""

После обеда (14:00–17:00): Визуализация в BI-системе, подготовка отчета или презентации для команды продукта. Иногда — созвон с маркетингом, где объясняешь, почему их последняя кампания не окупилась.

Вечер (17:00–18:00): Обсуждение рекомендаций с владельцами задач (product manager, маркетологи), планирование экспериментов на следующую неделю. Запись выводов и следующих шагов в Notion/Confluence.

Конечно, каждый день — разный. Иногда весь день уходит на расследование одной аномалии в данных. Иногда — на подготовку презентации для топ-менеджмента. А иногда просто сидишь и ждёшь, пока выполнится тяжёлый SQL-запрос.

Часто задаваемые вопросы (FAQ)

Нужен ли диплом программиста или математика, чтобы стать аналитиком данных?

Нет, не обязательно. Но базовая математика и статистика — обязательны. Диплом можно компенсировать портфолио проектов, курсами и реальным опытом работы. Работодатели смотрят на навыки, а не на корочки.

Можно ли войти в профессию после 30 или 40 лет?

Да, абсолютно. Рынок ценит опыт в предметной области (финансы, логистика, маркетинг), системное мышление и результаты. Возраст — не барьер, если есть мотивация и готовность учиться.

Многие успешные аналитики пришли в профессию после 35, имея опыт в совершенно других сферах — и это стало их преимуществом, потому что они лучше понимают бизнес-контекст.

Сколько времени занимает обучение на аналитика данных?

3–6 месяцев интенсивно с менторством (если учитесь на курсах с поддержкой) или 6–12 месяцев при самостоятельном обучении. Всё зависит от стартового уровня и времени, которое вы готовы вкладывать ежедневно (рекомендуется 8–10 часов в неделю).

Если у вас есть техническое образование или опыт работы с Excel/SQL — будет быстрее. Если начинаете с нуля — запаситесь терпением и дисциплиной.

Где аналитику-новичку искать первую работу?

Стажировки, junior-вакансии (на hh.ru, LinkedIn), проектная работа, фриланс-проекты на Upwork/Kwork. Упор на портфолио и пет-проекты — покажите, что вы умеете делать.

Не бойтесь отказов. Первые 10-20 откликов могут остаться без ответа — это нормально. Продолжайте учиться, дорабатывайте портфолио, пробуйте снова.

Также полезно:

• Участвовать в хакатонах и data-челленджах
• Публиковать анализы на GitHub/Kaggle
• Писать статьи на Habr/Medium о своих проектах
• Нетворкинг в профессиональных комьюнити (митапы, Telegram-чаты)

Нужен ли английский язык?

Для чтения технической документации желателен уровень Pre-Intermediate (A2-B1). Многие библиотеки, фреймворки и best practices описаны на английском. Для работы в международных компаниях потребуется уровень Intermediate (B1-B2) и выше.

Заключение

Аналитик данных — профессия для тех, кто любит копаться в цифрах, задавать вопросы и искать ответы. Не просто ""человек с Excel"", а специалист, который помогает бизнесу принимать обоснованные решения и расти.

В 2025 году спрос на аналитиков продолжает расти вместе с объёмами данных. Зарплаты достойные, перспективы — широкие (можно расти вертикально до Head of Analytics или горизонтально в Data Science/Product Management).

Чтобы стать аналитиком данных с нуля, нужно освоить SQL, Python, статистику, BI-инструменты, собрать портфолио и научиться объяснять выводы простым языком. Это реально за 6-12 месяцев при должной мотивации.

Да, будут сложности: рутина с очисткой данных, ответственность за правильность выводов, необходимость постоянно учиться. Но если вам нравится разбираться в сложном и влиять на решения — эта профессия для вас.

Что делать в ближайшие 30 дней:

1. Пройдите бесплатный вводный модуль курса по аналитике данных
2. Решите 5-10 задач по SQL на LeetCode/HackerRank
3. Выберите публичный датасет на Kaggle и попробуйте сделать простой анализ
4. Создайте репозиторий на GitHub для своих проектов
5. Вступите в 2-3 Telegram-чата для аналитиков
6. Прочитайте "Статистика и котики" или "Naked Statistics"

Начните с малого: пройдите бесплатный курс по SQL, попробуйте проанализировать открытый датасет, соберите первый дашборд. Через несколько месяцев вы удивитесь, как далеко продвинулись.

Удачи! И помните: каждый эксперт когда-то был новичком, который не знал разницы между LEFT JOIN и INNER JOIN.

Ерид: 2SDnjcnJk3q РД: ОАНО ДПО «СКАЕНГ» ИНН 9709022748

Теперь, помимо поездок, водители отмечают объекты на фотографиях, сортируют текст или классифицируют чеки для платформы Uber AI Solutions. Эти данные используются для обучения моделей ИИ в таких сферах, как генеративный AI, автономный транспорт и цифровые сервисы. Среди клиентов сервиса — Niantic и Aurora.

«Uber AI Solutions запускает пилотную программу в 12 городах Индии, которая позволяет водителям увеличивать свой доход, выполняя цифровые задания прямо в приложении Uber. До сих пор в Индии и других странах такие задачи, как маркировка, классификация текста, подсчёт предметов и оцифровка чеков, выполнялись независимыми подрядчиками вне приложения», — написала Мегха Йетхадка, глобальный руководитель Uber AI Solutions.

По словам главы Uber AI Solutions, программа позволяет водителям зарабатывать дополнительно во время простоев, а для Uber — расширять бизнес в области ИИ-услуг. Если пилотный проект окажется успешным, инициативу планируют вывести на другие рынки.

Рост интереса к этой сфере связан и с перестройкой рынка: после покупки Scale AI компанией Meta (запрещена в России) за $14,3 млрд многие крупные клиенты (включая Google и OpenAI) ищут альтернативных партнёров для разметки данных. Uber намерен занять освободившуюся нишу.

Я всё думаю над тем, о чём говорить на своём канале. Казалось бы, инфы в интернете — вагон и маленькая тележка: бери, читай, вдохновляйся. Но вот что удивительно — про то, как тестировать данные, как они перетекают из одной таблицы в другую и не превращаются в тыкву, пишут мало.

А зря.

За свою практику я встречала разные подходы к организации Data QA. В этой статье я расскажу про самый простой и быстрый вариант, который можно «собрать на коленке», а потом уже развивать. С примерами кода и тем, зачем SQL нам нужен в этой жизни.

И небольшой дисклеймер. Если вы знаете, как сделать это на Python стильно модно молодежно, обязательно напишите мне об этом в комментариях, я с удовольствием почитаю про ваш подход.

Также подписывайтесь на мой ТГ, который я почти не веду.

Базовый сценарий

1. Есть таблица-источник source_table.
2. Разработчик запускает свой код (Spark, Airflow или что у него там), и данные магическим образом перекладываются + преобразуются.
3. На выходе получаем result_table.

Вопрос: как это тестировать?

Самый быстрый и простой путь

Подготовка:

1. Создаём таблицу-источник.
2. Наполняем её данными (синтетика или реальные примеры с прода).

Действие:

1. Запускаем ETL код.
2. Сравниваем данные «как было» и «как стало».

После теста:

1. Удаляем таблицу-источник.
2. Удаляем таблицу-приёмник.

На коленке это можно собрать так:

1. CREATE TABLE …
2. INSERT INTO …
3. Ручной запуск пайплайна (Spark/Airflow).
4. Какой-нибудь скрипт для сравнения результатов.

Рабочая схема? Да.

Удобная? Нет.

Где хранить эти скрипты?

Можно, конечно, прилепить их к задаче в Jira в виде файликов. Но выглядеть это будет как «фигня на палке». Через месяц никто не вспомнит, что это было и зачем.

Поэтому я решила собрать свой Python-проект для автоматизации. А вы можете склепать себе такой же, и жизнь сразу станет легче.

Архитектура проекта

Минимальный стек

1. Utils — мелкие, но полезные

Здесь мы храним всякую мелочёвку. Например, функцию для открытия JSON:

Важно отметить, что данные я всегда стараюсь хранить в виде массива с json. Так удобнее использовать.

2. APIClient — для триггеров

Здесь всё максимально тривиально: клиент для вызова API и запуска ETL джоб.

3. PostgreSQLClient — основной игрок

Класс для подключения, запросов, создания таблиц, вставки данных и удаления.

Фикстуры (conftest.py)

API фикстуры

Я показываю пример, как поднимаю один API клиент. Но у вас их может быть много: например, разные сервисы или разные перекладчики.

DB фикстура

Пример для дефолтной PostgreSQL, но вы можете добавить фикстуры для поднятия GreenPlum или ClickHouse.

Как хранить данные?

А теперь самый сок, которым я обмазываюсь сейчас.

Конечно, можно создать отдельный скрипт на чистом sql для создания и редактирования своих табличек: больших и маленьких. Но, если честно, это так *цензура* неудобно.

Поэтому я придумала хранить схему и данные в отдельных json файлах и налету генерить скрипты. Да, Америку я вновь не открываю, и очень жаль.

В директории тестов я создала папку resources, где храню эти файлы.

Конечно, в таком виде вы не передадите ничего в Postgres и ничего не слепите. Так что я услужливо предоставляю вам код, чтобы вы его копировали и вдохновлялись.

Вы можете взять и пропихнуть эти куски кода прямо в тело теста, но я предпочитаю оборачивать это дело в фикстуры-управленцы, которые будут делать это за меня и записывать отдельными шагами в Алюр:

Отдельное удовольствие мне даёт вот эта строчка кода db_client:PostgreSQLClient.Она значит, что если так вышло, что у меня есть куча разных PostgesSql, я могу в эту фикстуру прокинуть нужный мне клиент без дополнительных приседаний. И это, конечно, прекрасно.

Пример: подготовка данных

Самые внимательные уже заметили, что в примере выше я поднимала postgres-клиента.

Так что разницы почти никакой (ну, кроме тех случаев, когда внезапно очень даже есть 🙃).

И сам тест

Конечно, можно сравнивать всё это дело через всякие прослойки типа Pandas.

Но, камон, у меня что, куча времени сидеть, читать доки и писать суперсложные датафреймы ради пары простых проверок? Нет.

Позвольте мне радостно строчить свой первозданный код с дефолтными проверками и быть довольной этим минимализмом.

Это я отвлеклась. Вот такой код у меня получается. Я не очень люблю сверять даты и названия таблиц, у меня генерит тест на лету:

Итог

• Ручные скрипты → боль и страдания.
• Автоматизация через Python+pytest → быстро, удобно, воспроизводимо.
• JSON-файлы позволяют хранить схемы и данные в читаемом виде.
• Allure даёт красивые отчёты.

В итоге у вас появляется настоящий фреймворк для Data QA, который легко расширять и масштабировать.

В рамках интенсива участники получат возможность освоить ключевые инструменты современного аналитика: язык программирования Python и популярные библиотеки для работы с данными, включая pandas, scikit-learn и streamlit. Особое внимание будет уделено машинному обучению и разработке минимально жизнеспособных продуктов (MVP) для решения реальных бизнес-задач.

Программа построена вокруг практической работы с актуальными кейсами Газпромбанка. Студенты смогут попробовать свои силы в прогнозировании просрочек, скоринге клиентов, создании персональных продуктовых рекомендаций, оценке малоликвидных активов и анализе текстовых отзывов с использованием методов NLP.

К участию приглашаются студенты 3–4 курсов, интересующиеся математическим моделированием и анализом данных. От кандидатов ожидается знание основ Python, базовый опыт работы с машинным обучением и владение английским языком на уровне Intermediate и выше.

Организаторы берут на себя все расходы по обучению, проживанию и питанию участников. Проезд до места проведения интенсива оплачивается самостоятельно или за счет учебного заведения. Наиболее успешные выпускники получат возможность присоединиться к команде Газпромбанка.

Программа стартует в декабре 2025 года. Подать заявку можно до 10 сентября. Подробная информация и регистрация доступны на сайте университета.

История IT представляет собой череду волн автоматизации, каждая из которых радикально меняла требования рынка и подходы к разработке. Эти волны не просто внедряли новые технологии — они трансформировали бизнес-модели, создавали новые профессии и переопределяли ценность специалистов. Предлагаю исторически взглянуть на роль аналитиков и трансформацию их роли и задач

1. Первая волна (1950-1970): автоматизация вычислений и зарождение системного анализа

Технологический ландшафт:

• Мейнфреймы и перфокарты.

• Языки программирования низкого уровня (COBOL, Fortran). Первые базы данных (IBM IMS, 1966)

Требования рынка:

• В эту эпоху IT был уделом узких специалистов — инженеров, способных «общаться» с машинами на их языке. Ключевым требованием было глубокое понимание аппаратной части и умение оптимизировать крайне ограниченные вычислительные ресурсы.

IT-рынок труда:

• Крайне узкий сегмент, доступный только специалистам с инженерным образованием.

• Практически отсутствует конкуренция за рабочие места — спрос значительно превышает предложение.

• Зарплаты в 2-3 раза выше средних по экономике (аналогично современным «золотым воротничкам»).

Появление аналитиков:

• Прообразом современных аналитиков стали «системные аналитики», которые переводили бизнес-задачи на язык машинных инструкций. Их роль была технической — декомпозиция задач для программистов. Анализ ограничивался оптимизацией алгоритмов и распределением памяти.

• Пример: В банковском секторе системные аналитики проектировали схемы обработки транзакций, сократив время операций с дней до часов.

2. Вторая волна (1970-1990): децентрализация и первые корпоративные системы

Технологические прорывы:

• Персональные компьютеры
• Электронные таблицы (VisiCalc)
• Прообразы CRM (ACT! 1987)
• Начало ERP-систем (SAP R/2)Требования рынка:
• Умение адаптировать технологии для бизнес-пользователей
• Развитие интерфейсов «человек-машина»
• Понимание основ бизнес-процессов
• IT-рынок труда:
• Появление массового спроса на IT-специалистов в бизнесе
• Формирование «рынка кандидата» — компании конкурируют за ограниченное число специалистов
• Зарождение IT-рекрутинга как отдельного направления
• Начало гендерного дисбаланса — доля женщин в IT падает с 30-40% до 15-20%
• Выпускники компьютерных специальностей получали 2-3 оффера до окончания вузаЭволюция анализа:
• Появление «бизнес-аналитиков» как моста между IT и менеджментом
• Аналитики начинают работать с требованиями стейкхолдеров
• Возникает необходимость в первичной документации процессов
• Формируются первые методики сбора требованийПример: Внедрение Excel потребовало от аналитиков не только технических навыков, но и понимания финансовых моделей, что сократило ошибки в расчетах на 90%.

IT-рынок труда:

• Появление массового спроса на IT-специалистов в бизнесе
• Формирование «рынка кандидата» — компании конкурируют за ограниченное число специалистов
• Зарождение IT-рекрутинга как отдельного направления
• Начало гендерного дисбаланса — доля женщин в IT падает с 30-40% до 15-20%
• Выпускники компьютерных специальностей получали 2-3 оффера до окончания вуза

Эволюция анализа:

• Появление «бизнес-аналитиков» как моста между IT и менеджментом
• Аналитики начинают работать с требованиями стейкхолдеров
• Возникает необходимость в первичной документации процессов
• Формируются первые методики сбора требованийПример: Внедрение Excel потребовало от аналитиков не только технических навыков, но и понимания финансовых моделей, что сократило ошибки в расчетах на 90%.

3. Третья волна (1990-2010): интернет-революция и комплексные системы

Ключевые технологии:

• CRM (Salesforce)
• WMS (Manhattan Associates)
• Полноценные ERP (SAP R/3)
• Веб-технологии

Требования рынка:

• Требования рынка:
• Интеграционные компетенции
• Понимание сквозных бизнес-процессов
• Управление сложными проектами
• Работа с большими объемами данныхIT-рынок труда:
• Взрывной рост спроса на веб-разработчиков (до +400% за 1995-2000 гг.)
• Формирование глобального аутсорсинга (Индия, Восточная Европа)
• Появление «звездных» зарплат в Кремниевой долине (первые миллионные пакеты)
• Начало «войны за таланты» — компании внедряют реферальные программы и опционыРасцвет аналитиков:
• Аналитики становятся архитекторами бизнес-процессов
• Появление специализаций: бизнес-аналитики, системные аналитики, data-аналитики
• Критическая важность моделирования процессов и данных
• Развитие UML и других стандартов визуализацииПример: Внедрение WMS в Amazon сократило время сборки заказов с 3 часов до 30 минут благодаря глубокому анализу логистических цепочек.

IT-рынок труда:

• Взрывной рост спроса на веб-разработчиков (до +400% за 1995-2000 гг.). Формирование глобального аутсорсинга (Индия, Восточная Европа).

• Появление «звёздных» зарплат в Кремниевой долине (первые миллионные пакеты).

• Начало «войны за таланты» — компании внедряют реферальные программы и опционы.

Расцвет аналитиков:

• Аналитики становятся архитекторами бизнес-процессов.

• Появление специализаций: бизнес-аналитики, системные аналитики, data-аналитики.

• Критическая важность моделирования процессов и данных.

• Развитие UML и других стандартов визуализации

• Пример: Внедрение WMS в Amazon сократило время сборки заказов с 3 часов до 30 минут благодаря глубокому анализу логистических цепочек.

4. Четвертая волна (2010-2020): Big Data и гиперавтоматизация

Технологические тренды:

• Облачные CRM.
• AI в WMS.
• RPA (UiPath).
• Платформы аналитики

Требования рынка:

• Работа с неструктурированными данными.
• Навыки предиктивной аналитики.
• Интеграция AI/ML в бизнес-процессы.
• Управление цифровыми продуктами.

IT-рынок труда:

• Острейший дефицит Data Scientists (соотношение вакансий к кандидатам 5:1).

• Массовый переход на удаленный формат (до 60% IT-специалистов работают удалённо).

• Резкий рост зарплат в AI/ML (до $300-500 тыс. в FAANG). Появление «цифровых кочевников» — глобальная конкуренция за топ-специалистов.

• Забавный факт: в 2019 году 43% IT-специалистов меняли работу ежегодно ради 20-30% прироста зарплаты

Трансформация аналитики:

• Аналитики осваивают Data Science.

• Появление «цифровых двойников» бизнес-процессов.

• Активное использование имитационного моделирования.

• Смещение фокуса на customer journey и UX.

• Пример: ИИ-аналитика в CRM повысила точность прогноза продаж на 40% благодаря работе аналитиков с алгоритмами машинного обучения.

5. Пятая волна (2020-наше время): Agentic AI и автономные системы

Современные технологии:

• Автономные ИИ-агенты.
• Генеративный ИИ.
• Квантовые вычисления.
• Гиперсинтетические данные.

Требования рынка:

• Требования рынка:
• Управление ИИ-системами
• Этика искусственного интеллекта
• Работа в гибридных (человек+ИИ) командах
• Непрерывная адаптация к меняющимся технологиям.

Текущее состояние рынка:

• Резкое охлаждение: в 2023-2024 массовые увольнения в Big Tech (Meta -11%, Google -6%).

• Конкуренция на позиции Junior: 8 резюме на 1 вакансию (против 1:3 в 2021).

• Снижение зарплат на 30% для новых сотрудников.

• Критический спрос на AI/ML-специалистов (+40% вакансий в 2024). При общем спаде, 72% компаний испытывают сложности с наймом senior-специалистов.

Роль аналитиков сегодня:

• Аналитики становятся «тренерами ИИ», формируя промпты и обучающие наборы. Критически важны навыки валидации решений ИИ.

• Управление «цифровой экологией» — балансом между автоматизацией и контролем. Разработка онтологий для Agentic AI.

• Инсайт: по данным исследований, 72.3% команд уже активно используют ИИ в тестировании, а ESB-платформы с low-code инструментами сокращают потребность в junior-разработчиках на 50%.

Будущее (2025-2030): что потребует рынок?

Прогнозируемые тренды:

1. Полная автономность: ИИ-агенты будут самостоятельно проводить анализ требований и адаптировать системы, но потребуют «наблюдателей» из числа аналитиков.
2. Живая аналитика: системы реального времени с прогнозными возможностями станут стандартом, увеличивая спрос на аналитиков-интерпретаторов.
3. Этическая автоматизация: возникнет новая специализация — аудиторы алгоритмов и цифровых процессов.
4. Гибридные навыки: аналитики будущего будут сочетать технические компетенции с психологией и философией.
5. Персонализация в масштабе: как отмечают эксперты, в 2025 году маркетинговая аналитика достигнет уровня, когда контент будет динамически адаптироваться даже под настроение пользователя.

Роль аналитиков в 2030:

• Архитекторы цифровых экосистем: проектирование взаимодействий между автономными агентами
• Кураторы данных: обеспечение качества информации для ИИ
• Послы цифровой этики: контроль за соблюдением моральных норм в автоматизированных системах
• Трансляторы смыслов: интерпретация решений ИИ для человека

Будущее (2025-2030): прогнозы по рынку труда

1. Поляризация спроса: сокращение junior-позиций на 50% из-за low-code/AIРост потребности в senior+ на 35% (центры компетенций).
2. Сокращение junior-позиций на 50% из-за low-code/AI.
3. Рост потребности в senior+ на 35% (центры компетенций).

Новые профессии:

1. Новые профессии: Промпт-инженеры (ожидается 1 млн вакансий к 2027)AI-аудиторы (законодательные требования).
2. Цифровые этики (контроль bias в алгоритмах).
3. AI-аудиторы (законодательные требования).

Геополитический фактор:

• Локализация IT-кадров (снижение офшоринга на 25%).

• Рост региональных хабов (Казань, Новосибирск, Екатеринбург). Локализация IT-кадров (снижение офшоринга на 25%).

• Рост региональных хабов (Казань, Новосибирск, Екатеринбург).

• Экспертная оценка: «Рынок переходит от количественного роста к качественному отбору — востребованы будут только T-shaped специалисты».

Аналитический вывод: цикличность рынка

История показывает три ключевых паттерна:

1. Каждая технологическая волна сначала создает дефицит кадров, затем их избыток.
2. Автоматизация сокращает рутинные позиции, но многократно увеличивает ценность экспертизы.
3. «Золотой век» любой IT-специальности длится 7-10 лет, требуя постоянного переобучения
4. Рекомендация для специалистов — фокусироваться на развитии:

• Гибких навыков (критическое мышлени, креативность)
• Доменной экспертизы (глубокая отраслевая специализация)
• Навыков работы с AI-инструментами

В статье расскажем, с чего начать тем, кто хочет зайти в ML с практической стороны. Дадим информацию о стеке, который используется в реальных проектах и поможет собрать свой первый рабочий ML-сервис.

Сначала выберитесь из симулятора

Начинать сразу с нейросети — это как пытаться собрать космический корабль, когда ещё не знаешь, как держать отвёртку. Если сразу нырять в модели, как делают на многих курсах, то совсем скоро наступает эффект симулятора. Вы отлично справляетесь в учебной среде, но стоит попытаться применить всё в реальной системе, как внезапно ничего не работает. Как будто учились водить на автодроме, а потом выехали в час пик на МКАД.

Если вы правда хотите зайти в ML, начните не с курсов, а с вопроса — что это вообще за область? В 2025 году машинное обучение — это десятки направлений, а не просто учим Python и запускаем GPT.

Многие новички кидаются в ML, потому что это тренд. Потом сталкиваются с тем, что у них всё лагает. Чтобы избежать этого, нужна база — научиться писать нормальный код и читать чужой. Другими словами, стать крепким инженером-программистом.

Это не обязательно человек с дипломом MIT и 10 годами в FAANG. В первую очередь, это разработчик, который умеет думать системно и собирать рабочие решения.

Вот его ключевые харды:

• умеет строить сервисы — разбирается, как модули общаются друг с другом;
• дебажит код — понимает, где и почему всё лажает;
• пишет тесты, чистый код, умеет проводить код-ревью;
• владеет Git и CI/CD;
• понимает, как автоматизировать запуск и деплой моделей в продакшн.

В реальных ML-проектах модель — это лишь одна часть системы. Чаще всего модель должна работать внутри веб-сервиса, обрабатывать реальные данные, взаимодействовать с другими модулями, логировать ошибки и масштабироваться под нагрузкой. Именно здесь вступает в игру инженер.

По данным исследования 365 Data Science, в 78% вакансий data scientist в 2023 году требовался Python, а в 2024‑м — в 57%. Python — это универсальный язык для всего ML-стека: от загрузки данных и визуализации до построения нейросетей и взаимодействия с API. Его поддерживают почти все библиотеки в ML. Легко подключить нужные инструменты, а не писать код с нуля. Например:

• scikit-learn — простая и понятная библиотека для классических моделей (логистическая регрессия, деревья решений).
• PyTorch и TensorFlow — два основных фреймворка для работы с нейросетями. Они позволяют строить простые модели для начинающих и сложные, многослойные архитектуры для продвинутых задач.
• Hugging Face Transformers — библиотека с готовыми моделями, которые умеют работать с текстом (например, перевод, суммаризация, генерация).
• LangChain — инструмент, который помогает собирать ассистентов на базе языковых моделей.

Если вы знаете Python, можете взять любую из этих библиотек и сразу пробовать писать код.

Чтобы комфортно работать с ML-инструментами, важно уверенно обращаться с базовыми возможностями языка. Это нужно, чтобы не спотыкаться о синтаксис и не тратить время на борьбу с окружением:

• Писать чистые функции и классы, использовать list comprehensions — чтобы ваш код легко могли читать другие, и он не превращался в кашу при росте проекта.
• Работать с pip и виртуальными окружениями (venv, poetry) — чтобы проекты не конфликтовали между собой, а зависимости не ломались при каждом обновлении.
• Читать и использовать чужой код, особенно в open source — потому что почти всё в ML строится на готовых библиотеках и чужих решениях. Понимать чужой код — значит, адаптировать, дебажить и развивать решения быстрее.

C++ встречается гораздо реже — например, в проектах, связанных с оптимизацией скорости работы модели, inference на edge-устройствах или в библиотечном ядре фреймворков. Это уровень хард, где начинающим пока делать нечего.

Что поможет выжить: теория без перегруза

Машинное обучение — это прикладная статистика и немного линейной алгебры. Не нужно знать всё, чтобы начать. Нужно разобраться в основах, чтобы понимать, что вообще происходит в модели и почему она работает:

• Что такое модель. Это формула или набор правил, которые помогают находить закономерности в данных — например, отличать спам от нормальных писем.
• Как она учится. Модель смотрит на примеры из прошлого — обучающую выборку. Она подбирает внутренние параметры и учится предсказывать результат. После этого модель нужно проверить на новых данных, чтобы понять, не переучилась ли она. Если слишком точно запомнила обучающие примеры, может угадывать, вместо того, чтобы выявлять общие закономерности. Такая модель отлично работает на старых данных, но даёт много ошибок на новых — это и называется переобучением (overfitting).
• Почему accuracy = 99% — не всегда хорошо. Допустим, у вас 99% нормальных отзывов и 1% фейков. Модель, которая всегда отвечает «всё нормально», покажет 99% точности — но не найдёт ни одного фейка. Поэтому важны другие метрики: precision — точность срабатываний, recall — насколько хорошо находит редкости, F1-score — баланс между ними.
• Что такое трансформеры и эмбеддинги. Трансформеры — архитектура нейросетей, которая хорошо работает с текстами. Эмбеддинги — способ превращать текст или объекты в набор чисел, с которыми можно работать как с векторами. Например, GPT — это трансформер с эмбеддингами.
• Где грань между знанием и применением. Вы не обязаны самостоятельно выводить формулы, но нужно понимать: модель может ошибаться. В идеале ещё хорошо бы знать, как это проверить.

В комментариях дадим ссылки на бесплатные онлайн-курсы по ML, подходящие для быстрого старта.

Как работает обученная модель — заглянем под капот ML-проектов

Обучить модель — это только половина дела. Чтобы она действительно приносила пользу, её нужно обернуть в сервис и внедрить в продуктовую цепочку. Здесь начинается работа с инфраструктурой. Вот как это выглядит на практике:

• API — кнопка «позвать модель» в сервисе. Без неё никто не сможет использовать продукт. Например, фрейм FastAPI помогает обернуть модель в веб-приложение, чтобы она принимала запросы через интернет.
• Docker — контейнер, в который вы собираете всю модель, зависимости и окружение. Благодаря этому код работает одинаково у вас на ноутбуке и у коллеги в облаке.
• Облачные сервисы типа AWS, GCP и Kubernetes — позволяют автоматически запускать и масштабировать модели в продакшене. Если у вас тысячи пользователей, система сама создаст нужное количество копий модели и будет следить, чтобы всё работало.
• Очереди и базы данных (Kafka, Redis, PostgreSQL) — позволяют обмениваться данными между частями системы. Kafka принимает потоки данных в реальном времени, Redis — быстро отдаёт часто запрашиваемое.
• Мониторинг и логирование (OpenTelemetry, Grafana, Sentry) — чтобы понимать, когда модель ломается, тормозит или начинает давать странные ответы.
• CI/CD — чтобы можно было обновлять модель и код автоматически. Например, после пуша в GitHub система сама собирает и выкатывает новую версию.
• Хранилища артефактов (MLflow, Weights & Biases) — журналы экспериментов. Они позволяют отслеживать, какая модель была обучена, на каких данных, с какими параметрами и как себя вела.

По данным Wallaroo.AI, путь от модели до продакшена в компаниях обычно занимает от 31 до 90 дней, а иногда — больше года. Только 13% моделей доходят до боевого запуска. Всё из-за того, что инфраструктура сложнее, чем сама модель.

Соберите агента из кубиков

Многие не тренируют свои модели с нуля, а используют LLM (large language model). Это большие языковые модели, обученные на огромных объёмах текста. Они понимают человеческий язык и генерируют его сами. Для обращения к модели нужен API, как канал связи с мозгом. Вы пишете запрос, она отвечает.

Примеры популярных LLM:

• GPT (Open AI)
• Claude (Ahtropic)
• Llama (Meta*)
• Gemini (Google)

*Meta признана экстремистской организацией и запрещена в России

А если вы хотите, чтобы бот делал цепочку действий, нужен LangGraph. Это библиотека, которая собирает многошаговые сценарии. Например, пользователь пишет в чат: «Помоги написать жалобу в банк».

Что делает агент:

1. Определяет суть запроса.
2. Запрашивает пользовательские данные.
3. Подставляет шаблон.
4. Формирует письмо.
5. Возвращает готовый текст.

Аналогично можно строить агентов для поддержки, ассистентов, генераторов контента.

Как не потеряться в AI-шуме

Каждую неделю появляются десятки новых инструментов, библиотек, фреймворков. Это создаёт иллюзию: «чтобы не отстать, надо учить всё».

Чтобы не страдать от FOMO (fear of missing out) — страха пропустить что-то важное:

• Следите за 2–3 проверенными источниками
• Не скачивайте каждый новый хайповый инструмент — спросите себя: «Я это реально буду использовать?»
• Не гонитесь за громкими названиями (AutoGPT, Agentic Framework, Prompt Flow), потому что они приходят и уходят.

Лучше знать, как стабильно задеплоить простую модель, чем разобраться в десятке фреймворков, которыми никто не пользуется.

Полезные источники:

• Блоги и сайты: OpenAI, Google DeepMind, Hugging Face, KDnuggets, The Gradient, MarkTechPost, Distill
• Рассылки: The Rundown AI, TLDR AI, Ben’s Bites, The Batch, Import AI
• Telegram-каналы: Chat GPT, DeepLearning_ai, Machine Learning, Data Science Info

Подпишитесь на пару из каждой категории, чтобы оставаться в курсе, но не утонуть в потоке.

Хватит читать туториалы — пора наступать на грабли

Самый важный навык — уметь разбираться в новом. На курсах вы получаете теорию, но настоящий рост начинается, когда вы сами что-то строите.

Что можно сделать на старте:

• Ассистент для обработки писем с GPT + LangGraph.
• Модель, которая предсказывает, когда тебе пора за кофе, по данным с ноутбука.
• Классификатор отзывов на сайте + FastAPI + Docker.
• Парсер, который берёт данные с сайта, и ML-модель, которая классифицирует категории.

Пытаться сразу охватить весь ML, особенно на старте, тяжело и вредно. Лучше выбрать конкретную область, формализовать, какие умения там нужны, и двигаться оттуда. Иначе вы рискуете знать всё понемногу, но не уметь ничего всерьёз. Даже сейчас, с появлением Foundation и Multimodal Models, нет массовых вакансий, где нужно уметь всё.

Где искать задачи и проекты:

• GitHub. Используйте теги machine-learning, open-source, good first issue.
• Kaggle, OpenML. Участвуйте в соревнованиях и совместных проектах по анализу данных.
• Фриланс-биржи. На Upwork, Freelancer, PeoplePerHour, Workana часто появляются заказы на ML-разработку, обучение моделей, создание аналитических инструментов.

• Профильные сообщества и форумы. Мониторьте Reddit, специализированные Telegram-каналы, Slack-группы.

С чего стоит начинать путь в ML в 2025 году

• Без базовых навыков разработки всё будет ломаться и тормозить.
• Python — основной язык.
• На старте нужно знать, как учатся модели, какие бывают, как их проверять.
• Для любой production-модели нужны API, Docker, базы, логирование.
• В продукте часто используют готовые модели через OpenAI/Anthropic API, а не обучают свои.
• Необязательно учить каждую новинку и читать 10 рассылок каждый день.
• Пет-проекты, опенсорс и фриланс дают реальный рост.
• Сейчас всё быстро меняется, важно уметь учиться и не паниковать.

Читайте также:

• 7 курсов, с которых реально стартуют в IT в 2025
• Великий ИИ-провал: почему 8 из 10 компаний, внедривших нейросети, не заработали ни цента
• История одного пет-проекта: как я утомился от SQL и создал ИИ-сервис для обучения
• DeepSeek или Claude: какая нейросеть напишет код, за который не стыдно?
• Рейтинг курсов по Machine Learning, включая бесплатные программы по машинному обучению

Data QA Елизавета Якушева побывала на конференции специально для Tproger и поделилась самым важным.

Вот и отгремела PyCon в Москве. Мероприятие продлилось два дня — с докладами, мастер‑классами, lightning talks, спринтами для ~700 участников и 20+ докладчиками. Рассказываем, какие тренды и боли обозначили эксперты индустрии.

Основная тема этого сезона — Python Core. Речь про внутренности языка, новые фичи, интерпретаторы, оптимизацию и профилирование. Конечно, никуда без тестирования, ML и Data Science. Отдельными важными темами стали асинхронность, интеграции с Rust/Go/C++, безопасность, микропитон (MicroPython), PyPy и прочая high‑load магия.

А теперь подробности!

Будущее CPython 3.14

Пётр Андреев из МФТИ рассказал про noGIL: погружение в будущее CPython 3.14. Основные проблемы с GIL и их решения.

GIL (Global Interpreter Lock) — главный тормоз многопоточности в Python. Он нужен для потокобезопасности, но мешает масштабировать CPU-bound задачи. Доклад объясняет, почему просто «убрать GIL» нельзя — слишком много внутренностей CPython завязано на него.

Бутылочное горлышко в GIL (limited RAM), по мнению эксперта, заключается в том, что он:

• Замедляет предобработку данных для GPU.
• Ограничивает использование многоядерных процессоров для CPU-bound задач
• Усложняет отладку и логирование при использовании процессов вместо потоков

Но нельзя просто взять и убрать GIL, возникнет:

• Несовместимость с существующими расширениями.
• Проблемы с потокобезопасностью внутренних структур памяти CPython (race condition).

Возможный путь — Free-threading (без GIL), он даёт следующие преимущества:

• Атомарные операции гарантируют завершение.
• Критические секции (Py_BEGIN_CRITICAL_SECTION и Py_END_CRITICAL_SECTION) обеспечивают потокобезопасность без явной блокировки, но могут снижать производительность, так как другие потоки будут вынуждены ожидать.

Оптимизировать управление памятью можно с помощью Biased Reference Counting (BRC) и Deferred Reference Counting (DRC) для ускорения подсчета ссылок без GIL.

• BRC позволяет потоку-владельцу изменять счетчик ссылок неатомарно, а другие потоки делают это атомарно.
• DRC — отложенные обновления счетчиков ссылок. Это позволяет улучшить производительность за счет уменьшения дорогостоящих атомарных операций.

Виктор Тыщенко из Точки рассмотрел эволюцию CPython. Рассказал, почему python вырвался в ТОП-3 самых известных языков программирования, рассмотрел важные вехи его развития и ответил на вопрос, что нас ждёт в ближайших релизах.

А ждёт нас:

• Улучшение JIT-компилятора.
• Top-of-stack caching.
• Tail-calling interpreter.
• Эффективное управление памятью.
• Расширяемая система специализаций.
• Поддержка субинтерпретаторов и многопоточности.

Асинхронность и фрагментация sync/async

Евгений Блинов из Авито рассказал, как победить актуальную проблему — фрагментацию на sync и async, чтобы питон больше не ел сам себя. Ведь ещё недавно в Python-комьюнити активно обсуждали асинхронность, писали под неё фреймворки и переписывали библиотеки. Но это приводило к дублированию экосистемы и разрастанию числа библиотек.

Выход есть. Эксперт предлагает сократить дублирование кода с помощью шаблонизации. Для этого теперь есть инструмент transfunctions, который переписывает шаблонную функцию на уровне AST. Вершина эволюции — суперфункции, которые умеют быть всем.

Управление зависимостями и разрешение конфликтов

Евгений Желонкин из Контура поднял сложную тему эволюции алгоритмов разрешения конфликтов зависимостей в Python. Затронул графы зависимостей и объяснил, почему задача разрешения конфликтов относится к NP-полным и что нам с этим делать.

Разобрал как простые жадные стратегии, так и полноценные SAT-решатели и эвристики, используемые в pip, poetry и новом сверхбыстром инструменте uv.

Особенно полезна эта тема тем, кто работает со средними и большими Python-проектами, CI/CD, и в целом всем, кто когда-либо ставил зависимости и сталкивался с Dependency Hell.

Повышение качества научного кода

Python — классический инструмент для научных вычислений, он используется в биологии, физике, медицине, химии и множестве других сфер. У языка есть множество библиотек для самых разных отраслей. Но учёные часто не знакомы с лучшими практиками и стандартами программирования. В результате код становится трудночитаемым, неинтерпретируемым, его сложно рефакторить и запускать.

Андрей Гетманов из ИТМО рассказал, как обстоят дела в исследованиях в ML и о том, почему код научных статей так больно читать. Показал открытый проект Open Source Advisor (OSA), который разрабаотывают в ИТМО. OSA генерирует ридми, пишет докстринги, даёт рекомендации и даже оформляет Pull Request. Учёным остаётся внести правки и готово — получается красивый репозиторий с удобным кодом.

Андрей Гетманов также поделился, что происходит под капотом OSA: агентная логика, стратегии промптинга, работа с необычными запросами учёных.

Data, ML, Data Governance и человеко-читаемые данные

Артём Каледин из МТС в своём докладе рассказал, как заботиться о данных в таблицах и делать их human‑readable — то есть, понятными, воспроизводимыми и управляемыми в бизнес‑контексте.

Также показал, что сейчас предлагают в OpenSource и как компании внутри дорабатывают эти продукты для максимальной продуктивности. Научил преобразовать классический путь от построения витрины с данными и ML-моделей до их формального описания вне привычного MLOps.

Работа с LLM, ML4Code и честные бенчмарки

Павел Задорожный из Сбера провёл воркшоп на тему «Оценка моделей генерации кода: практика, ловушки и реальные бенчмарки на Python» — разбор репозиториев, метрик BLEU и CodeBLEU, репотестов и Docker‑инфраструктуры.

Рассмотрел практические подходы к построению открытых бенчмарков для генерации кода, основанных на реальных сценариях разработки и полноценном тестировании.

Показал, как решали проблемы несовместимости зависимостей, нестабильных билдов и разнообразия тестовых инфраструктур, как автоматизировали сбор задач и сделали оценку прозрачной и воспроизводимой для любых исследователей.

Безопасность и устойчивость в Python: тренд, который больше не игнорируют

Алексей Смирнов из CodeScoring рассказал, что происходит в мире безопасности open source пакетов. Разобрался, что делает сообщество, чтобы защитить разработчиков от злоумышленников, какие новые PEP’ы появились и готовы ли разработчики им следовать.

Типовые слабости пакетов:

• CWE-937. Неправильная обработка входных данных пользователя.
• CWE-400. Неконтролируемое потребление ресурсов.
• CWE-22. Обход каталога (Path Traversal).
• CWE-502. Десериализация недоверенных данных.
• CWE-94. Некорректный контроль над генерацией кода (инъекции кода).

Примеры вредоносных компонентов в открытых инструментах PyPI:

1. OSSF package analysis

2. bandit4mal

3. OSSGadget

4. MalOSS

5. pypi-scan [archived]

Но для решения этих проблем существуют базовые практики безопасной разработки:

• Применение правильных статических анализаторов;
• Проверка не только своего кода;
• bandit или semgrep.

Нелли Камалян из Positive Technologies пояснила, почему статический анализ — ваша первая линия защиты и как его использовать. Ведь с помощью статического анализа можно обнаружить проблемы ещё на этапе разработки.

Говорили про анализ кода на примере Semgrep и других инструментов для проверки Python-приложений. А ещё был разбор самых популярных ошибок, способов их исправить и пути интеграции полезных инструментов в рабочие процессы.

Максим Сахно из Контура разъяснил классический архитектурный принцип инверсии зависимостей (DIP) для Python. Несмотря на популярность в других языках, в Python его долгое время не использовали. И вот, пожалуйста, честный разбор, как именно работает DIP в змеином языке и его популярных фреймворках для безопасности и устойчивости.

Итоги

PyCon 2025 показал, что Python продолжает активно развиваться как снаружи, так и изнутри. В центре внимания оказался CPython 3.14 с отменой GIL, а также борьба с фрагментацией между синхронным и асинхронным кодом, рост важности инструментов управления зависимостями и бум интереса к качеству научного и ML-кода. Разработчики всё чаще сталкиваются с необходимостью работать на стыке Python и других языков — Rust, Go, C++ — и одновременно ожидают повышения безопасности, удобства и масштабируемости.

Python вступает в эру, где качество инфраструктуры, безопасность open source, тестируемость, читаемость и доступность кода важны не меньше, чем синтаксис или фреймворки. Возникают новые практики и инструменты, которые помогают справляться с растущей сложностью: от Semgrep и uv до автоматизации Readme и метаданных через OSA. Вся экосистема движется к зрелости, в которой Python становится не только языком, но и полноценной платформой для гибкой, безопасной и воспроизводимой разработки.

Международная математическая олимпиада (ММО) – самое престижное в мире соревнование для молодых математиков, проводится ежегодно с 1959 года. Каждую страну представляют шесть лучших математиков, не имеющих высшего образования, которые соревнуются в решении шести исключительно сложных задач по алгебре, комбинаторике, геометрии и теории чисел. Медали вручаются лучшим участникам, при этом только лишь около 8% получают золотую медаль.

В прошлом году объединённые системы AlphaProof и AlphaGeometry 2 от Google DeepMind достигли серебряного стандарта , решив четыре из шести задач и набрав 28 баллов. А вычисления заняли 2,5 дня.

🤖 Зачем ИИ пошёл на олимпиаду?

IMO — не соревнование по шаблонам. Участники решают шесть задач за 4,5 часа по алгебре, геометрии, комбинаторике и теории чисел, где даже формулировки требуют нетривиального понимания. Каждую страну представляют шестеро лучших школьников, отобранных годами тренировок. Google DeepMind решила пять задач из шести.

В 2024 году системы AlphaGeometry и AlphaProof решали задачи IMO, но требовали ручного перевода между формальным языком и естественным. В этом году Gemini Deep Think работал end-to-end: понимал условие задачи на естественном языке, сам генерировал доказательства и укладывался в лимит времени.

🧠 Как Gemini научили мыслить по-олимпиадному?

Gemini работал в режиме Deep Think — это улучшенный pipeline reasoning’а, который:

• исследует параллельно несколько возможных стратегий доказательства;
• учится на огромном датасете реальных решений IMO;
• строит цепочки логических рассуждений, не опираясь на формальные языки;
• использует обучение с подкреплением и инструкции с мета-наставлениями;
• способен превращать язык в структуру — и обратно;
• использует многошаговые рассуждения для решения задач и доказательства теорем.

По сути, это уже не просто языковая модель, а когнитивный ассистент, умеющий строить гипотезы, опровергать и доказывать — почти как человек.

«Решения Gemini были ясными, точными и простыми для понимания. Это один из самых впечатляющих AI-дебютов за всю историю Олимпиады».

Профессор Грегор Долинар, президент Международной математической олимпиады

Почему это важно?

• AI выходит за пределы генерации текста. Он решает задачи, требующие творческого абстрактного мышления.
• Новая парадигма обучения. Модель учится не только на данных, но и на методах решения.
• Фундаментальная математика — следующий рубеж. После кода, картинок и рецептов ИИ начинает осваивать поле, где обычно побеждают гении с олимпиадным складом ума.

Что дальше?

Google DeepMind уже готовит открытый доступ к Gemini Deep Think для математиков и подписчиков AI Ultra. Разработчики уверены: следующий шаг — универсальный ассистент-исследователь, который поможет справиться с нерешёнными задачами науки.

Комментарий от Tproger:

ИИ теперь не «просто решает задачи». Это пример того, как новые архитектуры reasoning + RL дают результат в задачах, с которыми не способно справиться большинство людей.

В этом обзоре собрали самые выгодные сервисы, которые дают доступ к языковым моделям без VPN и дополнительной регистрации либо предлагают альтернативные варианты. Платформы подходят для учебы, бизнеса и творчества, а их функционал проверен на реальных кейсах.

1. Deeplom Ru — генератор академических работ на базе ИИ

Сервис Deeplom Bot создан специально для студентов и школьников, которым нужно быстро подготовить реферат, курсовую или дипломную работу. В отличие от других ИИ-ассистентов, он фокусируется именно на академических задачах, используя адаптированные версии GPT и Claude. Это позволяет генерировать тексты, соответствующие требованиям ГОСТ и вузовских стандартов. Сервис работает в условиях сжатых сроков или при работе над несколькими проектами одновременно.

Как это работает

Работать с сервисом можно двумя способами: через сайт или телеграм-бота (@DeeplomAIBot). Достаточно ввести тему работы и через несколько минут система сгенерирует демо-версию. Она включает оглавление, введение, первую главу и список литературы.

Особенности:

• полностью анонимная работа — для
  демо-версии не нужен даже email;
• сервис позволяет бесплатно
  ознакомится с демо-версией перед покупкой работы;
• автоматическое оформление по
  ГОСТу, включая заголовки, списки литературы;
• конструктор оглавления для ручной
  корректировки структуры работы;
• поддержка формата DOCX для
  удобного редактирования.

Сервис использует специально дообученные модели ИИ, которые учитывают требования российских вузов. Например, система автоматически корректирует стилистику под академические стандарты.

Тарифы

Бесплатная версия дает доступ только к части работы. Полный текст можно приобрести за 499-1299 рублей в зависимости от сложности и объема текста. Для постоянных пользователей есть система скидок.

2. Wikibot — интеллектуальный помощник для бизнеса

Wikibot — профессиональное решение для отделов продаж и служб поддержки, оно автоматизирует до 70% рутинных обращений клиентов. Сервис подходит для компаний, которые ежедневно обрабатывают сотни однотипных вопросов через разные каналы коммуникации.

Как работает система

После регистрации через Google или Telegram пользователь получает доступ к панели управления, где может загрузить базу знаний в различных форматах — PDF, DOCX или подключить облачные хранилища вроде Notion и Confluence. Фишка Wikibot в том, что он не только отвечает по шаблонам, а анализирует контекст каждого обращения, используя мощные языковые модели GPT-4.1 и DeepSeek V3,и умеет выполнять действия в системах, как это делает человек. И всё это вы можете настроить самостоятельно в ЛК.

Особенности сервиса:

• автоматическое создание сделок в
  amoCRM и других CRM-системах через API;
• автоматическая классификация
  тикетов по категориям через теги или группы;
• возможность обучать бота на
  истории переписок с клиентами;
• функция «Анализ ответа» —
  показывает, на какие разделы базы знаний опирался ИИ;
• гибкая система кредитов (1 кредит
  — примерно 10 ответов на тарифе Мини);
• интеграция с популярными
  платформами: HelpDeskEddy, Битрикс24, Юздеск,
  Jivo;
• возможность размещения бота во
  внутреннем контуре (по запросу).
• чат-бота можно добавить на свой сайт или интегрировать в собственный телеграм-бот

Сервис использует специальный алгоритм ранжирования ответов, который учитывает релевантность информации и историю взаимодействий с конкретным клиентом. Система способна автоматически определять эмоциональный тон обращения и адаптировать стиль ответа — от формального до дружелюбного.

Тарифные планы

Wikibot предлагает гибкую систему тарифов:

• Мини (1000 руб./мес) — подходит
  для тестирования и небольших проектов.
• Старт (4900 руб./мес) — оптимален
  для малого бизнеса.
• Рост (19900 руб./мес) — решение
  для компаний с устоявшимися бизнес-процессами и сформированной командой
  поддержки.
• Бизнес (49900 руб./мес) —
  комплексное решение для крупных компаний.

Каждый тариф включает определённое количество кредитов, а дополнительные запросы можно докупать по мере необходимости. Для новых пользователей доступен тестовый период со 100 бесплатными кредитами.

3. Acetone AI — профессиональный инструмент для обработки изображений

Acetone AI создан для быстрой обработки изображений — дизайнеров, маркетологов, владельцев интернет-магазинов и контент-менеджеров. Сервис используют при подготовке большого количества товарных карточек для маркетплейсов или создании рекламных материалов.

Как работает платформа

Главное преимущество Acetone AI — моментальный старт. Пользователь может загрузить изображение на главной странице и получить результат через несколько секунд. После регистрации через email или VK предоставляется 50 бесплатных кредитов (эквивалент 5 операций по удалению фона ежедневно).

Особенности сервиса:

• уникальные алгоритмы обработки
  изображений, работающие независимо от зарубежных ИИ;
• пакетная обработка до 50
  изображений одновременно;
• встроенный редактор для тонкой
  настройки результатов удаления фона и объектов;
• многослойный редактор создания
  карточек товара, баннеров и прочих изображений;
• генератор фона с помощью
  нейросети;
• API для интеграции с
  корпоративными системами и автоматизации процессов;
• поддержка популярных форматов:
  JPG, PNG, WEBP.

Acetone AI использует специально обученные нейросетевые модели, которые сохраняют детализацию сложных элементов (например, волос или полупрозрачных материалов). Сервис корректно обрабатывает тени и рефлексы, что важно для профессиональных фотографов и ретушеров.

Тарифная политика

Сервис предлагает такие тарифные планы:

• Бесплатный тариф: 10 обработок,
  доступ к базовым функциям редактора, ограничение на размер загружаемых файлов
  (до 5 МБ).
• Подписка «Стандарт» (от 989
  руб./мес): неограниченное количество операций, приоритетная обработка,
  увеличенный лимит на размер файлов (до 25 МБ), доступ к премиум-фильтрам.
• Корпоративные решения:
  индивидуальные квоты на обработку, персональный менеджер, API с увеличенными
  лимитами.

По данным сервиса, среднее время обработки одного изображения составляет менее 3 секунд, а точность распознавания объектов достигает 98%.

4. F5 AI — универсальная платформа для работы с ИИ

F5 AI — это многофункциональное решение с доступом к разным языковым моделям, включая GPT и Claude. Платформа ориентируется на широкий круг пользователей: от маркетологов, создающих SEO-контент, до разработчиков, автоматизирующих написание кода. Особенность сервиса — адаптация под специфические бизнес-задачи российских компаний.

Как работает

Пользователи получают доступ через веб-интерфейс или API, при этом не нужно использовать VPN. Зачисление 500 бонусных рублей происходит при входе через Яндекс или почту.

Особенности сервиса:

• поддержка разных языковых моделей
  (GPT-4, Claude и других) с возможностью выбора оптимального варианта для
  конкретной задачи;
• создание корпоративных
  телеграм-ботов с индивидуальной базой знаний;
• гибкая система управления доступом
  для командной работы;
• API для интеграции с внутренними
  бизнес-процессами компании;
• личная база знаний для хранения
  корпоративных и рутинных документов – в общем вся информация, которую вы хотите скормить ИИ;
• бот, который обращается к
  документам из вашей базы знаний, чтобы давать более точные ответы на вопросы,
  основываясь на имеющихся данных.

Дополнительно:

1. Meet AI — анализ
   видеовстреч и транскрипции созвонов из Контур.Толк. Внутри есть кастомные
   шаблоны для анализа разных типов встреч.
2. Работа с ИИ Ассистентами —
   создание своих умных ассистентов на основе моделей внутри с гибкой
   системой настройки параметров. Новых ассистентов можно также обучить на
   собственных файлах для внутренних процессов компании.

Тарифы

Сервис работает без абонентской платы и подписок: вы платите только за использованные токены. Цена зависит от модели и объема работы. Для пополнения баланса используйте СБП, банковскую карту или счет юрлица — в последнем случае получите закрывающие документы. Все транзакции детализированы по моделям, а расходы доступны в аналитике по дням и месяцам.

Запоминаем главное про платформу: работает без VPN в России, объединяет всех вендоров в одном интерфейсе, предлагает русскоязычную и англоязычную поддержку и интерфейс. Корпоративным клиентам доступны индивидуальные тарифы с увеличенными лимитами API и приоритетной поддержкой.

5. Jadve AI

Jadve AI подходит для специалистов, ежедневно работающих с разными форматами контента. Маркетологи получают инструмент для быстрого создания промо-материалов, программисты — помощника для работы с кодом, а дизайнеры — возможность оперативно визуализировать идеи. Сервис объединяет три ключевых направления: текстовую генерацию, создание изображений и производство видео.

Как устроена работа платформы

Доступ к возможностям Jadve AI предоставляется через веб-интерфейс или тг-бота. Бесплатные функции включают неограниченное использование GPT-4o mini и 10 ежедневных запросов к GPT-4o. Для работы с графикой и видео нужно оформить подписку.

Особенности:

• комплексный доступ к 10+
  актуальным ИИ-моделям разных категорий;
• гибкая система оплаты токенами без
  привязки к конкретным моделям;
• программа лояльности с
  персональными скидками для активных пользователей;
• полная синхронизация между
  веб-версией и ботом.

Практическое применение

Программисты могут генерировать и оптимизировать код блоками до 1000 строк. Маркетологи — создавать рекламные изображения для соцсетей и короткие промо-ролики по готовым шаблонам. Дизайнеры — использовать инструмент для быстрого концепт-арта и адаптации графики под целевые платформы.

Условия использования

Бесплатный режим даёт доступ к базовым текстовым функциям. Платные тарифы начинаются от 499 рублей в месяц: 100 тыс. токенов в день, которые можно расходовать на любые операции — генерацию текста, изображений или видео. Дополнительные пакеты токенов можно докупить.

6. TEXTAGRAM — умный генератор описаний товаров

TEXTAGRAM разработан специально для продавцов на маркетплейсах (Wildberries, Ozon, Яндекс.Маркет) и владельцев интернет-магазинов. Сервис помогает автоматизировать самый сложный этап — создание качественных описаний товаров. По данным сайта, использование TEXTAGRAM сокращает время на заполнение карточек товаров в 5-7 раз.

Как работает платформа

Пользователь загружает фотографию товара, ИИ генерирует несколько вариантов описаний с учётом ключевых характеристик. Например, для загруженного изображения кроссовок система может создать текст:

«Эти отличные кроссовки с амортизирующей подошвой сочетают в себе стиль и комфорт, идеально подходят для прогулок, и для легких ежедневных тренировок. Выполнены из высококачественных материалов, обеспечивающих долговечность и удобство.

Ключевые характеристики:

• Амортизирующая подошва для максимального комфорта;
• Дышащие материалы, обеспечивающие вентиляцию;
• Стильный дизайн, подходящий к любому образу».

Особенности сервиса:

• автоматическое определение
  ключевых характеристик товара по изображению;
• генерация SEO-оптимизированных
  описаний с релевантными ключевыми словами; поддержка различных стилей текста
  — продающий, технический, минималистичный;
• возможность массового экспорта в
  CSV-формат для загрузки на маркетплейсы;
• адаптированные языковые модели для
  точного описания товаров российского рынка.

TEXTAGRAM использует специально обученную версию ChatGPT, которая учитывает специфику российских маркетплейсов. Сервис умеет определять не только общие категории товаров, но и конкретные материалы — например, отличает экокожу от натуральной.

В ближайших планах разработчиков — добавить функции автоматического подбора тегов и категорий для Wildberries и Ozon, чтобы ещё больше упростить процесс заполнения карточек товаров.

Текущие условия использования

На момент публикации (июль 2025 года) сервис находится в стадии MVP и доступен пользователям в бесплатном режиме.

7. TryChatGPT — универсальный доступ к GPT-моделям с гибкой системой запросов

Сервис TryChatGPT даёт доступ к GPT-моделям для широкого круга задач: от генерации текстов до создания изображений. Основная аудитория — пользователи, которым нужен простой и понятный доступ к ИИ без сложных систем токенов. Подходит для копирайтеров, разработчиков и маркетологов.

Как это работает

Система построена на модели запросов вместо токенов. Пользователь может начать работу сразу после посещения сайта — для тестирования доступно 200 бесплатных запросов к GPT-4.1 nano каждые 30 дней. При этом регистрация не обязательна, но этом случае в функционале будете видеть рекламу.

Особенности:

• прозрачная система запросов вместо
  сложных токенных расчётов;
• функция памяти для сохранения
  контекста между чатами;
• настраиваемый системный промт;
• отсутствие обязательной подписки с
  автопродлением.

Основные возможности

Сервис помогает в переводе текстов, генерации кода и обработке изображений. Отличительная черта — возможность обучения ИИ: при команде «Запомни» система сохраняет ключевые данные из запроса и использует их в последующих диалогах. Для работы с файлами и расширенными функциями нужна регистрация через Яндекс, VK или email.

Тарифная политика

Бесплатный тариф включает 200 запросов к базовой модели. Платные варианты:

• Без рекламы (590 руб./мес): 500
  запросов к базовым моделям + обработка изображений.
• Творческий (990 руб./мес): акцент
  на генерацию изображений (50 запросов).
• Премиум (1990 руб./мес):
  расширенные лимиты для всех категорий моделей.

Сервис не работает в Индонезии, Индии и Китае, но полностью доступен в России без VPN. По сравнению с аналогами, TryChatGPT предлагает более предсказуемую систему оплаты — пользователи точно знают, сколько запросов получают за свои деньги.

8. Обзор платформы PR‑CY для работы с языковыми моделями

PR‑CY — инструмент для работы с поисковыми данными и генеративными моделями. Через веб‑интерфейс доступны версии ChatGPT (5‑Mini, 4o‑Mini, GPT‑5, O3, O4‑Mini), Claude (4 Sonnet, 3.5 Haiku), Gemini 2.5 Flash и DeepSeek v3. Бесплатный доступ сильно ограничен: всего 5-10 запросов в день. Для серьезной работы потребуется платная подписка. Для проведения комплексных исследований и построения собственных ассистентов доступны платные модели (GPT‑5, GPT‑4o, Gemini 2.5 Pro, DeepSeek R1 и др.), но их использование оплачивается отдельно.

По сути, платформа рассчитана на:

• разработчиков и продуктовых команд, которым нужно быстро проверить гипотезы на разных версиях языковых моделей;
• SEO‑специалистов — интегрированные MCP‑серверы помогают вытаскивать вордстат, SERP‑выдачу, контент страниц и другие метрики;
• тех, кто хочет собрать собственного AI‑ассистента из готовых компонентов, используя свои базы знаний.

Как это работает

Платформа работает через веб-интерфейс, доступна без VPN. После входа пользователь выбирает модель и отправляет ей запрос. Для настройки поведения предусмотрены параметры температуры, длины контекста и системного промпта. Есть возможность загрузить файлы (PDF, DOC и др.) или изображения для анализа, подключить RAG‑базы знаний для ответов из собственных данных, а также настроить голосовой ввод и озвучку ответа.

Сценарии использования

• Гибкие настройки генерации: температура, длина контекста и системный промпт позволяют тонко регулировать ответы ботов под конкретный сценарий.

• Загрузка и анализ файлов: сервис умеет работать с документами и изображениями (PDF, DOC и др.), что удобно для анализа технической документации или баз знаний.

• RAG‑базы знаний: можно подключить собственные источники данных, чтобы модель отвечала, опираясь на внутреннюю информацию команды.
• MCP‑интеграция: для SEO‑задач доступна подключаемая сервисом SEO‑MCP от PR‑CY.
• Голосовой ввод и голосовой ответ: ускоряет взаимодействие — можно проговаривать вопросы и слушать ответы.

Лимиты и тарифы

Базовый доступ даёт 10 запросов в день (5 — без регистрации). Для интенсивной работы предусмотрены тарифы с большим числом запросов и отдельные платные модели; пробный период на тарифе Профи — 7 дней, после чего требуется оплата. Стоимость продвинутых моделей оплачивается отдельно. На повышенном тарифе вы можете протестировать более мощные модели или создать собственных ассистентов.

Кому подойдет

Платформа ориентирована на разработчиков, работающих с различными языковыми моделями, и SEO-специалистов, а также специалистам по продукту и контенту — благодаря встроенному SEO‑инструментарию и ИИ‑редактору. Возможность создавать ассистентов и подключать RAG‑базы — функционал позволяет создавать ассистентов, однако это требует технических навыков и дополнительных затрат, что минус для обычного пользователя. Недостатки: лимиты на бесплатном тарифе, необходимость доплачивать за лучшие модели, сложность интерфейса.

9. BotHub — универсальный агрегатор ИИ-моделей

BotHub многофункциональная платформа с доступом к ИИ-моделям, включая ChatGPT-4 Turbo, Midjourney v6 и Claude 3. Сервис популярен среди маркетологов и разработчиков, которым нужно единое решение для работы с разными типами ИИ без переключения между площадками.

Как это работает

После регистрации на сайте пользователь получает доступ к единому интерфейсу, где может одновременно работать с текстовыми и графическими ИИ. Внутри есть функция транскрибации аудио через Whisper, которая распознает до 95% русской речи.

Особенности:

• комбинированный доступ к текстовым
  и графическим ИИ в одном интерфейсе;
• анализ документов с возможностью
  извлечения ключевых данных; высокоточная транскрибация
  аудиофайлов;
• API для интеграции с
  корпоративными CRM-системами.

По данным площадки, BotHub обрабатывает более 50 000 запросов ежедневно, при этом среднее время отклика не больше двух секунд. Новые юзеры могут использовать пробный период, платные тарифы начинаются от 200 руб. в месяц за 10 000 токенов. Система поддерживает оплату через СБП и российские банковские карты.

10. Fabula AI — мультифункциональный инструмент для работы с контентом

Fabula AI предлагает комплексное решение для работы с визуальным контентом. Сервис больше ориентируется на владельцев интернет-магазинов, маркетологов и контент-менеджеров, которым нужна быстрая обработка изображений и генерация текстовых описаний.

Как это работает

Доступ к сервису происходит через веб-интерфейс и телеграм-бота (@fabula_ai_bot). Основные возможности включают улучшение качества фотографий с апскейлингом до 4K, автоматическое удаление фона с поддержкой пакетной обработки и генерацию описаний товаров на основе их изображений. Есть функция преобразования обычных фото в аниме-стиль.

Особенности и преимущества:

• профессиональное улучшение
  качества изображений;
• пакетная обработка фотографий для
  интернет-магазинов;
• встроенный ChatGPT 3.5 для
  создания текстового контента;
• уникальные стилистические фильтры
  для изображений.

Тарифы

Сервис обрабатывает до 1000 изображений ежечасно, при этом сохраняя стабильную скорость работы. Доступна недельная подписка за 299 рублей с безлимитным количеством обработок или месячный абонемент за 999 рублей.

11. Chad AI — универсальный ИИ-ассистент в Telegram

Chad AI — многофункциональный телеграм-бот, который объединяет доступ к восьми популярным нейросетевым моделям, включая GPT-4o, Claude 3 и Midjourney V6. Особенно востребован программистами, маркетологами и студентами.

Как это работает

После запуска бота @chadgpt_bot пользователь получает мгновенный доступ ко всем функциям. Сервис предлагает комплексное решение для работы с текстовыми моделями, включая генерацию кода и аналитику данных, а также инструменты для создания изображений. Есть готовые промпты — шаблоны запросов, которые помогают эффективно взаимодействовать с нейросетями даже новичкам.

Особенности:

• полная локализация на русский язык
  с адаптированными ответами;
• поддержка голосового ввода и
  веб-поиска актуальной информации;
• сохранение истории диалогов в
  течение 30 дней.

Тарифы и условия

Бесплатная версия позволяет совершать до семи запросов в день с использованием модели GPT-4o Mini. Премиум-подписка стоимостью от 590 рублей в месяц открывает неограниченный доступ к GPT-4, DALLE, Midjourney и другим моделям.

12. GenAPI — универсальный шлюз для работы с ИИ-моделями

GenAPI представляет собой удобный API-шлюз, предоставляющий доступ к популярным языковым моделям, включая GPT-4, Claude и Gemini. Сервис подходит разработчикам технологичных компаний, которым требуется надежная интеграция ИИ-возможностей в свои продукты без настройки сложной инфраструктуры.

Как работает

После регистрации пользователь получает персональный API-ключ, позволяющий отправлять запросы к различным ИИ-моделям. Сервис поддерживает как текстовые, так и мультимодальные запросы, включая обработку изображений и аудио. Доступна тонкая настройка параметров запросов для получения структурированных ответов в JSON-формате.

Особенности:

• единый API для работы с различными
  ИИ-моделями;
• поддержка потоковой передачи
  данных;
• детальная статистика и мониторинг
  использования.

Тарифы и условия

GenAPI предлагает прозрачную систему тарифов с оплатой за фактическое использование. Бесплатный тариф позволяет полноценно протестировать сервис. Профессиональные тарифы начинаются от 2000 руб. в месяц и предоставляют увеличенные лимиты, а также приоритетную обработку запросов.

Как выбрать подходящий сервис

При выборе ИИ-помощника ориентируйтесь на три ключевых критерия:

• определите основной тип задач —
  генерация текстов, обработка изображений или анализ данных;
• проверьте требования к
  конфиденциальности — некоторым пользователям критична анонимность, другим —
  интеграция с рабочими инструментами;
• оцените удобство интерфейса —
  телеграм-боты подходят для быстрых запросов, веб-версии — для более сложной
  работы.

Обращайте внимание на наличие бесплатного тестового периода и гибкость тарифов. Российские сервисы без VPN часто выгоднее зарубежных аналогов, но могут уступать в функциональности. Для бизнеса важна поддержка API, студентам — оформление по ГОСТ. Начинайте с бесплатных версий, чтобы оценить качество ответов без финансовых рисков.

1. Pandas

Pandas — библиотека для работы с данными в Python, позволяющая легко загружать, анализировать, очищать и преобразовывать числовую информацию в удобной табличной форме. По сути, это Excel, который смог, и позволяет делать всё автоматизировано и на порядки быстрее.

Библиотека строится вокруг двух ключевых структур: Series (одномерный массив с индексами); DataFrame (таблица с индексами и колонками).

Какие задачи решает библиотека

Pandas полезна для следующих задач:

• Сам анализ данных: можно быстро фильтровать, группировать, агрегировать и строить сводные таблицы.
• Очистка данных: удаляем пустые строки, заменяем значения, приводим типы.
• Загрузка данных из CSV, Excel, SQL.
• Визуальная разведка данных (EDA) перед построением моделей.
• Подготовка данных для ML и отчётов.
• Автоматизация отчётов и ETL-пайплайнов.

Благодаря Pandas аналитик превращается в инженера данных, а ML-специалист может сосредоточиться на моделях, а не на ручной подготовке датасетов.

Как пользоваться

Ниже разберём простейший кейс: нужно загрузить данные о зарплатах разработчиков из CSV, посчитать среднюю зарплату по языкам программирования и отобрать топ-5.

Почему это меняет карьеру

Работа с Pandas становится границей между знанием Python и умением решать задачи бизнеса. Для джуна это шанс сразу показать практическую пользу: выгрузки, отчёты и базовый анализ можно делать в десятки раз быстрее и аккуратнее, чем вручную в эксельке.

Для аналитика Pandas превращается в главный рабочий инструмент, позволяя не просто проверять гипотезы и делать сводные таблицы, а строить полноценные отчётные пайплайны, автоматизировать рутинные выгрузки и концентрироваться на сути данных, а не на правках ручками.

Для ML-инженера владеть Pandas — значит уметь готовить датасеты качественно; быстро очищать и приводить данные к нужному виду, что напрямую влияет на результат моделей. Без этого работа над проектами машинного обучения часто превращается в бесконечную возню с данными.

Наконец, даже для разработчиков Pandas может стать неожиданным бустом в карьере. Например, когда нужно автоматизировать отчёты для бизнеса или быстро анализировать логи и данные из БД без поднятия дашбордов — Pandas даёт гибкость и скорость, которые редко даёт что-то ещё в экосистеме Python.

2. Django

Django — фреймворк для веб-разработки на Python, который позволяет быстро создавать надежные и масштабируемые веб-приложения. Он следует принципам DRY (Don’t Repeat Yourself — не повторяй себя), предоставляя разработчику ORM, роутинг, систему авторизации, админку, работу с формами, шаблонами и инструментами безопасности из коробки.

Django подходит как стартапам, которым нужно быстро выйти на рынок, так и крупным проектам с миллионами пользователей. Это не просто библиотека, а полноценный каркас для построения и сопровождения веб-сервисов.

Какие задачи решает библиотека

Каркас, действительно, каркасный. Задачи следующие:

• Создание веб-приложений и API любой сложности.
• Быстрая разработка MVP, прототипов и коммерческих проектов.
• Упрощение работы с базами данных через ORM, без написания сырого SQL.
• Построение административных панелей для управления данными без ручной разработки.
• Гибкая маршрутизация и работа с формами, валидацией и шаблонами.
• Реализация аутентификации, авторизации и защиты приложений.

Django позволяет сосредоточиться на бизнес-логике и продукте, не тратить недели на настройку инфраструктуры.

Как пользоваться

Устанавливаем:

Создаем проект и приложение:

Пример модели:

Миграция базы данных:

Создание админки:

После этого можно запустить сервер:

И перейти по адресу http://127.0.0.1:8000/admin для управления записями через готовую админ-панель.

3. PyTorch

PyTorch — мощная библиотека Python. Она позволяет строить и обучать нейронные сети, проводить вычисления с автоматическим дифференцированием и работать с GPU для ускорения самих вычислений.

Главное отличие PyTorch от других ML-фреймворков — динамическая вычислительная графика (define-by-run): модель строится и изменяется во время выполнения кода, что даёт гибкость при создании и отладке сложных моделей.

Сегодня PyTorch используется в продакшен системах, научных исследованиях, компьютерном зрении, NLP и генеративных моделях, занимая ведущее место в индустрии.

Какие задачи решает библиотека

В функционал PyTorch входят:

• Построение нейронных сетей любой сложности (CNN, RNN, трансформеры);
• Обучение и тестирование моделей на CPU и GPU;
• Реализация кастомных слоёв и loss-функций;
• Разработка и деплой ML/AI моделей в продакшен;
• Быстрая итерация гипотез с удобной отладкой.

С PyTorch можно начать с простых нейронных сетей, а затем перейти к реализации современных архитектур.

Как пользоваться

Установим PyTorch (на CPU, для GPU потребуется версия с CUDA):

Рассмотрим кейс обучения простой нейронной сети для классификации рукописных цифр MNIST.

После обучения можно использовать torch.save() для сохранения модели и torch.load() для загрузки в продакшн.

Почему это меняет карьеру

PyTorch — билет в мир современной разработки AI и машинного обучения. Владение инструментом даёт разработчику возможность уверенно войти в области, которые продолжают оставаться топовыми на рынке: искусственный интеллект, компьютерное зрение, NLP, генерация изображений и видео и т.д.

Для начинающего ML/AI-специалиста PyTorch помогает лучше понять, как устроены нейронные сети, и под капотом увидеть, как происходят вычисления. Это ускоряет рост навыков и делает разработчика востребованным в исследованиях и R&D-проектах.

Для дата-сайентистов PyTorch позволяет превратить исследовательские ноутбуки в готовые к деплою модели, благодаря PyTorch Lightning, TorchScript и ONNX.

Для разработчиков, которые хотят выйти на рынок AI, PyTorch — это мастхев: проекты в стартапах и крупных компаниях всё чаще строятся вокруг него. Умение писать кастомные loss-функции, проектировать сложные пайплайны обучения, настраивать обучение на кластерах и GPU — компетенции, которые существенно бустят зарплату.

PyTorch в целом помогает расширять портфолио: с ним можно создавать генеративные модели, строить LLM, участвовать в соревнованиях и работать с самыми современными подходами в машинном обучении.

4. Polars

Polars — современная библиотека для обработки данных в Python, созданная как альтернатива Pandas. Она использует колоночную архитектуру и многопоточность, что позволяет работать с большими объёмами данных значительно быстрее и с меньшим потреблением памяти.

Polars вдохновлена Pandas, но её API оптимизировано для производительности и удобства, а также даёт разработчику возможность писать цепочки ленивых вычислений, которые оптимизируются перед выполнением. Это делает её отличным инструментом для аналитиков, дата-инженеров и дата-сайентистов, которым нужно обрабатывать данные быстро.

Какие задачи решает библиотека

Polars явно есть, чем гордиться:

• Загрузка, очистка и преобразование больших датасетов;
• Анализ данных с использованием цепочек преобразований;
• Быстрая агрегация и группировка данных;
• Ленивые вычисления: построение пайплайнов преобразования данных, которые выполняются только при вызове collect().
• Обработка данных, которые не помещаются в память, за счёт эффективности и колоночной архитектуры.

Если Pandas начинает притормаживаться на данных в несколько гигабайт, Polars обычно продолжает работать быстро, позволяя без боли обрабатывать большие CSV.

Как пользоваться

Установка:

Давайте загрузим данные и проведем базовые трансформации:

А вот и пример ленивых вычислений:

В чем особенность:

• pl.read_csv загружает данные сразу.
• pl.scan_csv создаёт план вычислений для последующей оптимизации.
• Используются выражения (pl.col, .with_columns, .agg), которые композируются без создания промежуточных копий, это ускоряет процесс.

Почему это меняет карьеру

Polars меняет карьеру, потому что даёт преимущество в скорости и эффективности при работе с данными. Там, где Pandas уже не справляется, полярный медведь приходит на помощь.

Для дата-инженеров Polars полезен при построении ETL и пайплайнов обработки данных, где важна скорость и предсказуемое потребление ресурсов. Его можно использовать в продакшен-скриптах, для подготовки данных к ML и для автоматизации отчётности.

Для дата-сайентистов Polars даёт возможность анализировать больше данных за меньшее время, быстро итерировать гипотезы и ускорять исследования. Его API достаточно близок к Pandas, поэтому переход не требует месяцев переучивания.

Освоение Polars показывает работодателям, что ты не просто знаешь стандартные инструменты, но умеешь выбирать оптимальные решения для реальных задач, повышая эффективность работы команды. В эпоху роста данных это критично для любого Python-разработчика, работающего с аналитикой и машинным обучением.

5. FastAPI

FastAPI — современный фреймворк для создания API на Python, заточенный под скорость, асинхронность и валидацию данных из коробки. Он построен на Starlette и Pydantic, автоматически создаёт OpenAPI-документацию, поддерживает асинхронное программирование и позволяет писать производительные REST и WebSocket API с минимальным количеством кода.

Вместо долгой настройки, как у Flask или Django, в FastAPI многое готово изначально: удобная работа с запросами и ответами, декларативная валидация, документация Swagger, асинхронность и высокая производительность без лишних усилий.

Какие задачи решает

Задач, действительно, много:

• Быстрая разработка REST API для мобильных и веб-приложений;
• Создание бэкенда для ML/DS моделей (деплой моделей в виде API);
• Построение микросервисов с хорошей производительностью;
• Реализация websocket-серверов и асинхронных API;
• Подготовка внутренних инструментов или бэкендов для MVP.

FastAPI помогает быстро запускать API и уверенно масштабировать его в полевых условиях. Это один из немногих фреймворков Python, который по скорости работы сопоставим с Node.js и Go.

Как пользоваться

Во-первых, нужно установить FastAPI и Uvicorn (используем ASGI-сервер для запуска):

Простейший API-пример с эндпоинтом GET /:

Запускаем сам сервер:

После запуска API будет доступен по адресу http://127.0.0.1:8000/. Автоматически доступна интерактивная документация Swagger по адресу http://127.0.0.1:8000/docs.

FastAPI поддерживает валидацию параметров запроса, тел запросов и путей прямо через типы Python. Например, простой эндпоинт с параметром:

При вызове http://127.0.0.1:8000/items/10?q=test FastAPI автоматически проверит, что item_id — это число, и распарсит q как строку.

Почему это меняет карьеру

FastAPI — билет в мир бэкенда, где скорость и чистота кода имеют довольно высокое значение. Для Python-разработчика это возможность быстро освоить создание API и микросервисов, не увязнув в громоздкой настройке, как в Django, и при этом получить систему, готовую к продакшену.

Для ML-специалиста FastAPI становится инструментом для деплоя моделей: можно обернуть пайплайн предсказаний в API, подключить авторизацию или логирование и получить работающий сервис за считанные дни.

Вообще умение быстро поднимать и поддерживать API — навык, который ценят в бигтехе и стартапах. На разработчиков, которые владеют FastAPI, часто равняются: они умеют превращать идеи бизнеса в работающие сервисы за минимальное время.

6. Typer

Typer — современная библиотека для создания CLI-приложений на Python с минимальным количеством кода и автоматической генерацией документации. Автор библиотеки — Себастьян Рамирес, создатель FastAPI.

Главная особенность Typer — использование type hints для автоматического парсинга аргументов командной строки. Вы получаете удобную и читаемую CLI с поддержкой автодополнения и цветного вывода за считанные минуты.

Какие задачи решает библиотека

Список задач такой:

• Создание CLI-утилит любого уровня сложности.
• Быстрое прототипирование и упаковка Python-скриптов в удобные инструменты для продакшена.
• Генерация подробной справки (--help) и автодополнения команд.
• Облегченная поддержка и масштабирование CLI за счёт структуры и читаемого кода.
• Организация CLI с подкомандами, вложенными аргументами и обработкой ошибок.

Typer использует аннотацию типов и минимум шаблонного кода.

Как пользоваться

Установка:

Пример минимальной CLI:

Теперь можно запустить из консоли:

Результат будет такой: Привет, Алиса! Тебе 25 лет.

Почему это меняет карьеру

Typer меняет карьеру тем, что открывает путь к созданию удобных CLI-инструментов, которые автоматизируют рутину и повышают продуктивность.

С Typer можно быстро превращать свои Python-скрипты в надежные утилиты, которыми удобно пользоваться и другим разработчикам, и сотрудникам из других отделов. CLI-приложения часто становятся клеем инфраструктуры: они позволяют автоматизировать деплой, миграции БД, сбор данных, интеграцию с внешними API и локальную разработку.

Если вы Data Scientist или ML-инженер, Typer позволяет оборачивать пайплайны в CLI, которые легко запускать из Jenkins, Airflow или вручную. Если вы DevOps или Backend-инженер, можете создавать CLI для работы с инфраструктурой и сервисами без сложных зависимостей.

Кроме того, работа с Typer улучшает навык структурирования кода, понимание CLI, использования type hints и разработки инструментов, которые делают работу проще для других. А это, очевидно, ценится в любой команде и повышает востребованность специалиста.

7. Rich

Rich — библиотека Python для красивого форматирования и интерактивного отображения информации в терминале. С её помощью можно выводить цветные таблицы, маркдаун, прогресс-бары, подсвеченный синтаксис кода, деревья каталогов и логирование в понятной и привлекательной форме.

Rich создана для того, чтобы «оживить» консоль Python, сделать логи удобными для восприятия, а CLI-инструменты — профессионально выглядящими без лишних усилий. Это библиотека, которая улучшает и UX, и DX.

Какие задачи решает

Про красоту не забываем! Задачи следующие:

• Цветное и структурированное логирование, понятное при чтении логов в реальном времени.
• Отображение прогресс-баров для долгих операций.
• Вывод таблиц, деревьев каталогов, JSON прямо в терминале.
• Подсветка синтаксиса кода для CLI-инструментов.
• Создание CLI-интерфейсов, которые выглядят профессионально и современно.
• Улучшение читаемости при отладке скриптов.

С помощью Rich можно быстро сделать понятными даже сложные данные при отладке или демонстрации.

Как пользоваться

Установка Rich:

Для примера выведем таблицу с подсветкой в консоли:

В результате в терминале получится цветная таблица, которая выглядит понятно и презентабельно.

Почему это меняет карьеру

Rich — это библиотека, которая помогает быстро повысить качество любого CLI-инструмента или дев-опыт в команде. Разработчик, который использует Rich, делает свои инструменты удобными не только для себя, но и для коллег: логирование становится понятным, а отладка скриптов — наглядной.

Во многих стартапах и продвинутых командах важна скорость обратной связи при тестировании пайплайнов и автоматизаций, и Rich помогает выводить ключевую информацию максимально читаемо.

Кроме того, Rich позволяет быстро создавать CLI-интерфейсы, которые выглядят как продакшен-продукты, даже если это внутренние инструменты. Руководство будет радоваться и думать о вас как о крутом разрабе.

Для дата-инженеров и разработчиков DevOps Rich полезна при создании админ-утилит и при мониторинге пайплайнов, для Python-разработчиков — при создании библиотек и фреймворков с CLI.

8. LangChain

LangChain — фреймворк для создания приложений на базе LLM, например, GPT, Claude, Mistral, Gemini. Он позволяет строить цепочки обработки запросов, интегрировать LLM с данными и инструментами, добавлять память и управление состояниями, а также связывать работу модели с внешними API и базами знаний.

LangChain предоставляет удобный слой абстракции над вызовами LLM и ускоряет разработку чат-ботов, RAG-приложений, агентов с инструментами, систем анализа документов и других AI-сервисов.

Какие задачи решает

Список внушительный:

• Интеграция LLM в Python-приложения без необходимости писать тот самый клеевой код вручную.
• Построение цепочек с последовательной обработкой сообщений, включая преобразования и вызовы внешних функций.
• Добавление памяти в чат-боты для сохранения истории общения и контекста.
• Использование агентов для динамического вызова инструментов (веб-поиск, базы данных, API).
• Создание RAG-систем с интеграцией LLM и векторных БД.
• Быстрая сборка прототипов LLM-приложений, которые можно развернуть в продакшен.

Как пользоваться

Установка:

Создадим простую цепочку с чатом GPT:

Благодаря единым абстракциям, можно гибко комбинировать цепочки, память и вызов внешних инструментов, не усложняя код.

Почему это меняет карьеру

LangChain меняет карьеру, потому что открывает новый пласт Python-разработки в AI и LLM-инженерии, быстро превращая пользователя GPT в создателя полноценных AI-приложений. Вместо того чтобы писать хаотичный клеевой код, вы начинаете системно проектировать цепочки запросов, учитесь строить продуманные промпты и объединять их с инструментами, памятью и внешними API.

Работа с LangChain погружает в практическую LLM-инженерию: вы начинаете создавать RAG-приложения, которые умеют искать и анализировать данные перед генерацией ответа и строить агентов. Это востребовано в продуктах, где нужно подключать ИИ к базам знаний, автоматизировать задачи и разрабатывать интерактивные системы, которые реально используют модели в продакшене.

LangChain позволяет быстро собирать и запускать MVP AI-продуктов, что дает конкурентное преимущество при создании стартапов или внутренних сервисов. А ещё учит мыслить структурами и проектировать масштабируемую архитектуру LLM-приложений и видеть, как генеративный ИИ можно превратить в рабочий инструмент.

9. SQLAlchemy

SQLAlchemy — это мощная ORM и toolkit для работы с базами данных в Python, позволяющая писать SQL-запросы декларативно, создавать модели таблиц и управлять транзакциями в Python-коде без ручного написания SQL.

Библиотека даёт разработчику два уровня контроля:

• Core: низкоуровневая работа с SQL выражениями и соединениями;
• ORM: высокоуровневая декларативная работа с моделями, классами и связями между таблицами.

SQLAlchemy поддерживает PostgreSQL, MySQL, SQLite, Oracle и другие СУБД, давая единую абстракцию, без привязки к конкретному движку.

Какие задачи решает

Пул задач следующий:

• Описание таблиц в виде Python-классов и управление ими через сессии;
• Создание, чтение, обновление и удаление данных;
• Миграция SQL на декларативный стиль без потери гибкости;
• Полный контроль над транзакциями и выполнением запросов;
• Работа с асинхронными приложениями при создании FastAPI/Django-приложений;
• Экранирование параметров, которое снижает вероятность SQL-инъекций и ошибок.

Как пользоваться

Создадим минимальный пример для SQLite с таблицей пользователей:

Этот код создаёт базу example.db, таблицу users, добавляет туда одного пользователя и выводит всех пользователей в базе. При необходимости можно использовать SQLAlchemy Core для написания гибких запросов вручную, если нужно работать ближе к SQL.

Почему это меняет карьеру

SQLAlchemy меняет карьеру Python-разработчика тем, что даёт понимание системной работы с данными, архитектуры приложений и взаимодействия с реальными базами данных. Вы учитесь строить продуманные бэкенды, которые работают с транзакциями, миграциями, связями между таблицами и сложными выборками.

Знание SQLAlchemy открывает дорогу в мир API, микросервисов и продуктов, где требуется качественное управление данными и гибкая логика работы с БД. Работа с SQL теперь совсем не страшная.

10. Seaborn

Seaborn — библиотека для визуализации данных на Python, построенная поверх Matplotlib и упрощающая создание информативных и стильных графиков с минимальным количеством кода.

Она автоматически заботится о красивых стилях, цветах, разметке графиков, легендах и позволяет легко строить распределения, линейные графики, тепловые карты и другие визуализации.

Библиотека тесно интегрируется с Pandas DataFrame, позволяя использовать колонки данных напрямую для построения графиков, что делает её идеальной для EDA (разведочного анализа данных) и подготовки визуализаций для отчётов и презентаций.

Какие задачи решает

Визуализация безумно важна, особенно в контексте дата-аналитики. Seaborn отвечает за:

• Быстрое построение информативных графиков для анализа данных и поиска инсайтов;
• Автоматическую обработку ошибок отображения и масштабирования, что экономит время;
• Поддержку сложных визуализаций по типу ящиков с усами или тепловых карт без десятков строк кода;
• Стилизацию графиков без ручных настроек Matplotlib;
• Возможность добавлять статистические элементы (линию регрессии, KDE, распределение);
• Интеграцию с Jupyter Notebook для интерактивного анализа данных.

Как пользоваться

Допустим, у нас есть датасет с данными о чаевых:

В три строки мы получаем чистый и читаемый ящик с усами, показывающий, как счет за ужин распределяется по дням недели.

Для построения более сложных графиков можно использовать диаграмму рассеяния:

Тут мы добавляем цветовую кодировку по полу, чтобы увидеть зависимости между переменными.

Почему это меняет карьеру

Seaborn меняет карьеру, потому что даёт навык визуального анализа данных, что критично в современной аналитике и дата-инженерии. Умение быстро строить графики и видеть аномалии, распределения и взаимосвязи между переменными превращает работу с данными из слепого копания в числах в структурный анализ.

Использование Seaborn в Python-стеке помогает выделиться среди разработчиков, которые ограничиваются Pandas и текстовыми логами, ведь визуализация часто позволяет быстрее заметить закономерности и убедить команду или заказчика в правильности гипотезы.

Seaborn также учит пониманию данных через визуальные паттерны, что улучшает навыки построения моделей машинного обучения (так понятнее, какие признаки важны), и помогает создавать наглядные отчёты для продуктовых решений, где результат анализа нужно доносить до людей не из айти-индустрии.

А какими библиотеками пользуетесь вы? Делитесь в комментариях!

Российские нейросети — достойная альтернатива ChatGPT и другим западным ИИ-сервисам.

С появлением ChatGPT, Midjourney, Gemini и других мощных ИИ-инструментов работа с текстами, изображениями, кодом и данными стала проще и быстрее. Однако с учётом ограничений доступа к ряду зарубежных сервисов, особенно из России, на первый план вышли отечественные разработки. И сейчас российские нейросети уже могут успешно заменить западные аналоги — по функционалу, качеству генерации и удобству использования.

Современные русскоязычные ИИ-сервисы умеют вести диалог, писать статьи, решать задачи, генерировать изображения и даже программировать — полностью на русском и с учётом локального контекста. Многие из них активно развиваются, интегрируются в бизнес-процессы и становятся всё более популярными среди пользователей.

Как пользоваться ChatGPT, Midjourney, DALL·E и другими нейросетями в России: подборка сервисов с доступом к ИИ без ограничений

Сегодня нейросети вроде ChatGPT, GPT-4, Midjourney, Gemini, Claude и других — незаменимые инструменты для работы с текстами, изображениями, кодом и данными. Но из-за ограничений многие из этих сервисов официально недоступны в России. Несмотря на это, существуют альтернативные способы получить к ним доступ — через российские платформы и интеграции, которые открывают полный функционал популярных западных ИИ.

Эти сервисы позволяют использовать возможности ведущих нейросетей без VPN, смены региона и сложных настроек. Достаточно просто зарегистрироваться — и можно генерировать тексты в GPT-4, создавать изображения в Midjourney, работать с ИИ-помощниками вроде Gemini и Claude, использовать перевод, анализ данных, автоматизацию задач и многое другое.

Мы собрали ТОП-8 сервисов, которые дают российским пользователям удобный и стабильный доступ к лучшим зарубежным нейросетям. В обзоре расскажем, как работает каждый из них, какие ИИ-модели поддерживаются, чем они удобны и кому подойдут больше всего.

ТОП-8 сервисов, которые дают российским пользователям удобный и стабильный доступ к лучшим зарубежным нейросетям:

1. Study.AI - лучший агрегатор нейросетей предоставляющий возможности всех самых популярных генераторов (текст, картинки, фото, видео и т.д.) Есть фримиум возможности — доступ к чату GPT и др.

2. ApiHost - универсальный сервис без необходимости VPN. Быстро генерирует изображения по промптам и голосовым командам.

3. GoGPT -Удобное мобильное приложение с мгновенной генерацией картинок по тексту. Отличается высокой скоростью работы.

4. Chad AI - специалист по логотипам и аватаркам. Подходит для брендинга и быстрого создания фирменного стиля.

5. Ай Серч - комбинирует текст и изображение.

6. AI-Писатель. - создаёт изображения, тексты и описания товаров по фото.

7. НейроТекстер - дорисовывает изображение, продолжая идею автора.

8. НейроХолст - превращает фото в иллюстрации в заданном стиле — от реализма до 3D.

Российские нейросети и сервисы, где можно сгенерировать текст, изображение, видео, картинку или просто получить доступ к нейросетям: GPT o4, Midjorney, Gemini, Dalle, Deepseek и др.:

1. Study.AI

Study.AI — это сборник различных нейросетей для генерации изображений, фотографий, презентаций, по текстовым и голосовым запросам. Она предназначена для создания уникального визуального контента, включая иллюстрации, концепт-арты, рекламные баннеры и другие изображения. (лучшая нейросеть на данный момент по мнению пользователей). Внутри платформы предоставляется функционал всех известных нейросетей в России (GPT o4, Midjorney, Gemini, Dalle, Deepseek и др.)

Study.AI — это универсальная платформа, объединяющая 6 передовых AI-моделей (для генерации креатива, создания иллюстраций, изображений и картинок, презентаций, текста, анализа данных, и т. д.) в одном удобном сервисе. Точный и безопасный доступ к нейросетям без необходимости покупать десяток отдельных подписок или использовать VPN является огромный плюсом данного сервиса

• Стоимость: от 199 рублей
• Пробный период: доступен ограниченный бесплатный режим для тестирования
• Доступ: онлайн через браузер

Преимущества:

• Все AI-модели в одном месте
• Единая подписка (Freemium + Premium)
• Глубокие интеграции (улучшенное распознавание изображений, генерация изображений, картинок, презентаций, генерация рефератов)
• Интуитивный интерфейс (минимум лишних кнопок, гости могут протестировать сразу)
• Экономия времени и сил (автоматизация рутины, быстрое переключение между моделями)
• Поддержка русского языка и доступ без VPN
• Есть версия в Telegram
• Универсальное решение (студенты, специалисты, творчество, личные дела)
• Масштабируемость (сервис постоянно добавляет новые модели нейросетей)

Недостатки:

• пока что не обнаружены

САЙТ СЕРВИСА

2. ApiHost

ApiHost — это многофункциональный онлайн-сервис на русском языке, который позволяет создавать изображения по текстовому описанию, рисункам и фотографиям. Помимо визуального контента, ApiHost поддерживает функции озвучки, преобразования голоса в текст и обратной конвертации. Идеально подходит для генерации изображений для сайтов, презентаций, баннеров и другого контента.

Сервис работает по платной модели: 9 рублей за генерацию изображения и 6 рублей за описание к фото. Бесплатного тестового периода нет, но лимиты отсутствуют в платной версии.

Преимущества ApiHost:

• Полностью адаптирован для мобильных устройств.
• ИИ создаёт до 4 вариантов изображения по одному промпту — на русском и английском.
• Поддержка загрузки фото, рисунков и текстовых файлов для генерации.
• Дополнительные функции: озвучка, голос в текст, сохранение, анализ текста, подсчёт слов, изменение тона и темпа голоса.
• Возможность самостоятельного выбора ИИ-модели для генерации.
• Интеграция с YouTube и AI-подсказки.

Недостатки и ограничения:

• Нет возможности править мелкие детали на изображении — результат можно только принять или отклонить.
• Исходные изображения не сохраняются — используются только как базовая информация для генерации.
• Не поддерживает генерацию графиков и медицинских изображений.
• Регистрация обязательна, даже для первого использования.
• Отсутствие бесплатного пробного периода — сразу требуется оплата.

CАЙТ СЕРВИСА

3. GoGPT

GoGPT — это мощный ИИ-сервис с полностью русскоязычным интерфейсом, который сочетает функции генерации изображений, распознавания объектов и интеллектуального анализа визуального контента. Сервис работает на базе DALL·E 3 и Midjourney, поэтому для корректной работы с изображениями может потребоваться VPN. Основной упор сделан на генерацию и обработку изображений по промтам, коррекцию визуалов и работу с композициями.

Сервис поддерживает загрузку фото с описанием, запоминает контекст, предлагает прогнозирование расходов, анализирует данные из интернета и помогает создавать или редактировать визуальный стиль. Подключение возможно через браузер или чат-бот с поддержкой GPT-4v.

Условия использования:

• Бесплатный пробный период — 7 дней
• 10 бесплатных запросов в день в рамках теста
• Полный доступ к функциям с тарифа «Стандарт» — от 699 ₽ в месяц
• Регистрация обязательна

Преимущества GoGPT:

• Большая библиотека готовых шаблонов (промтов) для генерации изображений.
• Гибкий контроль контекста и запоминание истории запросов.
• Обучающая система и интеллектуальная обработка текстов.
• Накопительные токены — можно переносить на следующий месяц.
• Выделение отдельных участков изображения для точечной доработки.
• Поддержка распознавания и обработки сразу нескольких изображений.

САЙТ СЕРВИСА

4. Chad AI

ChadAI — это многофункциональный сервис, сочетающий генерацию изображений, создание текстов, визуального контента и даже прототипов простых игр. Сервис работает на русском языке и не требует подключения VPN, что делает его удобным для пользователей из России.

ChadAI поддерживает работу с популярными генераторами изображений — DALL·E и Midjourney. В зависимости от подключённого инструмента и тарифа, пользователю доступны разные лимиты на количество запросов. Сервис способен создавать изображения по промтам, а также превращать загруженные фото в арты или стилизованные картинки. Есть функция голосового ввода, встроенный поиск через Яндекс-бот и генерация изображений прямо в чате.

Условия использования:

• Бесплатный тариф: 3 запроса в сутки
• Тарифы: Мини — 290 ₽/мес, Оптимум — 590 ₽/мес, Плюс — 1690 ₽/мес
• Первый месяц: 50 изображений DALL·E, 25 — Midjourney
• Далее — 15 изображений в месяц бесплатно или переход на платный тариф
• Обязательная регистрация

Преимущества ChadAI:

• Поддержка голосовых запросов и текстовых описаний
• Возможность создавать арты из фото и изображения прямо в чате
• Высокое разрешение сгенерированных изображений
• Обработка длинных текстов до 14 000 знаков
• Доступ к встроенной библиотеке промтов
• Быстрая техподдержка через Telegram
• Гибкая система тарифов с возможностью докупить запросы при необходимости

Недостатки ChadAI:

• Русская версия периодически выдаёт ошибки и нестабильно работает
• В периоды высокой нагрузки возможны временные ограничения для пользователей из России
• Количество бесплатных изображений ограничено, особенно после первого месяца

САЙТ СЕРВИСА

5. Ай Серч

AI Search — универсальный искусственный интеллект, предназначенный для генерации изображений и текстов, обработки аналитических данных и помощи в программировании. Несмотря на наличие русской версии интерфейса, в полной мере работать с инструментом можно только через англоязычный режим. Сервис подходит для создания логотипов, аватаров и анимаций по текстовому описанию, но уровень визуализации часто оставляет желать лучшего.

AI Search

Сервис также предлагает функции для написания статей, описаний товаров, блогов, рефератов и даже кода для более чем 20 языков программирования. В зависимости от тарифа доступны разные объёмы задач, символов или временных ограничений. Регистрация обязательна, а тестировать визуальные функции без оплаты невозможно — пробный доступ ограничен лишь базовым функционалом.

Условия использования:

• Язык интерфейса: русский (ограниченный), английский (полноценный)
• Тестовый период: 7 дней с ограничениями
• Стоимость: от 999 ₽ до 2999 ₽/мес в зависимости от тарифа
• Форма запроса: текстовое описание (лучше — на английском)
• Регистрация обязательна

Преимущества AI Search:

• Гибкая система тарифов — можно выбрать подходящий план под конкретные задачи
• После первой оплаты начисляется 100% бонус на баланс
• Поддерживает создание анимаций и статичных изображений по описанию
• Многофункциональность: от генерации текстов до написания кода и анализа данных

Недостатки AI Search:

• Полноценный функционал доступен только после оплаты — даже тестовые изображения не сгенерировать бесплатно
• Интерфейс на русском языке работает нестабильно, ограничен по возможностям
• Качество изображений часто не соответствует ожиданиям — результат может отличаться от заданного описания

САЙТ СЕРВИСА

6. AI-Писатель.

AI-Писатель — сервис с русскоязычным интерфейсом, ориентированный на создание и корректуру разнообразных текстов, включая SEO-контент, отзывы, рерайтинг, копирайтинг, рекламные материалы и сценарии. Также предлагает функции генерации изображений и фотографий, но с ограничениями в базовых тарифах.

Условия использования:

• Язык интерфейса: русский
• Тестовый период: 1 сутки для текста
• Стоимость: от 150 до 6500 ₽ в месяц в зависимости от пакета
• Форма запроса: текстовая подсказка
• Регистрация: обязательна для генерации изображений

Преимущества AI-Писателя:

• Поддержка разных моделей ИИ, включая GPT-4o Turbo и Claude 3.5 Sonnet на дорогих тарифах
• Генерация и корректура текстов разного уровня сложности
• Создание SEO-оптимизированных текстов для сайтов и рекламных материалов
• Возможность создавать изображения с разным разрешением через Dall-E 3 (в зависимости от тарифа)
• Гибкие лимиты на символы и изображения в зависимости от выбранной модели

Недостатки AI-Писателя:

• Ограниченный доступ к продвинутым ИИ и созданию изображений в дешевых тарифах
• Короткий бесплатный тестовый период — всего один день для текстов
• Требуется обязательная регистрация для генерации картинок
• Ограничения по количеству и размеру изображений в зависимости от тарифа

САЙТ СЕРВИСА

7. НейроТекстер

НейроТекстер — русскоязычный сервис, позволяющий создавать и обрабатывать тексты с разной стилистикой и тоном, а также генерировать изображения в стиле аниме, аватарки, фото, логотипы и превью для статей. При работе не требуется VPN, однако возможны сложности с оплатой через нейротокены — внутренняя валюта для приобретения изображений.

Основные характеристики:

• Язык интерфейса: русский
• Тестовый период: 7 дней
• Стоимость: от 299 до 1999 рублей в месяц (зависит от тарифа)
• Форма запроса: текстовая подсказка
• Регистрация: обязательна

Преимущества НейроТекстера:

• Обработка сразу нескольких изображений — до 9 за один запрос
• Возможность задавать запросы на русском и английском языках
• Многофункциональность: рерайтинг, генерация текстов, проверка грамматики, оптимизация, настройка стиля и тона
• Специализированная служба поддержки с чат-ботами, разделёнными по сферам деятельности, что ускоряет получение помощи
• Управление параметрами изображений — размер, количество шагов прорисовки для детализации

Недостатки НейроТекстера:

• Без подписки сервис не работает
• При большой нагрузке возникают задержки и затруднения с генерацией изображений
• Возможны периодические проблемы с оплатой через нейротокены

САЙТ СЕРВИСА

8. НейроХолст

НейроХолст — русскоязычная нейросеть, ориентированная на перерисовку, коррекцию фото и генерацию картинок по текстовому описанию. Пользователю доступна возможность создавать эскизы, наброски, полноценные картины и фотографии в различных стилях. Для качественного результата важно сразу задавать точные параметры, например, убрать мультяшность или ограничить размытость.

Основные характеристики:

• Язык интерфейса: русский
• Тестовый период: бесплатный (до 25 «красок» — запросов на изображения)
• Стоимость: от 100 рублей («Мини») до 5000 рублей («Океан красок»)
• Форма запроса: текстовое описание
• Регистрация: обязательна

Преимущества НейроХолста

• Простота использования — не требует установки и сложных настроек
• Интуитивно понятный и удобный интерфейс
• Можно создавать до 50 изображений в бесплатном периоде (по краскам)
• Поддержка различных художественных стилей, гибкая адаптация под запросы пользователя
• Работает на базе популярных мощных ИИ-моделей (Dall-E 3, Midjourney v6)

Недостатки НейроХолста

• Длительное время генерации изображений, даже после оплаты
• Ограничение по количеству запросов в бесплатном тарифе (25 красок)

САЙТ СЕРВИСА

Несмотря на ограничения, доступ к лучшим мировым нейросетям в России по-прежнему возможен — благодаря отечественным платформам, которые берут на себя интеграцию с зарубежными ИИ-сервисами. ChatGPT, Midjourney, DALL·E, Gemini, Claude, DeepSeek и другие инструменты становятся ближе и проще в использовании, когда есть удобный интерфейс, поддержка русского языка и прозрачные условия доступа.

Выбор конкретного сервиса зависит от задач: где-то важен максимально мощный текстовый ИИ, где-то — генерация изображений или креативных концепций, а кому-то нужен универсальный помощник на каждый день. К счастью, рынок развивается, и российские пользователи уже не ограничены в инструментах — главное, понимать, какие возможности предоставляет каждый из них.

Попробуйте несколько платформ из списка — и найдите ту, которая будет максимально комфортной и эффективной именно для вас. Если же вам не хочется искать несколько платформ, то лучше всего выбрать Study.AI на котором есть все, что может понадобиться пользователю из России, есть бесплатный фримиум период, платформа постоянно обновляется и есть хорошая поддержка, которая может оперативно решить любой вопрос.

И такой механизм существует — называется он Security Operations Center (SOC). Структура превращает хаотичный поток событий в управляемый процесс, сочетая технологии, аналитику и экспертизу для раннего выявления и нейтрализации угроз.

В статье разберем принципы работы, задачи и преимущества использования SOC, а также узнаем, почему без внедрения новой концепции безопасности даже защищенная инфраструктура остается уязвимой.

Основные задачи SOC

Security Operations Center — это специализированное подразделение, отвечающее за непрерывный мониторинг системы и защиту информационных активов организации. Ключевая задача SOC — не просто фиксировать угрозы, а оперативно на них реагировать, минимизируя возможный ущерб. В отличие от классических ИБ-служб, центр работает в режиме 24/7, анализируя потоки данных из различных источников — сетевого оборудования, серверов, конечных устройств, облачных сервисов и приложений.

Одна из главных проблем, с которой сталкиваются современные компании, — это нехватка ресурсов для обработки огромного объема событий безопасности. Большинство организаций просто не успевают своевременно реагировать на инциденты из-за перегруженности аналитиков ложными срабатываниями.

Именно здесь на помощь приходит Центр управления информационной безопасностью, использующий автоматизированные системы вроде SIEM (Security Information and Event Management) и SOAR (Security Orchestration, Automation and Response). Эти инструменты фильтруют шум, выделяя действительно критичные угрозы.

Рассмотрим главные задачи SOC подробно.

Мониторинг и обнаружение

Первая и самая очевидная функция SOC в информационной безопасности — постоянный контроль активности в корпоративной сети.

Это не пассивное наблюдение, а направленный поиск аномалий:

• нестандартных запросов к базам данных;
• подозрительных входов в систему;
• неавторизованных изменений конфигураций и т.д.

Например, если сотрудник в ночное время пытается скачать большие объемы информации, система зафиксирует это событие и передаст его аналитикам для проверки.

Но мониторинг — лишь начальный этап. Современные злоумышленники применяют сложные техники, по типу атак с нулевым днем или латентные угрозы, которые могут оставаться незамеченными месяцами.

Чтобы противодействовать им, SOC использует Threat Intelligence (отслеживание угроз) — сбор и анализ данных о новых векторах атак, уязвимостях и тактиках хакеров. Например, если в даркнете появляется информация о продаже данных компании, SOC может оперативно проверить, не связана ли утечка с текущими процессами в инфраструктуре.

Реагирование и восстановление

Обнаружение угроз — только половина дела. Гораздо важнее качественное реагирование. SOC не просто констатирует факт атаки, а предпринимает конкретные действия — блокирует вредоносные IP-адреса, изолирует зараженные узлы, отзывает в доступе скомпрометированным учеткам. В случае с программами-вымогателями счет идет на минуты — чем быстрее будет остановлено распространение, тем меньше данных окажется зашифровано.

После нейтрализации угрозы начинается этап восстановления. SOC координирует откат систем к последней «чистой» версии, проверяет резервные копии на предмет повреждений, обновляет правила безопасности, чтобы предотвратить повторные атаки. Если инцидент произошел из-за уязвимости в ПО, команда обеспечивает установку патчей не только на пораженных машинах, но и во всей инфраструктуре.

Соответствие стандартам и аудит

Помимо технических аспектов, SOC играет важную роль в соблюдении регуляторных требований. Многие отрасли — финансы, здравоохранение, госсектор — обязаны соответствовать строгим стандартам вроде PCI DSS, HIPAA или GDPR.

SOC помогает вести журналы событий, готовить отчеты для аудиторов, а также оперативно реагировать на инциденты, которые могут повлечь штрафы или репутационные потери.

Актуализация методов: эволюция угроз = эволюция SOC

Киберугрозы не стоят на месте, и SOC вынужден адаптироваться к новым вызовам. Если раньше основное внимание уделялось защите периметра, то сейчас акцент сместился на поведенческий анализ и проактивную защиту.

Современные центры мониторинга используют машинное обучение для выявления аномалий в поведении пользователей, а также внедряют технологии обмана (Deception Technology). Специальное ПО создает ложные цели, чтобы выявить злоумышленников, уже проникших в сеть.

При этом эффективность центра безопасности SOC зависит не только от технологий, но и от слаженной работы команды. Аналитики, инженеры, специалисты по киберразведке должны действовать как единый механизм. Только тогда организация сможет противостоять даже самым изощренным атакам.

Преимущества SOC

Развертывание принципов SOC или Центра управления безопасностью трансформирует подход к защите данных, предлагая комплексные решения вместо точечных мер.

Главные плюсы такого подхода:

• В отличие от разрозненных систем, SOC обеспечивает единую точку мониторинга, где анализируются данные с сетевых устройств, серверов, рабочих станций и облачных сервисов.
• Постоянный аудит уязвимостей и автоматизированное тестирование на проникновение позволяют выявлять слабые места до того, как их обнаружат злоумышленниками. Например, SOC находит неправильно настроенные правила доступа в облачном хранилище или подозрительную активность в доменных службах, что особенно актуально в условиях атак на службы каталогов.
• Многие стандарты, такие как PCI DSS, ISO 27001 и GDPR, требуют не только внедрения защитных механизмов, но и доказательств их работоспособности. SOC автоматизирует сбор доказательной базы: журналы событий, отчеты об инцидентах, записи реагирования. Это избавляет компанию от рутинной подготовки к аудитам и снижает риски санкций.
• Хотя развертывание центра требует инвестиций, это сокращает прямые и косвенные убытки от кибер-инцидентов. По расчетам Ponemon Institute, средняя стоимость утечки данных в 2023 году составила $4.45 млн, при этом компании с SOC тратят на ликвидацию последствий на 30-40% меньше.
• Современные SOC используют машинное обучение для анализа паттернов атак и предсказания новых векторов угроз. Это особенно ценно в условиях, когда злоумышленники применяют ИИ для генерации вредоносного кода и фишинговых кампаний.
• По мере роста компаний традиционные методы безопасности становятся неэффективными из-за все большей поверхности атаки. Гибкая архитектура SOC позволяет адаптировать процессы мониторинга и реагирования без полного пересмотра инфраструктуры.

Какие инструменты и технологии используются в SOC

Современный Security Operations Center — это сложный технологический комплекс, где различные решения интегрированы в единую экосистему. Основу составляет SIEM-система, которая агрегирует данные из всех источников — сетевого оборудования, серверов, приложений. Популярные платформы вроде Splunk или IBM QRadar не просто собирают логи, но и выявляют аномалии с помощью алгоритмов машинного обучения.

Для автоматизации рутинных задач применяют SOAR-платформы. Они создают сценарии реагирования: например, при обнаружении подозрительного файла система автоматически изолирует зараженный узел, отправляет уведомление аналитикам и обновляет правила межсетевого экрана. Такой подход особенно эффективен против массовых атак, где скорость реакции критична.

Обнаруживают угрозы на конечных точках EDR/XDR-решения (Endpoint Detection and Response / Extended Detection and Response). В отличие от традиционных антивирусов, эти системы анализируют поведение процессов, выявляют даже неизвестные вредоносные программы. XDR идет дальше, объединяя данные не только с компьютеров, но и из облачных сервисов, почтовых систем. По статистике Group-IB, использование EDR снижает успешность атак на конечные точки на 40-60%.

Сетевую безопасность контролируют IDS/IPS (системы обнаружения и предотвращения вторжений). Они работают как «цифровые дозорные», анализируя трафик в реальном времени. Современные решения, по типу Darktrace, используют ИИ для выявления даже замаскированных атак, включая латеральные перемещения внутри сети.

Отдельного внимания заслуживает службы Threat Intelligence. Платформы вроде Recorded Future или отечественной ThreatLook автоматически обновляют базы индикаторов компрометации (IoC), что позволяет SOC блокировать атаки на ранних этапах.

Для управления уязвимостями применяют сканеры вроде Tenable.io или Rapid7, которые выявляют слабые места в ПО и конфигурациях. А технологии UEBA (User and Entity Behavior Analytics) помогают обнаружить инсайдерские угрозы, анализируя отклонения в поведении пользователей.

Важно понимать, что эффективность SOC зависит не от отдельных инструментов, а от их интеграции. Например, когда SIEM получает предупреждение от EDR, SOAR может автоматически запустить процедуру изоляции устройства, а разведка киберугроз (Threat Intelligence) — проверить хэш файла в базах. Комплексный подход превращает разрозненные данные в оперативную информацию, на основе которой принимаются решения.

Российские компании все чаще выбирают гибридные модели, сочетая облачные SIEM с локальными решениями для обработки чувствительных данных. Этот тренд особенно актуален в свете требований регуляторов к хранению информации внутри страны.

Команда SOC: кто работает и за что отвечает

Эффективность Security Operations Center определяется не только технологиями, но и людьми, которые управляют этими системами. В типичном SOC работает несколько категорий специалистов со своими зонами ответственности.

Первая линия обороны — аналитики первого уровня (L1). Их задача — первичная обработка событий безопасности:

• они фильтруют ложные срабатывания;
• проверяют базовые индикаторы компрометации;
• выявляют сложные случаи.

Эти специалисты работают по готовым сценариям (playbooks), что позволяет быстро обрабатывать до 70% рутинных инцидентов.

Когда ситуация требует более глубокого разбора, в дело вступают аналитики второго уровня (L2):

• они исследуют цепочки атак;
• анализируют поведение злоумышленников в сети;
• определяют масштаб компрометации.

Например, если система зафиксировала подозрительную активность в Active Directory, служба L2 не просто проверит конкретное событие, но и проанализирует возможные перемещения злоумышленников.

Самые сложные случаи — компрометация нулевого дня, целевые атаки или скрытые угрозы — попадают к аналитикам третьего уровня (L3). Эти эксперты сочетают навыки реверс-инжиниринга, цифровой криминалистики и анализа вредоносного кода. Они могут разобрать логику работы нового вируса, восстановить хронологию атаки или выявить утечку данных даже при отсутствии явных следов.

Отдельная роль отводится инженерам SOC — они поддерживают работоспособность SIEM, SOAR и других платформ. Эти специалисты настраивают правила корреляции, интегрируют новые источники данных и следят за тем, чтобы системы реагировали на актуальные угрозы. В крупных SOC есть и DevOps-инженеры, которые автоматизируют процессы мониторинга и реагирования.

Проактивным поиском занимаются охотники за угрозами (Threat Hunters). В отличие от аналитиков, которые исследуют уже обнаруженные инциденты, эти специалисты ищут скрытые компрометации, анализируя аномалии в поведении систем и пользователей. По данным исследования Positive Technologies, компании с выделенными службами Threat Hunters обнаруживают на 40% больше скрытых угроз.

После серьезных инцидентов в работу включаются форензик-специалисты. Они восстанавливают полную картину атаки: какие данные были похищены, какие системы затронуты, как злоумышленники получили доступ. Эти эксперты особенно востребованы при расследовании утечек или атак на критическую инфраструктуру.

За стратегическое направление отвечает руководитель SOC (SOC-менеджер). Этот специалист координирует работу команды, взаимодействует с другими подразделениями компании и переводит технические детали инцидентов на язык бизнес-рисков. В крупных организациях есть также директор по реагированию на инциденты, который управляет кризисными ситуациями.

Особняком стоят красные команды (Red Team) — они моделируют атаки, чтобы проверить устойчивость защиты. Их работа помогает выявить слабые места до того, как ими воспользуются реальные злоумышленники. По статистике Group-IB, регулярные тестирования Red Team снижают успешность внешних атак на 25-35%.

В небольших SOC один специалист может совмещать несколько ролей. Например, аналитик L2 занимается и охотой на киберугрозы, а инженер — настройкой автоматизации. Но по мере роста компании разделение обязанностей становится критичным для эффективной работы.

Ключевой тренд последних лет — развитие гибридных моделей, когда часть задач (например, мониторинг 24/7) передается на аутсорсинг, а сложные расследования остаются за внутренней командой. Такой подход позволяет даже средним компаниям получить уровень защиты, сопоставимый с крупными игроками.

Модель работы SOC

Современный Security Operations Center функционирует по четко выверенной схеме, адаптируя свои процессы под конкретные угрозы и бизнес-требования. В основе лежит цикличная модель, сочетающая постоянный мониторинг, оперативное реагирование и пост-анализ.

Первичное обнаружение угроз происходит через системы сбора данных — SIEM-платформы агрегируют информацию с сетевого оборудования, конечных точек, облачных сервисов и приложений. Современные SOC обрабатывают в среднем от 10 000 до 100 000 событий ежечасно, при этом только 5-7% из них требуют вмешательства аналитиков.

Выявленные аномалии проходят многоступенчатую верификацию. На первом уровне автоматизированные правила и базовые корреляции отсеивают до 60% ложных срабатываний. Оставшиеся события попадают к аналитикам, которые определяют критичность по шкале CVSS (Common Vulnerability Scoring System) или внутренним метрикам. Например, попытка входа в систему с необычного местоположения может быть безобидной, но если она совпадает с активностью в даркнете — это повод для немедленного реагирования.

Процесс реагирования варьируется в зависимости от типа угрозы. Для нейтрализации массовых атак (фишинг, DDoS) часто применяют автоматизированные сценарии через SOAR-платформы: блокировка IP-адресов, изоляция зараженных узлов, отзыв доступов.

Целевые атаки требуют ручного расследования — аналитики восстанавливают цепочку компрометации, используя данные EDR-систем и сетевых датчиков. По данным Positive Technologies, среднее время нейтрализации сложного инцидента сократилось с 56 до 18 часов за последние 3 года благодаря улучшению инструментария.

После устранения угрозы начинается фаза пост-анализа. Специалисты изучают артефакты атаки, определяют уязвимости в инфраструктуре и разрабатывают рекомендации. Например, если инцидент произошел из-за устаревшего ПО, SOC может инициировать внеплановое обновление или временное отключение сервиса.

Интеграция с DevSecOps — ключевой тренд последних лет. SOC все чаще участвует в жизненном цикле разработки: анализирует код на уязвимости, тестирует конфигурации облачных сервисов, проверяет CI/CD-цепочки. Это позволяет выявлять проблемы на этапе проектирования, а не эксплуатации.

Уровень зрелости SOC оценивают по 5-ступенчатой модели:

• Реактивный — реагирование только на явные инциденты.
• Проактивный — базовый мониторинг и элементарная автоматизация.
• Прогнозирующий — использование инструментов отслеживания киберугроз (Threat Intelligence) и поведенческого анализа.
• Адаптивный — интеграция с бизнес-процессами и Red Team.
• Оптимизированный — машинное обучение и предиктивная аналитика.

Как SOC защищает данные

Security Operations Center обеспечивает комплексную защиту информации через многоуровневый контроль и оперативное реагирование. Один из ключевых аспектов — выявление несанкционированного доступа.

Современные SOC используют поведенческую аналитику для обнаружения аномалий: необычных действий учетных записей, подозрительных запросов к базам данных или попыток эскалации привилегий. Например, система может зафиксировать, что пользователь вне рабочего времени скачивает большие объемы информации, и автоматически инициировать проверку.

Блокировка утечек происходит за счет комбинации технологий. DLP-системы отслеживают передачу конфиденциальных данных, а EDR-решения пресекают деятельность вредоносных программ. Особое внимание уделяется фишингу — согласно отчету Group-IB, 83% успешных атак начинаются именно с компрометации почтовых ящиков.

Скорость реагирования — критичный параметр. Внедрение SOAR-платформ сокращает время обнаружения угроз с нескольких дней до минут. Автоматизированные сценарии мгновенно изолируют зараженные узлы, блокируют подозрительные IP-адреса и приостанавливают скомпрометированные учетные записи.

Принцип Zero Trust реализуется через постоянную верификацию. SOC анализирует не только внешние угрозы, но и внутреннюю активность, проверяя каждое действие в корпоративной сети. Многофакторная аутентификация, микросегментация и контроль доступа на основе ролей (RBAC) становятся стандартными элементами защиты.

Дополнительный уровень безопасности обеспечивает прогностическая аналитика. Современные центры мониторинга используют машинное обучение, чтобы выявлять скрытые паттерны атак и предупреждать инциденты до их реализации. Это особенно актуально для защиты от целевых атак (APT), которые могут развиваться месяцами.

Организации с развернутыми центрами мониторинга гораздо реже сталкиваются с успешными компрометациями данных, но при этом важно понимать, что технологии — лишь инструмент. Реальную защиту дает симбиоз автоматизированных систем, квалифицированных специалистов и отлаженных процессов.

Метрики эффективности SOC

Оценка работы Security Operations Center невозможна без четких количественных показателей. Эти метрики помогают понять, насколько быстро и точно команда обнаруживает угрозы, реагирует на них и минимизирует возможный ущерб.

MTTD (Mean Time to Detect) — среднее время обнаружения инцидента. Показатель отражает, как быстро SOC замечает аномальную активность после ее появления в системе.

По данным исследования SANS Institute, в 2023 году средний MTTD для компаний с развитой инфраструктурой безопасности составил около 4 часов. Однако для целевых атак этот показатель может увеличиваться до нескольких недель — именно поэтому так важны системы поведенческого анализа и Threat Intelligence.

Не менее критичен параметр MTTR (Mean Time to Respond) — период между обнаружением угрозы и ее полной нейтрализацией. Современные SOC с автоматизированными платформами SOAR сокращают это время до 30-60 минут для стандартных инцидентов. Для сравнения: при ручном реагировании аналогичный процесс занимает 4-6 часов.

Распределение количества инцидентов по уровням критичности помогает оценить нагрузку на команду и качество работы систем фильтрации.

В хорошо настроенном SOC соотношение обычно выглядит так:

• 70-80% — низкий приоритет (ложные срабатывания, незначительные события);
• 15-20% — средний приоритет (потенциально опасные аномалии);
• 5-10% — высокий приоритет (реальные атаки или серьезные угрозы).

Резкий рост числа высокоприоритетных инцидентов может сигнализировать либо о повышении активности злоумышленников, либо о проблемах в настройке систем мониторинга.

Соотношение ложных и истинных срабатываний — ключевой индикатор точности работы SOC. Высокий процент ложных тревог (более 30-40%) приводит к «усталости» аналитиков и повышает риск пропуска реальных угроз. Современные SIEM-системы с машинным обучением позволяют снизить этот показатель до 10-15%, но требуют постоянной корректировки правил корреляции.

SLA по реагированию — договорные обязательства, которые определяют, как быстро SOC должен сработать на инцидент:

• критические угрозы (атака в процессе) — реакция в течение 15 минут;
• высокий риск (признаки компрометации) — не более 1 часа;
• средний приоритет — до 4 часов.

Дополнительные метрики включают:

• процент обнаруженных угроз — сколько атак было выявлено до нанесения ущерба;
• среднее время восстановления после инцидента;
• количество пропущенных угроз — обычно выявляется при аудитах или тестах Red Team.

Важно понимать, что идеальных показателей не существует. Например, снижение MTTD часто приводит к росту ложных срабатываний. Поэтому успешные SOC постоянно балансируют между скоростью, точностью и ресурсозатратами, регулярно пересматривая свои метрики в соответствии с изменяющейся киберугрозой.

Сейчас рынок облачных сервисов — крайне перспективная отрасль. В России процент проникновения облачных услуг по данным провайдера — всего 28%, поэтому возможности для роста очень большие.10 апреля компания провела масштабную конференцию, которую посетили более 5500 айтишников онлайн и офлайн. На открытии GoCloud 2025 топ-менеджеры представили новую платформу для работы с данными, AI-решения, заявили о внедрении AI-агентов в свои платформы, а также рассказали, что такое гибридное облако, почему искусственный интеллект нужен почти всем компаниям, а главное — какие релизы Cloud.ru готовит в будущем.

На конференции было три трека:

1. Инфраструктура и сервисы — здесь спикеры Cloud.ru рассказывали о новых сервисах и платформах, особенно про публичное облако Cloud.ru Evolution
2. AI&ML — был посвящен новым AI-фичам и работе с ML-моделями, которые улучшат клиентский опыт и упростят жизнь разработчикам и пользователям
3. Сценарии работы в облаке — здесь выступали спикеры из крупных компаний и делились своим опытом использования облаков.

В статье рассказываем о главных анонсах Cloud.ru и итогах конференции.

Что нового в Cloud.ru Evolution

Cloud.ru Evolution — публичное облако, построенное на собственных разработках и open source, где интегрированы самые необходимые разработчикам сервисы.

На прошлой конференции в 2024 году Cloud.ru уже успели представить много новых компонентов в платформе — тогда в ней было доступно 20 сервисов. За год ей воспользовались 39 тыс. человек, а число сервисов выросло в 2 раза.

В мае этого года пользователям будут доступны новые платформенные сервисы для работы с большими данными в облаке. Они работают по модели PaaS, используют контейнерную архитектуру и предлагают автомасштабирование, гибкость и безопасность. Сервисы упрощают обработку и анализ данных, подходят для AI/ML-задач, интегрируются с S3, Artifactory Registry и Evolution DBaaS.

Некоторые из них можно попробовать уже сейчас:

• Evolution Managed Arenadata DB — это управляемая PaaS-база на Greenplum для хранения и обработки до 50 ТБ данных. Подходит для аналитики, AI/ML, отчетности, а оплата проходит по модели pay-as-you-go.
• Evolution Data Platform — это платформа от Cloud.ru для работы с большими данными. Уже можно протестировать: Evolution Managed Trino — SQL-движок для работы с разными источниками данных, Evolution Managed Metastore — хранилище метаданных, Evolution Managed Spark — сервис для распределенной обработки данных.

Evolution Managed Trino и Metastore выйдут в коммерческий доступ во втором квартале 2025, а Evolution Managed Airflow и Evolution Managed BI станут доступны для тестирования.

Также в Cloud.ru Evolution появится AI-помощник, который будет закрывать базовые задачи.

Помощник должен автоматизировать рутинные задачи и максимально снизить порог входа в облака и работу с ними, в перспективе значительно упростит работу DevOps. Всю ответственность за то, что он делает, будем нести мы, как провайдер. Помощник будет эволюционировать и закрывать все больше рутинных задач: реагировать на alert и monitoring, следить за автоматизацией, а в будущем поможет управлять эффективностью облачной инфраструктуры, ее масштабированием и стабильностью. С момента запуска помощники будут доступны в публичных, гибридных и частных облаках Cloud.ru.

Cloud.ru Evolution Stack + AI — один из главных анонсов конференции

В марте Cloud.ru выпустили на рынок Cloud.ru Evolution Stack — платформу для создания частных и гибридных облаков. Решение рассчитано на крупный бизнес, госсектор, финтех, ритейл и промышленность. Платформу можно развернуть в собственном ЦОДе или объединить с публичным облаком Cloud.ru Evolution. Внутри — всё, что нужно: виртуализация, инструменты для работы с ML, PaaS- и IaaS-сервисы, управляемый Kubernetes, S3-хранилище, очереди сообщений и даже витрина приложений в формате маркетплейса.

Для удобства администрирования есть Multicloud Manager и VM Manager — с их помощью проще управлять виртуальными машинами, следить за инфраструктурой, учитывать ресурсы и подключать SIEM-системы для безопасности.

Cloud.ru Evolution Stack — наше самое большое достижение за год. Мы создавали его из одной кодовой базы с публичным облаком Cloud.ru Evolution, но пришлось серьезно перестроить процессы. Циклы разработки каждой из платформ отличаются. В публичном облаке можно деплоить непрерывно: если в одном из сервисов появилась ошибка, ее можно сразу же исправить. А в гибриде, релиз которого мы делаем два раза в год, так не получится, поскольку на первый план выходят качество сборки, unit-тесты, интеграционные и нагрузочные тестирования. Процесс разработки усложнился, но мы максимально автоматизировали его. Это серьезная нагрузка, но без серьезного влияния на наш time-to-market.

При разработке Cloud.ru Evolution Stack главным вызовом была смена подхода. Cloud.ru создает софт для одного публичного облака, а здесь нужен продукт, который можно ставить многократно у разных заказчиков — это радикально меняет процессы и мышление команды. Однако понимая запросы рынка на гибрид и потребности клиентов, компания начала разработку этой платформы еще на ранней стадии Cloud.ru Evolution. Если бы решение было старше, переход на дистрибутив съел бы гораздо больше времени и ресурсов.

Многие пользователи уже успели протестировать Cloud.ru Evolution Stack. Вот положительные фидбек:

• Платформа предлагает не только виртуализацию и контейнеризацию, но и полный набор сервисов — аудит, IAM, логирование, мониторинг. Это позволяет сразу запускать частное облако для внутренних подразделений без необходимости настраивать личные кабинеты или доступы.
• Платформа легко интегрируется с системами мониторинга, кибербезопасности и авторизации заказчика, выступая как подчинённый компонент, что упрощает внедрение.
• Интерфейс Cloud.ru Evolution Stack полностью кастомизируется — можно красить во всевозможные цвета, поставить свой логотип и так далее.

Cloud.ru Evolution Stack — мощная платформа со множеством функций, которые расширяют возможности собственной IT-инфраструктуры компаний за счет сервисов публичного облака. Решение может сначала озадачить, но мы всегда рядом: помогаем заказчикам разобраться, обеспечиваем эксплуатацию и полное сопровождение.

Приступая к работе над Cloud.ru Evolution Stack, поменялись и подходы к продуктовой разработке. Главное — начали сертификацию процесса безопасной разработки по стандарту РБПО, чтобы соответствовать требованиям к надежности и безопасности ПО для критически важных систем. Это ускорит сертификацию Cloud.ru Evolution Stack для крупных заказчиков с полугода-года до квартала.

На GoCloud Cloud.ru анонсировали Evolution Stack AI-bundle — новую платформу для локального запуска AI-сервисов. Платформа упрощает разработку и масштабирование AI-продуктов, сохраняя полный контроль над данными. По сути, это первое в России гибридное облако с поддержкой AI.

Что внутри:

• Jupyter Lab для дата-сайентистов;
• инструменты для обучения, дообучения и инференса моделей;
• инфраструктура — Managed Kubernetes с GPU, реестр артефактов, виртуалки с GPU, S3-хранилище и файловая система для ML.

Платформа гибкая: можно обучать модели в публичном облаке, а инференс запускать в закрытом контуре on-prem или переключаться при нагрузках. Она поддерживает мультитенантность, мониторинг и управление доступом. Плюс, её можно дополнить другими сервисами Cloud.ru для комплексных решений.

Cloud.ru Evolution Stack AI-bundle входит в реестр российского ПО, соответствует требованиям импортозамещения и будет доступна как софт или программно-аппаратный комплекс по подписке.

AI, ML и облака (не роботы)

Из других больших анонсов — Cloud.ru Evolution AI Factory. Это новая платформа для создания приложений и AI-агентов в облаке, запускать планируют этим летом.

По своей сути, это цифровая «фабрика», которая объединяет инструменты для работы с искусственным интеллектом — от обучения моделей до запуска сложных мультиагентных систем. Вот, что внутри:

• Evolution ML Inference — с помощью нее можно запускать ML-модели (Hugging Face, Docker-образы) на GPU с поддержкой vLLM, TGI, Ollama, Diffusers, Transformers. Использует Shared GPU, то есть использует столько ресурсов, сколько нужно, для запуска модели.
• Foundation Models — доступ к популярным моделям, вроде GigaChat и Gemma, плюс среда AI Playground для тестирования идей.
• AI Assistants — создание агентов с подключением к внешним системам и автоматизацией задач.
• Cloud.ru ML Space — платформа для глубокого обучения, работает в облаке и on-premise.

Платформа делает работу с AI проще и доступнее. Не нужно быть экспертом в программировании или тратить кучу денег на серверы — всё уже готово в облаке. Она помогает компаниям быстрее создавать свои AI-продукты: агентов, аналитические системы или что-то совсем кастомное. Внутри будут встроенные ассистенты — новички могут легко собрать целое приложение, а профи — все кастомизировать. Это экономит время, снижает затраты на инфраструктуру и ускоряет запуск новых идей на рынок.

Ещё одно преимущество — гибкость. Платформа подходит для самых разных задач: от проверки гипотез до создания сложных корпоративных решений — и все в одном месте.

В Cloud.ru считают, что за нейронками — будущее. И компания уже видит эффект: разработчики активно используют AI-инструменты в задачах, которые не требуют креатива и разработки критических сервисов. Правда, измерить этот эффект пока непросто — слишком уж разные задачи и технологии.

Я точно знаю, что AI помогает в разработке: используют code assistant, применяют CoPilot. Разработчики уже не представляют работу без него — это как Google лет 15 назад, когда им еще не все широко пользовались, а сейчас он у всех в смартфоне. AI помогает развиваться, ускоряет выполнение ежедневных задач. То, что раньше делали месяц, теперь можно уложить в две недели.

Что будет дальше: планы Cloud.ru

В 2025 году Cloud.ru продолжат развивать собственные облачные платформыи PaaS . Сейчас запросы российского бизнеса, особенно крупных B2B-клиентов, часто совпадают с западными стандартами, так как многие из них уже работали с крупнейшими облачными провайдерами. Помимо базовых требований к надежности и безопасности, заказчики ждут продвинутых решений.

Три четверти нашего бэклога — это запросы заказчиков, а четверть — инновации и создание трендов. У нас в России требовательные клиенты, особенно крупные B2B-компании, и они знают, что такое хорошее облако. Помимо надежности и кибербезопасности им нужны продвинутые инструменты — AI, Big Data, высокая производительность. Cloud.ru AI Factory — наш главный фокус, до конца года мы выпустим много новых сервисов. Cloud.ru Evolution Stack будем тиражировать в продакшен, чтобы помогать бизнесу.

А ещё Cloud.ru продолжит прокачивать AI-комьюнити — компания предоставляет открытую экосистему для вендорских продуктов. В ней можно создавать конкурентные решения, например, fully-managed сервисы в Cloud.ru Evolution с помощью Partner API. Так вход в облачные технологии становится еще проще и удобнее.

Реклама. Рекламодатель: ООО «Облачные технологии», ИНН 7736279160, erid: 2W5zFJ5hRC4.

Julia получил признание благодаря универсальности, скорости, понятному синтаксису и множеству других достоинств, о которых мы расскажем в статье. Этот идеальный вариант для научных вычислений в любых отраслях — от анализа огромных массивов данных до расчетов прочности архитектурных объектов.

Узнаем, каковы особенности и преимущества языка программирования Julia, почему он популярен в научных вычислениях, чем отличается от других топовых языков и где применяется.

Основные особенности языка Julia

Язык программирования с романтическим женским именем был создан в 2012 году профессором Массачусетского технологического института Аланом Эдельманом в сотрудничестве с группой студентов. Инструмент изначально разрабатывался с прицелом на использование в научных вычислениях. По замыслу команды, язык должен был занять нишу, в которой находились MATLAB с его многочисленными клонами и R, а также совместить удобство и простоту Python с производительностью С++ и Fortran.

Растущая популярность Julia демонстрирует, что планы разработчиков были по большей части реализованы. И хотя этот язык еще продолжает развиваться и совершенствоваться, уже сейчас его возможности широко используются для сложных математических вычислений, анализа данных и машинного обучения. Последнее направление приобретает все большую актуальность, поскольку нейросети и технологии на основе ИИ внедряются во все нашей сферы жизни и нуждаются в корректном, эффективном и быстром обучении.

Julia действительно устраняет разрыв между высокоуровневыми интерпретируемыми и низкоуровневыми компилируемыми языками, демонстрируя высокую производительность без утраты простоты применения и продуктивности. В числе других достоинств языка — поддержка многопоточности и параллелизма.

Рассмотрим более подробно главные плюсы Julia.

Скорость и производительность

Скорость, которая напрямую определяет производительность, входит в число ключевых преимуществ языка. Показатель в первую очередь обусловлен наличием компилятора, работающего в формате Just-In-Time. Это позволяет создавать эффективный нативный код, который обеспечивает работу сложных алгоритмов на реальном оборудовании.

Как это реализуется на практике? Представьте, что вам нужно перемножить две огромные матрицы или промоделировать климат в Московской области на 50 лет вперед. На Python это может занять часы, на C — требует тонн низкоуровневого кода. Julia справляется с такими задачами почти так же быстро, как C, но с лаконичностью Python.

Julia не интерпретирует код построчно, как Python, а сразу компилирует его в эффективный машинный код, как это делает C. Это дает ускорение в 10–100 раз в сравнении с чисто интерпретируемыми языками.

Скорость особенно актуальна в машинном и глубоком обучении. Ускоренная обработка обширных массивов данных и такие же быстрые сложные вычисления существенно ускоряют разработку инструментов на основе нейросетей.

Вот несколько фактов, чтобы вы не сомневались в производительности Julia:

• NASA использует Julia для моделирования полетов — код работает в 15 раз быстрее, чем предыдущая версия на Python + Cython.
• В тестах линейной алгебры Julia обгоняет Python (NumPy) в 2–3 раза, а с нативными типами — почти догоняет C.
• Пакет DifferentialEquations.jl решает сложные уравнения в 100 раз быстрее SciPy (Python).

• Обучение нейросетей (Flux.jl) ускоряется в 3–5 раз против Python + TensorFlow/PyTorch.
• Анализ геномов в биоинформатике занимает минуты вместо часов.

При этом скорость Julia не наносит ущерба удобству применения.

Гибкость

Качество языка, которое часто называют «дружелюбием», позволяет юзерам без особых проблем осваивать и использовать Julia для решения самого широкого круга задач. Тем, кто знаком с Python или MATLAB, перейти на Джулию еще проще.

При этом высокоуровневый синтаксис позволяет выражать сложные алгоритмы минимальными средствами. Лаконичность языка делает его предельно доступным для изучения.

В Julia можно присваивать переменные, не объявляя их тип, при этом язык поддерживает все широко используемые алгоритмические структуры и способы хранения данных (словари, матрицы). Для работы со сложными типа данных есть бесплатные библиотеки.

Мощная экосистема пакетов

Для Julia создано огромное количество библиотек и фреймворков, существенно расширяющих ее функциональность.

Обратите внимание на эти инструменты:

• Flux, MLJ и Knet — написанные на Julia пакеты для глубокого обучения. Позволяют создавать многослойные нейросети и модели непосредственно на этом языке.
• DataFrames.jl — набор фреймворков для работы с данными. Выполняет те же задачи, что и Pandas для Python. Включает полезные и высокоэффективные инструменты для управления данными и их анализа.
• JuliaImages — пакет библиотек для работы с изображениями. Включает инструменты для загрузки, обработки и трансформации картинок.
• Jump.jl — специализированный язык моделирования, интегрированный в Julia. Предназначен для математической оптимизации с использованием линейного, нелинейного и комбинированного программирования.

Это лишь несколько примеров специальных пакетов. На практике можно найти десятки других инструментов в зависимости от поставленных задач.

Поддержка многопоточности и параллельных вычислений

Многопоточность обеспечивает языку Julia мощность без сложностей. Если требуется выполнить масштабные вычисления, можно задействовать все ядра процессора одновременно. Julia делает это настолько просто, что даже новичок сможет ускорить свой код в разы.

В отличие от Python, где многопоточность требует сложных библиотек, в Julia она встроена в сам язык. Чтобы запустить этот процесс, достаточно одной строки:

Что дает языку многопоточность «из коробки»:

• Ускорение в N раз (где N — число ядер). Например, на 8-ядерном процессоре тяжелый цикл выполнится почти в 8 раз быстрее.
• Никаких заморочек с разделением памяти — Julia сама позаботится о корректности.

Кроме того, Julia умеет распределять задачи даже между несколькими серверами. Это полезно в машинном обучении для параллельной обработки датасетов, в физическом моделировании, в финансовой сфере — обеспечивает моментальный анализ рисков для тысяч инвестиционных портфелей.

Благодаря параллелизму Джулия существенно опережает в скорости R/MATLAB. Даже в специализированных математических пакетах параллельные вычисления часто требуют сложной настройки. В Julia это 2–3 строки кода.

Развитое сообщество

Когда вы только начинаете работать с новым языком, важно знать, что у вас есть поддержка — и тут Julia выигрывает у многих конкурентов. За последние 10 лет вокруг языка сформировалось активное сообщество ученых, инженеров и разработчиков, которые не только пишут код, но и помогают новичкам.

Вот почему это важно:

• Быстрая помощь. На официальном форуме и в чатах вам ответят даже на базовые вопросы — без снисходительности, характерной для некоторых других языков.
• Готовые решения. В реестре пакетов уже есть 7 000+ библиотек для всего — от машинного обучения до астрофизики.
• Открытость. Создатели Julia сами участвуют в обсуждениях, а многие пакеты разрабатываются университетами (MIT, Stanford) и компаниями (NASA, IBM).

Пример: если вы застряли с дифференциальными уравнениями, просто спросите в чате — и с вероятностью 90% вам ответит либо автор пакета DifferentialEquations.jl, либо кто-то, кто уже решил такую же проблему.

Сообщество Julia — это редкий случай, когда «экспертность» не означает «закрытость». Здесь ценят и новичков, потому что каждый когда-то начинал с “Hello World”.

Почему Julia популярен в научных вычислениях

Представьте язык, который понимает ваши математические формулы буквально с полуслова. Julia родился именно таким — как универсальный инструмент для ученых, уставших выбирать между «понятно» и «быстро».

Вот что делает его особенным:

• пишете, почти как в тетради: 2x + 3y вместо 2*x + 3*y;
• получаете скорость как у Фортрана, без головной боли с компиляцией;
• матричные операции летают в разы быстрее, чем в Python;
• сложные дифференциальные уравнения решаются за пару секунд.

Секрет успеха — в продуманной начинке:

• встроенные суперспособности для математики;
• может растягивать вычисления на все ядра процессора;
• легко подключает библиотеки Python, R и даже C.

При этом Julia универсален: подходит биологам для анализа ДНК, физикам, моделирующим квантовые системы, архитекторам, вычисляющим прочностные параметры конструкций. Библиотека Flux.jl строит нейросети быстрее PyTorch, а DataFrames.jl обрабатывает гигабайты данных без тормозов.

Это не просто язык — это турбодвигатель для научных открытий. Хотите говорить с компьютером на языке математики? Julia станет вашим переводчиком.

Сравнение Julia с другими языками

Чтобы в полной мере оценить особенности языка Julia, сравним его с ближайшими конкурентами.

Julia vs Python

Python по праву считается универсальным языком программирования — он прост в освоении, обладает огромным количеством библиотек и поддерживается многомиллионным сообществом разработчиков. Однако когда речь заходит о сложных численных расчетах и высокопроизводительных вычислениях, Julia предлагает ряд неоспоримых преимуществ.

Главное достоинство Julia — его фокусировка на научных задачах. Этот язык создавался специально для работы с большими объемами данных и сложными математическими операциями. Хотя комьюнити Julia пока меньше python-сообщества, оно состоит преимущественно из специалистов в области Data science, физики и математического моделирования.

При этом Julia не исключает использование Python. Напротив, благодаря встроенным инструментам взаимодействия — таким как PyCall, разработчики могут комбинировать сильные стороны обоих языков. Использовать Julia для ресурсоемких вычислений, а Python — для других компонентов системы. Такой симбиоз позволяет достичь максимальной эффективности в научных проектах.

При этом Julia превосходит Python в скорости, имеет более удобный для математиков синтаксис. Параллелизм в Джулия встроенный — для Питона придется использовать сторонние библиотеки.

Julia vs R

R уже много лет остается верным помощником статистиков — его создавали специально для работы с данными, и в этом он действительно хорош. Но сегодня на сцену выходит Julia — современный язык, который сочетает удобство R с невероятной скоростью работы.

Те же операции с таблицами данных Julia выполняет в несколько раз быстрее. Если R справляется с задачей за минуту, Julia сделает это за 15-30 секунд. А когда дело доходит до сложных расчетов — разница становится еще заметнее.

Что действительно выделяет Julia:

• Это не просто язык для статистики, а полноценная платформа для научных вычислений.
• Можно работать с искусственным интеллектом, физическими моделями и даже квантовыми вычислениями.
• При этом сохраняется доступ ко всем привычным R-библиотекам.

Для тех, кто только начинает погружаться в анализ данных, Julia — отличный выбор. Вам не придется сначала осваивать R для простых задач, а потом переучиваться на другие языки для сложных вычислений. Все есть в одном месте — от базовой статистики до работы с большими данными.

Julia vs MATLAB

MATLAB долгие годы был как дорогой швейцарский нож для ученых и инженеров — удобный, но привязанный к лицензии. А теперь представьте, что появился инструмент с теми же возможностями, но бесплатный и который можно модифицировать под свои нужды. Это Julia.

Скорость работы — первое, что замечают при переходе. Типичные расчеты в Julia идут на пятую-треть быстрее. А когда дело доходит до сложных проектов, разница становится еще заметнее.

Но главная магия — в экосистеме:

• 7000+ бесплатных пакетов вместо платных тулбоксов;
• возможность заглянуть «под капот» любого алгоритма;
• сообщество, которое постоянно добавляет что-то новое.

Синтаксис намеренно сделали похожим на MATLAB — переход ощущается как смена автомобиля той же марки на новую модель. Все знакомо, но едет быстрее и без ограничений по пробегу.

Для студентов это просто подарок — мощный инструмент без дорогой подписки. А для научных групп — возможность делиться кодом без оглядки на лицензии. Julia не просто догоняет MATLAB, она задает новые стандарты в научных вычислениях.

Julia vs C++

Если снова воспользоваться сравнением из автомобильной тематики, то C++ — это ручная коробка передач в мире программирования. Можно выжать максимум скорости, но каждая строчка кода требует ювелирной работы с памятью и указателями. Julia предлагает другой подход — это автоматическая трансмиссия, которая разгоняется почти так же быстро, но без головной боли.

Секрет Julia — умный переводчик (JIT-компилятор), который:

• в реальном времени превращает ваш код в машинные инструкции;
• сам решает, как оптимально использовать память;
• не заставляет вас ковыряться в низкоуровневых деталях.

Разница особенно заметна в математических задачах. В Джулии не нужно приписывать все детали реализации в отличие от C++.

Примеры кода на Julia

Эти примеры демонстрируют все преимущества Julia в сфере математических вычислений.

Вычисление факториала

Это действительно просто:

Для больших чисел (n > 20) стоит использовать factorial(big(n)), что автоматически переключает вычисления на длинную арифметику.

Матричные операции

Julia создан для работы с матрицами и линейной алгеброй. Вот несколько примеров, демонстрирующих его выразительность и производительность.

Базовые операции с матрицами:

Решение системы линейных уравнений:

Julia предоставляет удобные инструменты для параллельных вычислений. Вот как можно легко распараллелить задачи:

Где применяется Julia

Сферы использования Julia в науке, бизнесе, ИТ и других отраслях практически не ограничены. Рассмотрим наиболее актуальные направления.

Научные исследования

Julia активно используется в фундаментальных и прикладных науках благодаря своей скорости и удобству для математических расчетов:

• В физике с его помощью моделируют квантовые системы (например, в пакете QuantumOptics.jl) и решают дифференциальные уравнения (DifferentialEquations.jl).
• В биоинформатике Julia применяют для анализа ДНК и белковых структур.
• В астрономии — для обработки данных телескопов и симуляции галактик. Например, NASA использует Julia для расчета траекторий космических аппаратов.

Финансовые вычисления

В финансах Julia ценят за высокую производительность при работе с большими массивами данных. Банки и брокеры применяют его для:

• Алгоритмического трейдинга — быстрого тестирования стратегий.
• Риск-анализа — моделирования кризисных сценариев.
• Оптимизации портфелей — решения задач линейной алгебры с миллионами переменных.

Пакеты вроде JuliaQuant и Temporal.jl делают его отличной альтернативой Python (Pandas) и R.

Искусственный интеллект и машинное обучение

Хотя Python все еще доминирует в ML, Julia набирает популярность в этой сфере благодаря:

• скорости — обучение моделей в Flux.jl (аналог PyTorch) иногда в 2–3 раза быстрее;
• гибкости — можно легко комбинировать нейросети с численными методами.

Например, Julia используют для обработки изображений в реальном времени. Пакет MLJ объединяет сотни алгоритмов в едином интерфейсе.

Анализ данных и обработка больших массивов информации

Julia идеален для работы с Big Data:

• DataFrames.jl предоставляет инструменты, знакомые пользователям Pandas/R, но работает быстрее.
• Поддержка многопоточности и распределенных вычислений (через интерфейс DistributedArrays.jl) позволяет обрабатывать терабайты данных.

Компании используют Julia для анализа страховых рисков, а ученые — для обработки огромного количества данных, полученных в процессе исследований.

Итоги

Julia — это не просто язык для академиков. Он уже используется в реальной сфере везде, где важны скорость, точность и масштабируемость. Уже сейчас мы наблюдаем, как MATLAB-разработчики массово переходят на Julia, устав от закрытой экосистемы, а научные группы выбирают Julia для сложных вычислений там, где Python слишком медленный.

Тренд только набирает обороты. Добавляются новые функции типа встроенной поддержка GPU, а количество вакансий для разработчиков на Julia, особенно в сфере машинного обучения, постоянно растет.

Ты точно программист, если читаешь это! Больше мемов, инсайтов и боли кодеров тут.

В статье — 10 актуальных направлений, которые уже работают. Если у вас есть опыт в разработке, автоматизации или работе с данными, вы сможете найти здесь идеи, как использовать свои знания и монетизировать их с помощью ИИ.

Разработка персонализированных ИИ-ассистентов

Готовые нейросети умеют много, но работают стандартно. Бизнесу и частным пользователям нужны ИИ-помощники, которые решают проблемы быстрее, чем человек, и точнее, чем универсальные решения.

Для кого это актуально

• Частные специалисты. Врачи, юристы, бухгалтеры, маркетологи — все, кому нужен персональный помощник для работы с клиентами и документами.
• Бизнес. Компании хотят автоматизировать поддержку клиентов, ведение заказов, анализ рынка.
• Образовательные платформы. ИИ-ассистенты помогают отвечать на вопросы студентов, генерировать тесты, проверять задания.

Что можно делать

1. ИИ-секретарь. Принимает заявки, записывает клиентов, напоминает о встречах. Подойдет для стоматологий, салонов красоты, частных консультантов.
2. Финансовый помощник. Считает расходы, прогнозирует бюджет, напоминает о платежах. Полезен для ИП, фрилансеров и небольших компаний.
3. HR-бот. Проводит первичный отбор резюме, задает вопросы кандидатам, помогает составлять вакансии. Актуально для кадровых агентств и больших компаний.
4. Юридический помощник. Автоматически проверяет договоры, ищет ошибки, консультирует по типовым вопросам. Удобно для юристов и бухгалтеров.
5. AI для интернет-магазинов. Рекомендует товары, помогает выбрать размер, отвечает на вопросы клиентов.

Какие инструменты использовать

• GPT-4, YaLM 2 — для текстовых ассистентов. GPT-4 доступен через OpenAI API, YaLM 2 — российская разработка, можно скачать бесплатно.
• Rasa, BotPress — платформы для создания AI-чатботов. У Rasa есть open-source версия, BotPress прост в настройке.
• Speech-to-Text API от Google, Яндекс SpeechKit — если нужен голосовой помощник.
• LangChain — библиотека для сложных ИИ-ассистентов, которые работают с базами данных и API.

Как зарабатывать

1. Фриланс. Создавать AI-ассистентов под заказ через Kwork, Upwork, FL.ru.
2. Подписка. Разрабатывать SaaS-решения, где пользователи платят за доступ.
3. Готовые решения. Продавать ассистентов для популярных ниш (например, AI-бот для кафе).
4. Консалтинг. Настраивать AI для бизнеса, обучать сотрудников.

Создание ИИ-плагинов для популярных платформ

Люди работают в привычных инструментах. Разработчики пишут код в VS Code и PyCharm, дизайнеры — в Figma, контентщики — в Notion. Они не хотят менять свои приложения, но хотят больше удобства. Все, что помогает работать быстрее и качественнее. В коде, дизайне, контенте, аналитике. Например:

• Для разработчиков — автогенерация комментариев к коду, поиск ошибок, оптимизация функций.
• Для дизайнеров — генерация UI-компонентов, адаптация интерфейса под мобильные устройства.
• Для копирайтеров — улучшение текстов, анализ стиля, сокращение длинных фраз.
• Для маркетологов — анализ трендов, поиск лучших заголовков, генерация A/B-тестов.

Где размещать плагины

Каждая крупная платформа имеет свой маркетплейс. У Figma — Figma Community, у VS Code — Marketplace, у Notion — интеграции через API. Для российских пользователей доступны плагины в маркетах JetBrains и Tilda. Если продукт полезен, его заметят и начнут скачивать.

Как монетизировать

Есть три варианта. Можно сделать плагин бесплатным, но продавать PRO-функции. Можно продавать подписку, если у плагина есть постоянные пользователи. А можно зарабатывать на кастомных версиях, когда бизнесу нужен ИИ-инструмент под конкретные задачи.

Все дело в том, что люди готовы платить за удобство. Они уже привыкли к ИИ, но не хотят тратить время на сложные настройки. Поэтому если плагин реально экономит часы работы — его будут часто устанавливать и использовать, если более сложная разработка, а точнее решение проблемы — тогда дополнительно нужно будет подключить продвижение среди профессионального сообщества.

Консультирование бизнеса по внедрению ИИ-инструментов

Бизнес тоже хочет использовать ИИ-инструменты, но не всегда понимает как. Руководители слышали про ChatGPT, нейросети для генерации контента и автоматизацию процессов, но не знают, с чего начать. Это и создает спрос на ИИ-консультантов.

Компаниям не нужны сложные теории, им нужны конкретные решения. Например, в интернет-магазине можно внедрить чат-бота, который отвечает на вопросы клиентов и рекомендует товары. В логистике — ИИ, который прогнозирует задержки поставок. В HR — сервис, который анализирует резюме и находит лучших кандидатов. Но бизнесу нужен специалист, который расскажет, какие технологии выбрать, как их адаптировать и сколько это стоит.

Кто может зарабатывать на AI-консалтинге

Разработчики, аналитики, ИИ-специалисты. Главное — не просто разбираться в технологиях, а уметь объяснять их бизнесу. Если человек работал с нейросетями, настраивал ML-модели или интегрировал ИИ в проекты, он уже может предлагать услуги консультирования.

Как искать клиентов

Есть три варианта. Первый — через фриланс-биржи (Kwork, FL.ru). Второй — через личные связи и нетворкинг. Третий — через выступления и статьи. Если эксперт показывает, как ИИ решает бизнес-задачи, к нему приходят клиенты.

Форматы работы

Можно делать разовые консультации: разбирать задачи бизнеса и предлагать решения. Можно вести проект: помогать внедрять ИИ, настраивать инструменты, обучать сотрудников. Можно продавать готовые гайды и обучающие материалы для компаний.

Все дело в том, что бизнесу не нужны просто ИИ-модели. Им нужны работающие решения, которые экономят деньги и время. И если разработчик может объяснить, как это сделать, значит первый миллион не за горами.

Фриланс на кастомизации популярных нейросетей

Готовые нейросети работают хорошо, но не идеально. Компании хотят, чтобы ИИ понимал их задачи, работал точнее и выдавал лучшие результаты. Для этого нейросети кастомизируют: дообучают, настраивают под конкретные данные, добавляют нужные функции.

Что именно можно делать?

Если клиенту нужен ИИ для обработки юридических документов, обычный GPT-4 не подойдет. Он слишком общий. Но если загрузить в него базу данных по российскому законодательству и дообучить, он начнет давать точные ответы. Или, например, компания хочет, чтобы Stable Diffusion генерировала изображения в их фирменном стиле. Это тоже делается через дообучение.

Многие заказывают кастомизацию напрямую, если специалист показывает примеры работ в ТГ или на GitHub.

Дообучение можно делать через LoRA, Dreambooth (для изображений) или Fine-tuning API OpenAI (для текста). Например, в 2024 году российская компания «Самолет» использовала LoRA для дообучения модели Stable Diffusion XL. Задача была необычная — генерация реалистичных интерьеров квартир по фотографиям помещений с голыми стенами. Компания обучила нейросеть на мудборде фирменного стиля от дизайнеров, после чего последняя начала создавать качественные и детализированные изображения в нужной стилистике. Результат — свыше 15 000 генераций с высоким качеством за несколько месяцев. Среднее время на создание одного изображения — около минуты.

Если работать с открытыми моделями, подойдут Hugging Face, TensorFlow, PyTorch. Также часто используют DeepPavlov и SpeechKit от Яндекса.

ИИ и обработка данных: сервисы и микрозадачи

Данные есть везде. Компании собирают их тоннами, но не знают, что с ними делать. ИИ помогает сортировать, анализировать и превращать их в полезные решения. И здесь разработчики могут зарабатывать, создавая сервисы или выполняя микрозадачи.

Пример. У интернет-магазинов есть отзывы клиентов, но в сыром виде они бесполезны. ИИ-сервис может анализировать тональность, находить жалобы и предлагать улучшения. Или у компании есть база с тысячами заявок, но их надо разбирать вручную. ИИ может автоматически классифицировать их по темам и срочности.

Если говорить о реальных инструментах, то вот что доступно в России:

• Yandex DataSphere — облачная платформа для анализа данных, которая работает даже без мощного сервера.
• SberCloud ML Space — среда для работы с моделями, подходит для обработки больших массивов.
• Toloka, Kaggle, HFLabs — площадки, где можно находить небольшие задачи по обработке данных и зарабатывать на их решении.

Микрозадачи подходят тем, кто хочет попробовать ИИ на практике, но не готов делать сложные проекты. Компании выкладывают заказы на разметку данных, проверку моделей, улучшение работы алгоритмов. Это может быть что-то простое — например, оценить, правильно ли ИИ распознал текст, или классифицировать изображения.

Разработка ИИ-инструментов для генерации контента

Контент нужен всем. Бизнесу — для рекламы, блогерам — для постов, компаниям — для сайтов. ИИ научился писать тексты, создавать изображения и даже генерировать видео. Значит, можно зарабатывать на инструментах, которые помогают пользователям делать это проще и быстрее.

Что можно разрабатывать

— ИИ-копирайтеры. Люди хотят тексты, но не все умеют писать. ИИ может создавать статьи, объявления, описания товаров. Но универсальные решения вроде ChatGPT часто дают скучные или шаблонные тексты. Поэтому востребованы узкоспециализированные инструменты. Например, генератор объявлений для интернет-магазинов, помощник для создания постов в соцсетях или ИИ-редактор, который чистит текст и делает его понятнее.

— Генераторы изображений. Stable Diffusion и Kandinsky умеют рисовать, но не все пользователи могут ими пользоваться. У кого-то нет мощного компьютера, кто-то не понимает, как писать промты. Решение — сервис, который генерирует картинки по понятным настройкам. Например, инструмент для создания обложек книг, логотипов или картинок в стиле акварели.

— ИИ для видео. Видео — самый сложный контент, но именно его сейчас массово автоматизируют. Можно сделать инструмент, который превращает текст в видео. Или сервис, который создает анимации по фотографиям. Еще один вариант — автоматический монтаж для TikTok и YouTube Shorts. Это уже работает в CapCut, но нишевых решений пока мало.

Как продавать

Если инструмент решает конкретную задачу, можно продавать подписку или лицензии. Например, сервис для генерации статей может работать по модели Freemium — часть функций бесплатна, но за расширенные возможности нужно платить.

Другой вариант — интеграция с существующими платформами. Например, добавить ИИ-генерацию изображений в маркетплейсы, чтобы продавцы могли делать красивые карточки товаров. Или встроить инструмент в CMS, чтобы владельцы сайтов генерировали тексты прямо в админке.

Заработок на открытых ИИ-моделях

ИИ-модели — инструмент, который можно дорабатывать и продавать. Разработчики не обязаны строить нейросеть с нуля, если есть открытые решения, которые можно адаптировать под нужды клиентов.

Что можно делать?

— Дообучать существующие модели для конкретных задач. Например, взять текстовую модель (YaLM, YandexGPT), загрузить в нее данные из банковского сектора и получить ИИ-консультанта для клиентов. Компании готовы платить за такие точные модели, потому что стандартные решения не всегда подходят под их специфику.

— Создавать удобные сервисы на базе моделей. Разработчику не обязательно продавать саму нейросеть — можно сделать веб-приложение, чат-бот или плагин, который использует ее возможности. Например, сервис для генерации юридических документов, инструмент для проверки SEO-текстов или нейросеть, которая находит ошибки в коде.

— Продавать доступ к мощностям для работы с моделями. Многие хотят использовать ИИ, но не имеют ресурсов. Если у вас есть сервер с видеокартами, можно сдавать его в аренду через облачные платформы, например, через Yandex DataSphere или SberCloud ML Space.

— Продавать доработанные модели на маркетплейсах. Если модель улучшена и решает конкретные задачи, ее можно разместить на Hugging Face, AI Hub, Replicate. Компании и частные пользователи готовы платить за доступ к таким моделям.

Можно работать напрямую с бизнесом, создавая кастомизированные модели. Или выкладывать доработанные решения на маркетплейсы, где их будут использовать за подписку или разовые платежи. Хороший вариант — продвигать свои разработки через ТГ-каналы, GitHub и тематические форумы.

Разработка ИИ-решений для EdTech

Законодательство по ИИ в образовании в России только формируется. Есть требования к хранению персональных данных на российских серверах, но использование генеративных нейросетей официально не запрещается. С 2025 года вводится ГОСТ на использование нейросетей в учебных публикациях.

Разработка образовательных ИИ-продуктов начинается с Python. Для машинного обучения чаще выбирают TensorFlow, PyTorch и scikit-learn. Также используются NLP-библиотеки и модели от Hugging Face, например, GPT или BERT. Для анализа изображений и рукописного текста используют OpenCV и OCR-технологии.

Популярные решения

1. Персонализация обучения — ИИ подстраивает задания под уровень ученика.
2. Автоматическая проверка — оценка тестов, эссе, программного кода.
3. Генерация контента — тестов, конспектов, видео, анимаций.
4. ИИ-наставники и чат-боты — круглосуточные помощники для студентов.
5. Прогнозирование успеваемости — анализ данных и раннее выявление проблем.

Те, кто создают удобные инструменты, получают продукт, за который готовы платить.

В EdTech чаще всего зарабатывают по модели freemium. Это значит, что основные функции бесплатные, а за расширенные — пользователи платят. Так работают российские платформы Stepik и Учи.ру.

Другой вариант — продавать лицензии школам и университетам. Например, школа или вуз покупает доступ ко всей платформе сразу, а студенты получают ее бесплатно.

Очень популярный формат маркетплейсов, когда платформа соединяет авторов курсов и учеников, забирая процент от продаж. Пример — Udemy.

Российские компании (Skyeng, Puzzle English) часто комбинируют несколько моделей сразу. Они продают подписки, предлагают бесплатный доступ с рекламой и отдельно монетизируют корпоративных клиентов.

Разработка нейросетевых ботов для мессенджеров и соцсетей

Кроме очевидного клиентского сервиса, нейроботы нужны для внутренней работы компаний. Допустим, сотрудник хочет оформить отпуск. Вместо заполнения формы он пишет чат-боту. Тот распознает текст запроса, проверяет даты по корпоративному календарю и отправляет заявку начальнику. Сотрудник экономит время, а HR не завален бумагами.

Самым простым способом подключения нейросетей к мессенджерам остаются специальные платформы и библиотеки. Например, для ТГ подходит библиотека aiogram, для VK есть официальное API и готовые SDK. Есть универсальные решения — Dialogflow и Rasa, которые можно подключать сразу к нескольким мессенджерам одновременно.

Нужно учитывать технические и правовые моменты. Например, все персональные данные, которые собирает и обрабатывает бот, должны храниться на серверах в России. Это требование закона о персональных данных (152-ФЗ). Если бот записывает голосовые сообщения пользователей, нужно предупредить их об этом и получить согласие на обработку.

Популярные задачи:

• Автоматизация клиентского сервиса в соцсетях (прием заказов, консультации).
• HR-помощники (отвечают на типовые вопросы сотрудников).
• Информационные и новостные боты (генерируют персонализированные подборки новостей и статей на основе предпочтений пользователя).
• Боты для образовательных и корпоративных целей (отвечают на частые вопросы, проверяют знания сотрудников и учеников).

Зарабатывать на нейросетевых ботах можно по-разному:

• Создание бота под заказ конкретной компании с оплатой за разработку и ежемесячную поддержку.
• Разработка готового продукта, который компания приобретает по лицензии с ежемесячной платой за доступ.
• Подписная модель для небольших бизнесов, когда бот размещается на сервере разработчика, а компании платят ежемесячно за его использование.

Бизнесу и пользователям нужен удобный сервис, который решает задачи прямо в любимом мессенджере. Чем проще и понятнее он работает, тем больше за него платят.

Создание собственных ИИ-курсов и менторство

Сейчас рынок образования в ИИ переполнен общей теорией. Людям не хватает конкретики, практических заданий и личного подхода. Поэтому специалисты начинают зарабатывать не только на разработке ИИ, но и на обучении других.

Форматы обучения

Можно делать записанные курсы с видеоуроками, разбирать задачи в закрытых ТГ-группах, проводить живые воркшопы или консультировать индивидуально. В каждом формате важно давать ученикам не только информацию, но и практику: реальные кейсы, проверку заданий, разбор ошибок.

Как выбрать тему

Самый выгодный вариант — узкоспециализированные направления. Например, внедрение ИИ в бизнес-процессы, автоматизация работы с данными, настройка нейросетей для определенных задач. Компании и специалисты ищут не общие знания, а конкретные решения, которые можно сразу применить в работе.

Как монетизировать обучение

Можно продавать доступ к курсам по подписке или разово, делать бесплатную базу и платные продвинутые модули. Персональное менторство ценится выше, потому что дает быстрые и точные ответы на вопросы учеников. Популярный вариант — запуск курса с ограниченным набором учеников и дополнительной возможностью индивидуального сопровождения.

Главное — качественный контент. Нужно записать видеоуроки, подготовить задания, создать удобную платформу для обучения. Если нет желания разрабатывать сайт с нуля, подойдут готовые платформы. Давайте ученикам реальную пользу и готовые решения, которые можно сразу применять. Тогда обучение станет стабильным источником дохода.

Какого масштаба поток данных? Несколько лет назад мы прикинули: на каждого жителя Земли уже тогда приходилось по шесть Ленинских библиотек информации. А теперь умножьте это на два — каждый год. Гигабайты превращаются в терабайты, петабайты в зетабайты, а полезного в этом потоке — крохи. Львиная доля — шум: багованные логи, дубли, мемы и бесконечные тиктоки.

Но и нужных данных становится больше. Ещё недавно с корпоративной информацией работали в основном финансисты и риск-менеджеры. Сегодня же данные — фундамент всех бизнес-процессов. Без них не запустишь персонализированные продукты, не оптимизируешь расходы и не предскажешь спрос.

Задача на ближайшие годы — не просто накапливать информацию, а научиться управлять этим потоком так, чтобы он работал на бизнес, а не создавал хаос. Но как?

Цифровой профиль вместо личного визита: как банки превратились в дата-платформы

Еще десять лет назад банковское обслуживание выглядело совсем иначе: клиент приходил в отделение, садился напротив операциониста, показывал документы и так подтверждал свою личность. После чего совершал нужные операции. Сегодня всё решает смартфон — в приложении можно совершить большую часть финансовых операций, а банки повсеместно используют алгоритмы, чтобы сделать обслуживание еще более удобным и персонализированным. Эта эволюция не случилась за ночь. Сначала были «банк-клиенты», потом интернет-банки, затем мобильные приложения. Теперь банки становятся экосистемами, обменивающимися данными в реальном времени. А значит, объём собираемой информации растёт экспоненциально.

Как обуздать поток данных

Как же устроена работа с данными в крупных организациях? В ее основе — корпоративное хранилище данных (КХД), своего рода фундамент, где собирается информация из всех внутренних систем компании. Это может быть классическая реляционная база, озеро данных или другая технология — главное, чтобы существовала централизованная площадка для консолидации информации. Без такого фундамента невозможно выстроить эффективную систему управления.

Еще один ключевой элемент — системы класса MDM (Master Data Management), отвечающие за управление основными данными. Они собирают информацию из разных источников и устраняют несоответствия, создавая единое представление о каждом объекте: клиенте, продукте, сделке, контрагенте. В результате формируется так называемый «золотой профиль» — наиболее точная и полная версия данных.

Пример из жизни: клиентка выходит замуж и меняет фамилию, контактные данные, адрес. MDM-система анализирует изменения, понимает, что это все тот же человек, и сохраняет его историю взаимодействий с банком, включая информацию о счетах и сбережениях. При этом существуют разные типы MDM-систем: для работы с физическими и юридическими лицами, для учета сделок и контрактов, а также для управления справочными данными.

Данных в корпоративных хранилищах огромное количество — порой они исчисляются петабайтами. Однако без удобных инструментов остаются неструктурированным массивом, с которым сложно работать. Представьте, что атрибуты в системе названы по сложному шаблону (Naming Convention), и вам приходится разбираться с названиями вроде «CustActStatCD345x». Даже если они более-менее понятны, разобраться, какие именно данные скрываются за каждым атрибутом, все равно бывает непросто.

Чтобы упростить поиск и обработку информации, в организациях внедряются репозитории метаданных, каталоги и глоссарии. По сути, они работают как корпоративный аналог голосового помощника: сотрудник вводит запрос на понятном языке, а система подсказывает, где искать нужные сведения. Благодаря этому время на поиск информации сокращается в разы.

Но у каталогов и глоссариев есть еще одна важная функция — создание единого языка внутри компании. Например, слово «клиент» в разных отделах может означать совершенно разные вещи. Для одних это любой человек, заключивший договор, для других — только активные заемщики, для третьих — все, у кого когда-либо был счет. В результате одно подразделение может считать, что у компании 5 миллионов клиентов, другое — что 10 миллионов, а третье — всего 2 миллиона. И все будут правы в рамках своих критериев.

Такие расхождения не просто усложняют подготовку отчетности, но и приводят к ошибкам в стратегическом планировании. Поэтому важно четко формализовать термины и их значения: «активные клиенты», «кредитные клиенты», «клиенты с открытыми счетами» и т. д. Это не просто вопрос удобства, а критически важный аспект для точности бизнес-аналитики и принятия решений.

Когда ошибок не избежать: темная сторона больших данных

Ошибки в данных неизбежны. Человеческий фактор никто не отменял: сотрудник может пропустить букву, перепутать цифры или случайно нажать не ту клавишу. Даже автоматические системы ввода, например, OCR для распознавания документов, тоже не дают 100% точности. Машины, конечно, ошибаются реже (для сравнения: у авиадиспетчеров всего одна ошибка на тысячу операций, а в автоматизированной системе ошибки возникают на порядки реже), но полностью исключить погрешности невозможно.

Однако настоящая угроза не в самих ошибках, а в том, как они распространяются. Одна неточность в первичных данных, попадая в систему, начинает размножаться как вирус — заражает новые массивы, реплицируется при каждом использовании информации и в итоге распространяется каскадом по всей организации.

Исправлять такие ошибки — адская работа. Нужно не просто найти источник сбоя, но и проследить весь путь ошибки: где она появилась, куда распространилась, какие данные уже испорчены. Например, исправление всего одной неточности в персональных данных может занять до двух часов. Теперь умножьте это на тысячи подобных случаев — и получите астрономические затраты.

Бороться с ошибками проще на этапе их предотвращения, чем потом выгребать последствия. Поэтому компании внедряют сотни и тысячи системных проверок, чтобы отсекать брак ещё на входе. Некоторая информация очевидна: например, серия паспорта РФ — это всегда четыре цифры, а номер — шесть. Подобные форматные проверки легко автоматизировать.

Но есть и более сложные кейсы. Если человек запрашивает кредит, его возраст явно не может быть 12 или 120 лет. Или, скажем, в анкете указано имя «Екатерина», а в графе «пол» значится «мужской» — это очевидная ошибка. Такие проверки интегрируются прямо в фронт-офисные системы, чтобы сотрудники физически не могли ввести неадекватные данные.

Разработка и внедрение этих механизмов требует времени и ресурсов. Но если посмотреть на цифры, становится понятно: это копейки по сравнению с теми суммами, которые пришлось бы тратить на армию корректировщиков, устраняющих миллионы ошибок.

Хранители цифрового будущего

Централизация данных — не просто тренд, а необходимость. Без консолидации информации не построить ни предиктивную аналитику, ни эффективные государственные системы. Конечно, можно мечтать о мире, где всё хранится в изолированных базах, но это так же бессмысленно, как пытаться заменить автомобили конной тягой.

Однако большие данные — большая ответственность. Мы все знаем, как часто звонят «следователи МВД» или «капитаны ФСБ» с предложением срочно перевести деньги. Основная угроза — не внешние кибератаки, а человеческий фактор. Большинство утечек персональных данных — не результат сложного взлома, а банальный «вынос» информации инсайдерами.

Хотя нас пока не уничтожает «Скайнет» из фильмов 90-х, бережное отношение к данным — уже не вопрос выбора, а необходимость. Три базовых принципа цифровой гигиены помогут снизить риски:

1. Минимум данных. Если сервису нужен только email, не указывайте номер телефона и адрес. Чем меньше информации вы раздаёте, тем сложнее её украсть.
2. Выбор надёжных сервисов. Крупные компании вкладываются в кибербезопасность, потому что их репутация на кону. У небольших организаций ресурсы на защиту ограничены, а контроль слабее.
3. Здравый смысл. Самые сложные системы защиты бесполезны, если пользователь игнорирует элементарные правила безопасности.

Сегодня мы лишь в общих чертах коснулись темы управления данными. За кадром остались вопросы технологий, контроля качества и информационной безопасности. Но ясно одно: способность эффективно работать с данными — ключевой фактор конкурентоспособности любой крупной компании, а специалисты в этой сфере сейчас необходимы.

Что умеет Grok 3?

• Глубокий анализ данных: модель обучалась на суперкомпьютере Colossus, использующем 100 000 чипов Nvidia H100. Это позволило существенно улучшить логику рассуждений.
• DeepSearch: новый алгоритм поиска, который перелопачивает весь интернет для получения точного ответа.
• Самокоррекция: Grok 3 умеет исправлять собственные ошибки без вмешательства человека.
• Игровая генерация: прямо на презентации бот создал гибрид Tetris и Bejeweled за несколько минут.

Чем Grok 3 пугает разработчиков?

По словам инженеров xAI, модель настолько продвинута, что «их пугает её потенциал». Grok 3 уже обошёл ChatGPT-4o, Claude 3.5 и DeepSeek-V3 в тестах по математике, кодингу и научным задачам.

Особенно удивил демонстрационный запуск: ИИ рассчитал траекторию полёта на Марс и обратно в режиме реального времени, учитывая климатические особенности планеты и сроки возвращения.

Кто уже в зоне риска?

• Google: функция DeepSearch позиционируется как прямой конкурент традиционным поисковым системам.
• OpenAI: несмотря на успехи GPT-4o, тесты показывают, что Grok 3 работает эффективнее в задачах, требующих аналитического мышления.
• DeepSeek: китайская компания, недавно обогнавшая многих конкурентов, теперь получила серьёзного соперника.

Когда ждать?

Пока что доступ к Grok 3 предоставляется ограниченно. Маск обещает открытую регистрацию уже в марте 2025 года.

А вскоре после этого компания планирует запустить игровую студию, в которой кодить и придумывать механики будет… сам Grok 3.

Вместе с экспертами Kursfinder я проанализировала более 60 предложений, чтобы составить рейтинг из 50 курсов по аналитике данных. В статье они распределены по подборкам для удобства навигации: в начале я собрала 10 самых лучших, по моему мнению, программ обучения. Далее идет дополнительный список, а в конце статьи вы найдете подборку бесплатного обучения. Полный список курсов по аналитике данных ищите в каталоге Kursfinder.

ТОП-10 лучших курсов по аналитике данных в 2026 году

1. Аналитик данных от Eduson Academy — лучшее обучение data analyst с личным куратором.
2. Профессия: Аналитик от ProductStar — отличное обучение профессии с помощью в трудоустройстве.
3. Аналитик данных от Skypro — самое быстрое обучение с азов.
4. Аналитика с 0: быстрый старт от ProductStar — лучшее обучение на аналитика данных с нуля.
5. Mini-MBA: Аналитик 2.0 от SF Education — лучший курс MBA по аналитике.
6. Программирование для анализа данных от Skypro — лучший курс по программированию для анализа данных.
7. Аналитик данных от SF Education — отличное повышение квалификации.
8. Аналитик данных с нуля от Нетологии — отличный вариант для отработки практики на реальных проектах.
9. Аналитик данных от Бруноям — живое общение с преподавателями.
10. Аналитик данных ISA от Skillfactory — возможность участия в стажировках.

Онлайн-обучение на аналитика данных может быть полезно новичкам, которые только начинают свой путь в этой области, и профессионалам, желающим расширить свои компетенции. Кроме того, программы могут быть интересны и тем, кто не планирует связывать свою карьеру с анализом данных, но хочет лучше понимать, как работают современные технологии и какие возможности они предоставляют.

Онлайн-курсы для аналитика данных

1. Аналитик данных | Eduson Academy

На программе от Eduson Academy студенты изучат методы сбора, обработки и анализа данных, а также научатся создавать дашборды для визуализации результатов. Они освоят SQL и NoSQL для работы с базами данных и познакомятся с инструментами, такими как Python, R и Tableau. Курс также поможет им решать бизнес-задачи, развивая критическое мышление и коммуникативные навыки.

• Стоимость: 136 464 рубля
• Длительность: 6 месяцев
• Формат обучения: видеолекции, скринкасты, тренажеры, тесты
• Сертификат: удостоверение о повышении квалификации + диплом

Кому подойдет:

• новичкам с нуля.

Преимущества:

• постоянная помощь от личного куратора;
• можно выбрать свой график обучения;
• содействие в поиске работы;
• первые уроки предоставляются бесплатно.

Недостатки:

• техническая поддержка отвечает с задержками.

Программа обучения:

• Анализ проблемы для принятия решения
• Системный подход в управлении
• Процесс анализа в компании
• Создание консолидированных таблиц
• Оптимизация процессов и повышение эффективности

Ознакомиться с полной программой >>>

2. Профессия: Аналитик | ProductStar

Освоите основы анализа данных. Научитесь изучать потенциальных клиентов, рынок и конкурентов, а также выявлять перспективы развития мобильных приложений. Познакомитесь с методами оптимизации процессов и применением технологий машинного обучения. Вы научитесь понимать смысл информации, используя математические методы. Сможете анализировать бизнес-процессы и представлять данные в виде удобных и информативных дашбордов.

• Стоимость: от 112 752 рублей
• Длительность: 10 месяцев
• Формат обучения: видеоуроки, вебинары, домашняя работа
• Сертификат: есть

Кому подойдет:

• новичкам с нуля.

Преимущества:

• крупные проекты для портфолио;
• без навыков кодинга;
• рассрочка без процентов;
• три мини-программы в подарок;
• стажировки в партнерских компаниях.

Недостатки:

• в первом тарифе нет доступа к смежным курсам.

Программа обучения:

• Цели и методы работы специалиста по анализу данных
• Место и функции аналитика в коллективе
• Разбивка показателей: система метрик и их структура
• Анализ метрик и работа с индивидуальными показателями
• Основные математические операции и алгоритмы
• Модификация, интеграция и исключение информации

Ознакомиться с полной программой >>>

3. Аналитик данных | Sky Pro

Программа обучает собирать и анализировать данные для нахождения ценных инсайтов и принятия обоснованных решений. Вы освоите инструменты и методы статистического анализа, машинного обучения и визуализации данных. Научитесь применять эти навыки для решения бизнес-задач, таких как прогнозирование и оптимизация. Познакомитесь с популярными инструментами, такими как Python, R и Tableau, и научитесь создавать отчеты и презентации для представления результатов.

• Стоимость: 178 956 рублей
• Длительность: 12 месяцев
• Формат обучения: вебинары, домашняя работа, тестирования
• Сертификат: удостоверение о повышении квалификации или диплом

Кому подойдет:

• новичкам с нуля.

Преимущества:

• множество способов оплатить обучение;
• проводятся регулярные групповые занятия;
• предусмотрены индивидуальные встречи с преподавателем;
• оплата производится через месяц.

Недостатки:

• ограниченное количество мест на программу.

Программа обучения:

• Работа с ячейками и таблицами в Excel
• Применение базовых формул в Excel
• Основные экономические индикаторы
• Чем отличаются разные типы расходов
• Как работают логические операторы
• Ключевые виды хранилищ информации

Ознакомиться с полной программой >>>

4. Аналитика с 0: быстрый старт | ProductStar

Программа обучает основам аналитики, сбору и анализу данных, работе с инструментами аналитики, статистике, машинному обучению, Data Science и визуализации данных. Участники узнают, как применять аналитику в бизнесе, работать с большими данными и базами данных. Освоите базовые показатели IT-продуктов и научитесь создавать их иерархию. Ментор контролирует ваш прогресс и помогает успешно пройти испытательный срок при приеме на работу.

• Стоимость: 59 232 рубля
• Длительность: 2 месяца
• Формат обучения: видеоуроки, вебинары, домашняя работа
• Сертификат: есть

Кому подойдет:

• новичкам с нуля.

Преимущества:

• рассрочка без процентов;
• три мини-программы в подарок;
• комфортный темп работы;
• стажировки в партнерских компаниях.

Недостатки:

• маловато времени для обучения.

Программа обучения:

• Цели специалиста по анализу данных
• Инструменты для работы
• Образ идеального аналитика
• Как формулировать корректные вопросы
• Что представляет собой HADI
• Как функционирует HADI
• Все стадии процесса дизайн-мышления
• Как оптимизировать работу с метриками

Ознакомиться с полной программой >>>

5. Mini-MBA: Аналитик 2.0 | SF Education

Курс обучает анализу данных и принятию обоснованных решений. Вы освоите методы сбора, обработки и визуализации данных, научитесь работать с большими массивами и разрабатывать стратегии. Курс поможет вам выявлять проблемные места в бизнес-процессах, оптимизировать работу компаний и управлять рисками. Вы научитесь представлять данные наглядно и эффективно работать в команде.

• Стоимость: 166 248 рублей
• Длительность: 9 месяцев
• Формат обучения: видеоуроки, практика, домашняя работа
• Сертификат: диплом

Кому подойдет:

• новичкам с нуля;
• начинающим специалистам.

Преимущества:

• три дня обучения бесплатно;
• курс в подарок;
• экономия до 75%;
• помощь с устройством на работу.

Недостатки:

• иногда происходят технические сбои.

Программа обучения:

• Основные умения работы в Excel
• Углубленные навыки работы в Excel
• Разработка программ на языке Python
• Выступления для специалистов
• Знакомство с основами бизнес-анализа
• Работа с разработчиками
• Освоение основ финансового учета и анализа

Ознакомиться с полной программой >>>

6. Программирование для анализа данных | Skypro

На программе вы освоите основные языки программирования: Python, SQL и R. Научитесь обрабатывать и анализировать большие массивы данных, используя библиотеки и фреймворки для ускорения разработки. Получите навыки решения практических задач, таких как прогнозирование и классификация. Освоите создание отчетов и презентаций для визуализации результатов анализа.

• Стоимость: 169 596 рублей
• Длительность: по запросу
• Формат обучения: вебинары, домашняя работа, тестирования
• Сертификат: удостоверение о повышении квалификации или диплом

Кому подойдет:

• новичкам с нуля.

Преимущества:

• множество способов оплатить обучение;
• проводятся регулярные групповые занятия;
• предусмотрены индивидуальные встречи с преподавателем;
• оплата производится через месяц.

Недостатки:

• не указана длительность обучения.

Программа обучения:

• Знакомство с программированием
• Основы работы с Python
• Графики и визуализация данных
• Основы работы с Big Data
• Работа с Hadoop и Spark
• Классификация и регрессия
• Кластеризация и нейронные сети
• Работа с NoSQL базами данных

Ознакомиться с полной программой >>>

7. Аналитик данных | SF Education

Занятия обучают основам анализа данных и работе с большими объемами информации. Вы научитесь собирать, обрабатывать данные, работать с базами данных и SQL, анализировать данные с помощью Python и Power BI, строить математические модели и прогнозировать результаты. Курс включает работу с реальными кейсами, что помогает создать портфолио для поиска работы.

• Стоимость: 83 184 рубля
• Длительность: 4 месяца
• Формат обучения: видеоуроки, практика, домашняя работа
• Сертификат: диплом

Кому подойдет:

• продолжающим специалистам.

Преимущества:

• три дня обучения бесплатно;
• курс в подарок;
• экономия до 75%;
• помощь с устройством на работу.

Недостатки:

• не для новичков.

Программа обучения:

• Основы работы с Excel
• Углубленные знания и умения в Excel
• Работа с информацией в Power Query
• Разработка программ на Python
• Основы математики
• Модуль по развитию карьеры
• Навыки межличностного общения

Ознакомиться с полной программой >>>

8. Аналитик данных с нуля | Нетология

На программе учат собирать, обрабатывать и визуализировать данные, работать с базами данных и SQL/NoSQL, разрабатывать алгоритмы и прогнозировать события. Студенты научатся автоматизировать процессы, интерпретировать результаты анализа и работать с популярными инструментами, такими как Python, R, Tableau и Power BI. Курс готовит к карьере в анализе данных или к продолжению обучения на более продвинутых программах.

• Стоимость: от 99 000 рублей
• Длительность: от 6 месяцев
• Формат обучения: видео лекции, практические задания, теория, домашние задания, итоговые проекты
• Сертификат: диплом о профессиональной переподготовке

Кому подойдет:

• новичкам с нуля.

Преимущества:

• крутые дополнительные материалы;
• техническая поддержка высокого уровня;
• удобное мобильное приложение;
• уведомления о сроках выполнения задач;
• возможность возврата денежных средств.

Недостатки:

• скидка скоро закончится.

Программа обучения:

• Знакомство с Google Таблицами
• Продвинутые возможности Google Таблиц
• Как работает аналитическое мышление
• Основы статистического анализа
• Усовершенствованное представление данных
• Python как средство для анализа данных
• Машинное обучение в повседневной жизни

Ознакомиться с полной программой >>>

9. Аналитик данных | Бруноям

Студенты научатся собирать, обрабатывать и анализировать большие объемы данных, визуализировать результаты с помощью инструментов, таких как Python, R и SQL, создавать дашборды и отчеты для их представления, а также автоматизировать рутинные задачи. Они получат навыки интерпретации данных в различных предметных областях, таких как бизнес, медицина и финансы, и научатся эффективно коммуницировать результаты анализа.

• Стоимость: 29 900 рублей
• Длительность: 4 месяца
• Формат обучения: видео уроки, дополнительные материалы, чат с личным наставником
• Сертификат: есть

Кому подойдет:

• новичкам;
• специалистам смежных профессий.

Преимущества:

• теория без излишней академичности;
• большое количество практических заданий;
• интуитивно понятный интерфейс платформы;
• возможность оформить рассрочку на выгодных условиях.

Недостатки:

• в группе более 10 человек.

Программа обучения:

• Определение и рассмотрение темы
• Разногласия в понимании целей
• Стандартные задачи Data Analyst
• Инструменты и платформы для работы
• Взаимодействие с другими отраслями
• Реальные сценарии и образцы
• Обзор ключевых хранилищ информации

Ознакомиться с полной программой >>>

10. Аналитик данных ISA | Skillfactory

Программа обучает работе с большими данными, статистике, машинному обучению, Data Science и Data Engineering. Вы научитесь собирать и обрабатывать данные, применять алгоритмы для прогнозирования и классификации, создавать нейронные сети, работать с распределенными вычислениями и визуализировать данные. Курс также включает изучение основ Data Science и Data Engineering для старта карьеры в этих областях.

• Стоимость: от 185 076 рублей
• Длительность: 14 месяцев
• Формат обучения: тренажеры, тесты, видеоуроки, онлайн-митапы и проекты
• Сертификат: диплом о профессиональной переподготовке установленного образца

Кому подойдет:

• новичкам с нуля.

Преимущества:

• обучение под контролем экспертов;
• поддержка от коллектива специалистов;
• предоставление учебных материалов;
• обучение в рамках организации.

Недостатки:

• кому-то программа может показаться слишком долгой.

Программа обучения:

• Анализ бизнес-моделей и методов анализа данных
• Логические задания для интервью
• Работа с аналитическими документами
• Углубление знаний на примерах из практики
• Метрики, связанные с продуктами и маркетингом
• Пирамида метрик и анализ экономики на уровне юнитов

Ознакомиться с полной программой >>>

Еще 21 дополнительных курсов аналитики данных

Дополнительные программы помогут вам углубить понимание основных концепций и методов, а также освоить новые инструменты и техники.

• Аналитика данных с МФТИ от Нетологии. На программе вы изучите основы анализа данных и получите необходимые навыки для работы с большими объемами информации. Обучение идет с акцентом на практику.
• Аналитик данных Яндекс Практикум. На конкретных примерах вы сможете понять, чем занимаются специалисты по анализу данных, узнаете, какие навыки вы получите в процессе обучения, и выполните свои первые практические упражнения.
• Финансы и анализ данных от Нетологии. Освойте программу высшего образования в дистанционном формате, делая акцент на практической составляющей.
• Аналитик данных от Хекслета. Освойте ключевые показатели деятельности компаний и научитесь самостоятельно их рассчитывать, применяя SQL и Google Sheets. Проведите когортный анализ и составьте прогноз, представив данные в виде графиков с помощью Superset и Python.
• Введение в Data Science от Skillbox. Вы сможете примерить на себя роль дата-инженера, аналитика и эксперта в области машинного обучения.
• Аналитик данных от OTUS. Научитесь эффективно анализировать данные: изучите требования, освойте статистику и работу с инструментами бизнес-аналитики.
• Аналитик данных от Международной Школы Профессий. Станьте специалистом по анализу данных: работайте с системами управления базами данных, создавайте отчеты и визуализируйте данные в Power BI, изучите Python для работы с базами данных.
• Python, BI и BigData от ProductStar. Освойте искусство анализа данных с использованием Python, и вы станете незаменимым специалистом в любой цифровой компании.
• Менеджмент AI- и BigData-продуктов от ProductStar. Освойте искусство разработки продуктов на основе больших данных и научитесь использовать искусственный интеллект.
• Data Analyst от Skillbox. Вы будете проводить анализ, представлять данные в наглядном виде и создавать интерактивные панели управления в системах бизнес-аналитики.
• Data Analyst от Skillfactory. Вы получите надежную базу для развития в профессии аналитика данных: научитесь аналитически мыслить и освоите основные инструменты.
• Статистические методы анализа данных от «Специалист». Вы освоите методы ввода и обработки информации в программе SPSS Statistics, а также получите начальные знания о статистическом анализе данных и ключевых подходах прикладной статистики.
• Инженер-экономист в сфере экономики и анализа данных от Профессионального стандарта. Программа даст вам возможность получить востребованную и хорошо оплачиваемую профессию инженера-экономиста в области экономики и анализа данных.
• Big Data от Профессиональный стандарт. Программа даст вам возможность получить знания и навыки, которые позволят вам стать специалистом в области обработки больших объемов информации и работы с Интернетом вещей.
• Библиотеки Python для Data Science: Numpy, Matplotlib, Scikit-learn от GeekBrains. Познакомьтесь с базовыми принципами и определитесь, что вам ближе: разработка алгоритмов для машинного обучения или анализ данных.
• Онлайн магистратура "Науки о Данных" от Skillfactory. Станьте обладателем диплома магистра по направлению «Наука о данных» от МФТИ. Получите практические навыки, работая над реальными проектами.
• Математика для анализа данных от Нетологии. Школа поможет специалистам в области анализа данных разобраться в математических принципах: научиться выявлять закономерности в больших объемах информации и делать достоверные предсказания.
• Excel для работы от Skypro. Научитесь эффективно работать с таблицами, что позволит вам повысить производительность и получать доход от работы на фрилансе.
• Математика для анализа данных от Яндекс Практикум. Программа поможет восполнить пробелы в знаниях статистики, разобраться в контексте использования статистических тестов и освоить способы визуализации больших объемов информации.
• Аналитик BI c 0 до PRO от IQBI. Вы освоите способы получения доступа к информационным ресурсам, обработки и анализа данных, а также научитесь создавать интерактивные дашборды в Power BI.
• Математика для анализа данных плюс от Яндекс Практикум. Углубленный курс для тех, кто уже освоил базовую программу «Математика для анализа данных».

Еще 5 курсов по SQL для анализа данных

Курсы по SQL для анализа данных помогут вам освоить основы работы с базами данных и научиться писать простые запросы.

• Обработка и анализ данных в SQL от SF Education. Для всех, кто желает освоить работу с таблицами, разработку запросов и анализ данных, в SF Education создана программа обучения SQL с нуля.
• SQL и получение данных от Нетологии. Вы научитесь пользоваться одним из ключевых инструментов для работы с данными и их анализа. Сможете выполнять аналитические задания и расширите свои перспективы для профессионального роста и развития.
• SQL для анализа данных от Skypro. Освойте профессию, и вы можете трудиться из дома, самостоятельно определяя график работы, и получать доход, используя свои аналитические способности.
• SQL с 0 для анализа данных от ProductStar. Вам предстоит работать с массивами информации и находить в них закономерности, используя для этого SQL, Python и другие средства.
• Онлайн-курс SQL для анализа данных от Бруноям. За два месяца вы сможете освоить SQL для работы с данными: вы научитесь составлять запросы, извлекать необходимые сведения и анализировать их без привлечения разработчиков.

Еще 3 курсов по Python для анализа данных

С помощью программ по Python для анализа данных вы научитесь работать с библиотеками, такими как NumPy, Pandas, Matplotlib, Seaborn и другими, а также освоите основы машинного обучения и Data Science.

• Python для анализа данных от Нетологии. Вы научитесь пользоваться главным инструментом для обработки данных и применения методов машинного обучения. Освойте работу с информацией на всех стадиях: от сбора, обработки и анализа до представления в наглядном виде.
• Python для анализа данных от Яндекс Практикум. В течение трех месяцев вы сможете овладеть актуальным инструментом для анализа и обработки информации.
• Python Аналитик данных от EasyUM. Получите новую специальность всего за пять месяцев. Научитесь работать с данными и извлекать из них выгоду для бизнеса.

Бесплатные курсы аналитики данных

Станьте профессионалом и откройте для себя новые возможности в карьере. Бесплатные курсы по аналитике данных помогут вам освоить основы и начать применять полученные знания на практике.

1. Аналитик данных: первые шаги для погружения в профессию — Eduson Academy

В процессе обучения вы не только получите базовые знания в области анализа данных, но и сможете применить их на практике, используя специализированные онлайн-симуляторы.

Главное о курсе:

• длительность — две недели;
• подойдет любому уровню.

2. Основы анализа данных и Python — Яндекс Практикум

Школа поможет освоить азы, познакомим с языком программирования Python и определим, насколько вам подходит работа с данными.

Главное о курсе:

• четыре кейса по работе;
• подойдет людям без опыта.

3. Введение в аналитику данных — Хекслет

Вы освоите базовые принципы и способы анализа информации, а также научитесь применять инструменты для ее обработки и наглядного представления результатов.

Главное о курсе:

• самостоятельное изучение;
• неограниченный доступ к теории.

4. Какую профессию выбрать в анализе данных — Яндекс Практикум

Вы узнаете о различных типах аналитиков и их обязанностях, а также о том, к чему следует быть готовым и на какой доход можно рассчитывать. Это поможет вам принять решение о выборе профессии, которая вам подходит.

Главное о курсе:

• информация о разных профессиях;
• длительность — два часа.

5. Python для начинающих аналитиков — Skypro: онлайн-университет

Канал опубликовал уроки по анализу данных с использованием Python от Skypro в открытом доступе, чтобы вы могли самостоятельно изучить этот инструмент.

Главное о курсе:

• девять уроков;
• для аналитиков.

6. Курс по Data Analytics — Школа itProger / Программирование

В процессе обучения вы освоите навыки работы в области анализа данных и научитесь применять различные библиотеки для обработки информации.

Главное о курсе:

• основы работы;
• вводная часть по анализу.

7. Анализ данных в R — Stepik

Участники освоят базовые принципы программирования на языке R, что даст им возможность оперативно и результативно справляться с разнообразными задачами, связанными с обработкой информации.

Главное о курсе:

• 19 уроков;
• 26 тестов;
• 50 интерактивных задач.

8. Анализ данных. Введение в Python — VK Team

Задача программы — дать слушателям представление о том, как устроен анализ данных, какие инструменты используются, с какими проблемами и методами работы сталкивается специалист в этой области.

Главное о курсе:

• длительность — два часа;
• базовые инструменты при работе с данными.

9. Анализ данных просто и доступно — Stepik

В процессе решения практических заданий участники смогут освоить базовые принципы машинного обучения в интересной и понятной форме.

Главное о курсе:

• 108 уроков;
• 36 тестов.

10. Основы статистики — Stepik

В рамках программы слушатели познакомятся с ключевыми концепциями и подходами математической статистики.

Главное о курсе:

• 29 уроков;
• 105 тестов.

11. Все, что нужно знать о профессии аналитика данных — faces & cases

Татьяна поделилась тем, что ее больше всего мотивирует в работе и как можно объяснить суть этой профессии даже пожилому человеку.

Главное о курсе:

• введение в профессию;
• роль аналитика в команде и в жизни.

Профессии, связанные с аналитикой данных

• Data Scientist — специалист, который занимается анализом больших объемов данных с помощью алгоритмов машинного обучения и статистики. Он может работать с различными типами данных и решать разнообразные задачи.
• Бизнес-аналитик — профессионал, который анализирует бизнес-процессы компании и предлагает решения для оптимизации этих процессов. Он может использовать данные для выявления тенденций, определения слабых мест и разработки стратегий развития.
• Аналитик данных — специалист, который анализирует данные, чтобы выявить закономерности, тенденции и тренды. Он может работать с разными типами данных (например, с текстовыми, графическими, аудио- и видеоданными) и использовать различные методы анализа (например, статистические, машинное обучение, глубокое обучение).
• Системный аналитик — профессионал, который занимается анализом информационных систем компании. Он может разрабатывать требования к новым системам, оптимизировать существующие системы и обеспечивать их бесперебойную работу.
• Аналитик социальных медиа — специалист, который анализирует данные из социальных медиа для выявления трендов, интересов аудитории и эффективности рекламных кампаний.
• Аналитик маркетинговых данных — профессионал, который использует данные для анализа эффективности маркетинговых кампаний и определения наиболее эффективных каналов продвижения.
• Аналитик интернет-трафика — специалист, который анализирует данные интернет-трафика для выявления тенденций, определения популярных сайтов и разработки стратегий продвижения.
• Аналитик Big Data — профессионал, который работает с большими объемами данных и использует специальные инструменты и технологии для их анализа.
• Аналитик информационной безопасности — специалист, который анализирует данные о безопасности информационных систем компании и разрабатывает меры по их защите.
• Аналитик продуктов — профессионал, который анализирует данные о продуктах компании и определяет их сильные и слабые стороны. Он может разрабатывать стратегии развития продуктов и оптимизировать их характеристики.

Как долго учиться?

Срок обучения может варьироваться в зависимости от выбранного формата обучения, интенсивности занятий и начального уровня знаний.

Если вы выбираете очное обучение в вузе, то это может занять от четырех до шести лет для получения степени бакалавра и дополнительно полтора-два с половиной года для получения степени магистра. Однако, помимо теоретических знаний, важно также получить практические навыки работы с инструментами и методами анализа данных.

Если вы предпочитаете более короткие сроки обучения, можно рассмотреть онлайн-курсы или краткосрочные программы профессиональной переподготовки. Они могут длиться от нескольких месяцев до года или более, в зависимости от интенсивности занятий и выбранной программы.

Требования и необходимые навыки

Требования и навыки могут варьироваться в зависимости от конкретной компании и проекта, но, как правило, включают в себя следующее:

• Знание основ статистики и математики: специалист должен понимать и применять статистические методы для анализа данных, такие как среднее, медиана, мода, дисперсия, ковариация, корреляция, регрессионный анализ и другие.
• Умение работать с базами данных и системами управления данными (СУБД): профессионал должен знать, как хранить, извлекать и обрабатывать данные из различных источников.
• Навыки программирования: знание языков программирования, таких как Python, R, SQL, может быть полезным для автоматизации задач и обработки данных.
• Понимание алгоритмов и структур данных: работник должен знать, как работают алгоритмы и структуры данных, чтобы эффективно обрабатывать и анализировать большие объемы данных.
• Умение работать с инструментами для анализа данных: знание таких инструментов, как Tableau, Power BI, Excel, Google Data Studio, может быть полезным для визуализации данных и создания отчетов.
• Понимание бизнес-процессов: специалист должен понимать, как бизнес-процессы работают и как данные могут быть использованы для улучшения этих процессов.
• Аналитическое мышление: способность анализировать данные и выявлять тенденции и закономерности может быть полезной для выявления проблем и возможностей.
• Умение работать с большими объемами данных: аналитик должен уметь обрабатывать и анализировать большие объемы данных, чтобы выявить скрытые закономерности и тенденции.
• Умение работать с облачными сервисами: знание облачных сервисов, таких как Google Cloud Platform, Amazon Web Services, может быть полезным для хранения и обработки данных.
• Знание методов машинного обучения: понимание методов машинного обучения может быть полезным для создания моделей и прогнозирования будущих событий.
• Знание основ информационной безопасности: понимание принципов информационной безопасности может быть полезным для защиты данных и предотвращения несанкционированного доступа.

Уровень заработной платы

Размер заработной платы определяется уровнем квалификации и местом работы. В столице, например, для начинающих специалистов диапазон дохода составляет от 60 000 до 180 000 рублей в месяц, для специалистов среднего уровня — от 200 000 до 300 000 рублей, а для опытных работников — до 400 000 рублей.

Чтобы получить актуальную информацию о вакансиях и зарплатах, рекомендуется обратиться к специализированным ресурсам, таким как hh.ru. На этих сайтах вы сможете найти предложения от прямых работодателей с указанием требований и условий оплаты труда.

Заключение

Курсы аналитика данных помогают освоить основы статистики, машинного обучения и других методов анализа, а также научиться работать с популярными инструментами и библиотеками. Это может быть полезно профессионалам, а также новичкам, которые только начинают свой путь в анализе данных. Для того чтобы стать успешным кандидатом, необходимо постоянно совершенствовать свои знания, следить за тенденциями в области и быть готовым к постоянному обучению.

Подборки по схожим темам:

1. Лучшие курсы по созданию сайтов
2. Лучшие курсы веб-разработчика
3. Лучшие курсы HTML и CSS
4. Лучшие курсы по языкам программирования

В случае, если вы заметили в списке неактуальную информацию или хотите добавить в него проверенную программу или учебное заведение, пожалуйста, дайте мне знать в комментариях.

Мы собрали топ-10 малоизвестных и относительно новых языков программирования, которые с высокой долей вероятности могут стать популярными в профессиональной среде.

Критерии отбора языков

Каждый язык остается востребованным, пока им пользуются для написания кода. Например, COBOL, который появился еще в середине прошлого века, до сих пор применим в банковской системе США, а Fortran — в прикладной математике.

Однако стремительное развитие компьютерных технологий побуждает к разработке принципиально новых, более эффективных и производительных инструментов. Они могут выполнять сугубо утилитарные задачи (вроде управления системами и устройствами), или становятся универсальными средствами программирования.

Иногда даже сами создатели языка не подозревают, какой продукт у них появился. Так случилось с С, который разработали американские программисты Керниган и Ритчи. Они всего лишь хотели перенести любимую игру с сервера на офисный компьютер, но поскольку действующая операционка не подходила для этих целей, пришлось создавать новый язык. Теперь им пользуются миллионы программистов во всем мире.

В топ языков программирования входят перспективные для развития инструменты. При отборе мы пользовались экспертными данными, собранными из авторитетных профессиональных источников. Рассмотрим ключевые факторы.

Технологический прогресс

Языки программирования развиваются параллельно с техническим прогрессом. К числу наиболее актуальных направлении в современной индустрии относятся:

• Искусственный интеллект. Для разработки таких технологий и управления ими нужны языки, способные продуктивно работать со сложными алгоритмами, массивами данных и параллельными вычислениями.
• Квантовые технологии. Новые архитектурные концепции могут «заставить» нас использовать абсолютно непривычные языки.
• Мобильные устройства и IoT. Эта отрасль задает тренд на развитие легких по структуре и более производительных языков, которые работают со встраиваемыми системами.
• Аппараты. Распространение многоядерных процессоров и распределенных по разным компьютерам систем повышает потребность в языках программирования, поддерживающих параллелизм.
• Блокчейн. Да, чтобы проводить смарт-контракты и писать децентрализованные приложения, привычных языков может быть недостаточно.

Отраслевые потребности

На развитие и востребованность языков программирования влияют и потребности различных отраслей. Например, финансовый сектор нуждается в языках, которые обеспечивают максимальный уровень безопасности и надежности. К таким языкам можно отнести, например, F#.

В сфере здравоохранения нужны языки, которые упрощают анализ данных диагностики или используются для машинного обучения систем, задействованных в прогнозировании заболеваний. Таким инструментом может стать, например, Solidity. Созданный на этом языке софт на основе ИИ можно применять для аналитики диагностических данных с последующим прогнозированием течения заболеваний.

В игровой индустрии нужны языки, которые обеспечивают высокую производительность и возможность реализации интерактивных технологий гейминга (например, дополненную реальность) в онлайн-режиме.

Тренды в сообществах разработчиков

Еще один значимый фактор отбора программных языков — потребности сообщества разработчиков. Профи и любители ориентируются на простоту синтаксиса, наличие библиотек и фреймворков, легкость в использовании инструмента для выполнения реальных задач.

По этой причине языки с открытым исходным кодом и популярные «народные» продукты с активными сообществами развиваются быстрее. Они способствуют обширной инфраструктуре в виде вспомогательных инструментов и ресурсов.

Топ-10 языков программирования

Рассмотрим уникальные особенности, сильные стороны и сферы применения языков программирования, которые обладают большим потенциалом.

Zig

Этот язык в последнее время стал одним из самых обсуждаемых в профессиональном сообществе. В популярных профильных изданиях его даже называют «новой звездой на небосводе современной разработки».

Его создатель, американский программист Эндрю Келли, ставил задачу объединить плюсы низкоуровневого программирования с надежностью и удобством высокоуровневых языков.

Это типизированный компилируемый инструмент с инновационными концепциями в основе. Статическая типизация отвечает за максимальную надежность кода и позволяет выявить большинство ошибок еще до выполнения программ.

Основные плюсы:

• продукты на Zig отличаются стабильностью, безопасностью и простотой дальнейшей поддержки;
• язык можно использовать для разработки низкоуровневого ПО в качестве легковесной альтернативы C;
• выполнение кода в процессе компиляции и ручное управление памятью делает работу более простой и безопасной;
• производительность Zig делает его подходящим инструментом для системного программирования и создания приложений с лимитированными ресурсами.

Язык будет все активнее использоваться в проектах, где важны производительность и максимальный уровень контроля. Он идеально подходит для разработки игр, сетевого и системного программирования.

Код на Zig выглядит следующим образом:

Пример проекта на Zig — репозиторий Zig-gamedev для разработки игр на этом языке.

Готовый продукт, созданный на основе модулей библиотеки — фэнтезийная игра от первого лица и с открытым миром Tides of Revival.

Crystal

Язык с Ruby-подобным, предельно простым синтаксисом и высокой производительностью. Как и Zig, он статически типизирован и компилируем. Объединяет ясность и простоту Ruby с эффективностью и скоростью C.

В числе главных преимуществ Crystal:

• сходство с синтаксисом Ruby делает его предельно простым для изучения;
• по производительности Crystal не уступает самым востребованным компилируемым языкам;
• проверка в процессе компиляции и глобальный вывод типов позволяют выявлять ошибки на ранних этапах разработки, поэтому язык оптимален для создания приложений.

Производительность, безопасность и простота применения делают Crystal отличным выбором для написания сценариев, в том числе высокого уровня. На этом языке разрабатывают инструменты командной строки, микросервисы и веб-продукты различной степени сложности. По мере развития фреймворков и библиотек Crystal становится все более востребованным и имеет все шансы войти в число основных языков для разработки приложений.

Примеры сервисов, созданных на Crystal:

• Kinko booking — платформа для бронирования гостиниц в туристических агентствах в режиме реального времени;
• Eat App — облачные приложения автоматизации для ресторанного бизнеса, повышающие эффективность работы предприятий;
• Nabobil.no — европейский каршеринг.

Пример кода наглядно демонстрирует лаконичность Crystal:

puts “Hello World!”

Elixir

Язык, в котором реализована функциональная методика создания кода, построен на базе виртуальной машины Erlang. Использует динамическую типизацию переменных, подходит для работы с распределенными системами.

Главные плюсы:

• динамичность и функциональность языка позволяют использовать его для разработки масштабируемых и отказоустойчивых приложений;
• поскольку код выстраивается из процессов, он отлично справляется с параллелизмом и одновременным выполнением множества задач, в том числе на разных устройствах;
• идеально подходит для создания и поддержки распределенных систем, а также приложений реального времени;
• системы на Elixir продолжают работу даже при отказе нескольких составных частей.

Язык будет все чаще использоваться для разработки масштабируемых, распределенных и отказоустойчивых бэкенд-систем. Это относится к игровым онлайн-платформам, информационным ресурсам реального времени и другим приложениям с большим трафиком. Поскольку спрос на такие продукты только растет, будущее Elixir выглядит вполне определенным.

Код тоже предельно лаконичен:

IO.puts(“Hello, World!”)

На Elixir создан фреймворк Phoenix, который содержит модули для разработки быстро масштабируемых приложений.

Nim

Этот статически-типизированный и компилируемый язык развивает концепции Ada, Modula, Python, но стремится превзойти их по эффективности и выразительности.

Основные преимущества:

• язык используется для метапрограммирования — то есть для настройки и генерации кода;
• универсальный синтаксис позволяет применять Nim как для веб-разработки, так и для научных вычислений и работы с большими данными;
• поскольку язык компилируемый, разработчик может использовать для работы не только собственные библиотеки, но и фреймворки на C и C++.

Nim уже сейчас применяется для веб-разработки, системного программирования и создания сценариев. Однако его универсальность, эффективность и возможность метапрограммирования делают его инструментом с большим потенциалом, в том числе в сфере разработки продуктов на основе ИИ.

Код на Nim с последующим компилированием:

Самые известные фреймворки на Nim — это Jester и Karax. Первый используется для серверной разработки, второй — для клиентской. Обе библиотеки есть в свободном доступе на GitHub.

F#

Функционально ориентированный язык, работающий на базе экосистемы .NET — кроссплатформенной среды для разработки приложений.

Преимущества F#:

• лаконичный и ясный синтаксис, относительно простой для понимания;
• надежный вывод типов, что позволяет использовать F# для машинного обучения, анализа массивов данных и параллельного программирования;
• благодаря безопасности подходит для разработки приложений, работающих с конфиденциальными данными в финансовой сфере.

Поскольку вся финансовая отрасль постепенно уходит в цифру, а системы становятся все более сложными, F#, как производительный и точный инструмент, все чаще будет использоваться для создания ПО, в котором важна надежность и предельная корректность выполняемых операций.

В плане лаконичности F# вполне сравним с предыдущими примерами:

printfn “Hello, world!”

Giraffe — популярная библиотека на F# для разработки веб-приложений с высокой производительностью и безопасностью.

Еще один полезный фреймворк на этом языке — Saturn.

Julia

Высокопроизводительный и высокоуровневый язык с динамической типизацией. Изначально создавался для сложных математических вычислений и анализа данных. Объединяет скорость C++ и простоту Python.

Плюсы Julia:

• высокая скорость, благодаря компиляции Just-In-Time и множеству опций диспетчеризации, делают язык предпочтительным инструментом для сложных вычислений и анализа данных;
• подходит для создания эффективного нативного кода для исполнения алгоритмов на реальном оборудовании;
• язык постоянно обновляется и совершенствуется.

Способность Julia обрабатывать большие массивы данных и работать со сложными задачами применяется для глубокого обучения, а также разработки ИИ. Язык используется для научных исследований в экономике, физике, астрономии и других дисциплинах. Благодаря тому, что сообщество Julia постоянно растет, а библиотеки регулярно пополняются, язык имеет большой потенциал в науке и машинном обучении.

Простой сценарий на Julia выглядит так:

Примеры библиотек на Julia для научных разработок по астрофизике JuliaAstro, JuliaSpace, по биологии и химии: JuliaBio, Molecular simulations, по экономике: QuantEcon, JuliaQuant.

Scala

Этот язык считается флагманом функционального программирования, то есть работает не с конкретными переменными, а с функциями, которые их описывают. Scala компилируется в Java и может использоваться там, где применяется этот язык (практически везде).

Преимущества:

• объектно-ориентированный подход позволяет создавать более четкий и структурированный код для широкого спектра продуктов;
• лаконичность — простой и краткий синтаксис более удобен, он быстрее пишется и читается;
• код на Scala кроссплатформенный и запускается где угодно, поэтому программистам не нужно думать о совместимости.

Масштабируемость Scala и его универсальность позволят этому языку в будущем частично заменить Java и в полной мере реализовать концепцию функционального программирования во множестве проектов.

Код на Scala:

@main def hello() = println(“Hello, World!”)

Библиотека Scala.js компилирует этот язык в JavaScript. Этого инструмента достаточно, чтобы начать разработку с объектно-ориентированным подходом.

Red

Минималистичный, лаконичный по синтаксису, но при этом функционально полноценный язык был создан как универсальный инструмент для решения самого широкого круга задач — от написания сценариев до низкоуровневого системного программирования.

Ключевые преимущества:

• простота синтаксиса, легкость в освоении и использовании делают Red идеальным инструментом для начинающих программистов;
• несмотря на минималистичность, язык обладает мощью и гибкостью, что позволяет использовать его для приложений любого уровня сложности;
• есть множество GUI-библиотек, которые существенно упрощают написание кода на Red.

Сейчас применение языка ограничивается локальными проектами, но эксперты уверены, что его широкое распространение — вопрос времени. Способность поддерживать как высоко-, так и низкоуровневые проекты позволяет рассчитывать, что Red войдет в число наиболее востребованных языков для мобильной и веб-разработки, IoT, создания драйверов и графических интерфейсов.

Код на Red:

На Red написан проект SmartXML, предназначенный для хранения и передачи структурированных данных. Он также поддерживает вычисления с большими числами и используется в прикладной математике.

Ballerina

Язык с открытым исходным кодом, специально созданный для работы с облачными технологиями и разработки сетевых сервисов.

Плюсы Ballerina:

• использует объектно-ориентированный подход и существенно упрощает обработку данных;
• идеально подходит для работы с микросервисами;
• совмещает функции языка и платформы для интеграции веб-сервисов, поддерживает множество протоколов.

По мнению экспертного сообщества, Ballerina имеет все шансы стать со временем новым стандартом в разработке облачных структур и веб-сервисов, благодаря разнообразным встроенным инструментам.

Код на Ballerina выглядит следующим образом:

На языке, в частности, написано расширение Choreo для создания, развертывания и тестирования облачных приложений непосредственно из редактора Visual Studio Code.

Solidity

Высокоуровневый язык, разработанный для виртуальной машины Ethereum. Функционирует на основе блокчейна и смарт-контрактов. Синтаксис Solidity напоминает Python, при этом язык основан на принципиально иных концепциях.

Плюсы Solidity:

• позволяет быстро и эффективно создавать смарт-контракты, не испытывая технических сложностей;
• относительно прост для освоения для тех, кто знаком с Python и Java.

Большинство экспертов считают, что со временем смарт-контракты будут использоваться практически во всех отраслях промышленности, где есть цифровые технологии. Уже сегодня смарты применяют для управления цепями поставок, а также в сфере здравоохранения для сохранения конфиденциальности данных пациентов.

Создание смарт-контракта на Solidity выглядит так:

На Solidity работают децентрализованные проекты типа Uniswap и Compound, где можно брать кредиты в крипте без посредников, а также NFT-маркетплейсы OpenSea и Rarible.Игра Cryptokitties для покупки, разведения и продажи виртуальных кошек тоже написана на этом языке.

Как выбрать язык для изучения

При выборе перспективного языка программирования разработчику в первую очередь стоит учитывать область своих профессиональных интересов. Собственные инструменты есть в сферах веб-приложений, игр, продуктов на основе ИИ, программ для аналитики данных.

Аспекты, на которые стоит обязательно обратить внимание — активность сообщества и наличие подробной документации. Все языки из представленного нами списка развиваются и имеют обширную аудиторию пользователей.

Значение имеют и вспомогательные инструменты — библиотеки и фреймворки. Готовые решения значительно упрощают как освоение языка, так и разработку конкретных продуктов для прикладных задач.

Следите за трендами ИТ-индустрии. Направления с серьезным потенциалом развития в ближайшие 10 лет: ИИ; квантовые вычисления; интернет вещей; блокчейн и смарт-контракты; автоматизация и робототехника.

Изучив новые языки раньше других, вы сможете опередить рынок и стать востребованным специалистом с минимальной конкуренцией. Если вы новичок, вы дадите мощный старт своей карьере разработчика.

А если хотите изучить хотя бы один из языков (или просто присматриваетесь) — все самые полезные инструменты тут

DeepSeek доступна бесплатно как через веб-интерфейс, так и через мобильное приложение. Однако сегодня мы рассмотрим не такой очевидный, но не менее важный аспект — локальный запуск модели.

Разберём это на примере небольшого проекта. Представьте, что у вас есть массив документации, и вам необходимо эффективно искать информацию или проводить анализ данных. Один из подходов, который можно применить, — технология RAG (Retrieval-Augmented Generation), которая сочетает поиск по тексту с генерацией ответов на основе релевантных данных. Давайте разберём, как DeepSeek можно адаптировать под эту задачу.

Что такое RAG?

Retrieval-Augmented Generation (RAG) – передовая техника ИИ, разработанная для повышения точности и надежности языковых моделей путем интеграции поиска внешней информации в процесс генерации ответа. В отличие от традиционных генеративных моделей, которые полагаются исключительно на обученные знания, RAG осуществляет динамический поиск релевантной информации перед генерацией ответа, уменьшая количество галлюцинаций и повышая точность фактов.

Процесс работы RAG состоит из трех ключевых этапов. Во-первых, он извлекает соответствующие документы или данные из базы знаний, которая может включать структурированные БД, векторные хранилища или даже API в режиме реального времени. Затем полученная информация объединяется с внутренними знаниями модели (это гарантирует, что ответы будут основаны на актуальных и надежных источниках). Наконец, модель генерирует обоснованный ответ, используя как свои обученные языковые возможности, так и новые полученные данные.

Такой подход дает значительные преимущества. Основывая ответы на внешних источниках, RAG минимизирует неточности и обеспечивает актуальность информации, что делает его особенно полезным в финансах, здравоохранении и праве. Он широко применяется в чат-ботах, системах ИИ с расширенным поиском, корпоративном поиске знаний и управляемыми ИИ научными ассистентами, где точность и достоверность фактов имеют решающее значение.

Как будет выглядеть архитектура решения?

База знаний — коллекция релевантной и актуальной информации, которая служит основой для RAG. В нашем случае это документы, хранящиеся в каталоге.

Перед тем, как начать реализовывать данную архитектуру, необходимо установить следующие библиотеки (тестировалось на Python 3.11):

Вот как вы можете загрузить ваши документы в LlamaIndex в виде объектов:

Векторные хранилища принимают список объектов Node и строят из них индекс.

VectorStoreIndex в RAG

В системе Retrieval-Augmented Generation (RAG) индекс VectorStoreIndex используется для хранения и извлечения векторных вкраплений документов. Это позволяет системе находить релевантную информацию на основе семантического сходства, а не точного совпадения ключевых слов.

Процесс начинается с встраивания документов. Текстовые данные преобразуются в векторные вкрапления с помощью модели. Эти вкрапления представляют смысл текста в числовой форме, что облегчает сравнение и поиск похожего контента. После создания вкрапления хранятся в векторной базе данных — FAISS, Pinecone, Weaviate, Qdrant или Chroma.

Пользователь отправляет запрос, который также преобразуется во вкрапление с помощью той же модели. Затем система ищет похожие вкрапления, сравнивая запрос с сохраненными векторами с помощью метрик сходства — косинусоидального сходства или евклидово расстояния. Наиболее релевантные документы извлекаются на основе их оценок сходства.

Полученные документы передаются в качестве контекста в большую языковую модель (LLM), которая использует их для создания ответа. Этот процесс гарантирует, что LLM имеет доступ к релевантной информации, повышая точность и уменьшая количество галлюцинаций.

Использование VectorStoreIndex улучшает системы RAG, обеспечивая семантический поиск, улучшая масштабируемость и поддерживая поиск в реальном времени. Это гарантирует, что ответы будут контекстуально точными и основанными на наиболее релевантной доступной информации.

Построить векторный индекс очень просто:

Дальше остается скачать и запустить модель deepseek-R1 с помощью ollama. Для этого необходимо установить ollama https://ollama.com/download.

После того, как вы запустите у себя эту модель командой

достаточно выполнить следующий код, чтобы RAG начал работать

Теперь можно встроить данное решение в десктопный клиент, создав пользовательский интерфейс с помощью Streamlit, чтобы обеспечить взаимодействие пользователя через чат с приложением RAG. Либо можно сделать телеграм-бот, тогда создать интерфейс будет ещё проще.

В Авито мы используем несколько аналитических баз данных, чтобы выстраивать свое DWH, и аналитику на его основе. Одна из них — Vertica. В статье я расскажу про проекции — одну из отличительных особенностей Vertica, которые мы используем, чтобы оптимизировать работу наших витрин и дашбордов. В условиях когда количество данных постоянно растет, а ресурсы кластера ограничены, проекции являются хорошим способом оптимизировать расчеты в базе данных.

Что такое Проекция

В большинстве баз данных таблица — это физическая структура, один объект, который хранится на диске. В Vertica таблица — это логическая структура, а физическим объектом, который хранится на диске, выступают как раз проекции. При этом одна таблица (логическая структура) может ссылаться на несколько проекций (физических структур).

Создавая таблицу, вы всегда создаёте вместе с ней её первую проекцию, которая в Vertica называется супер-проекцией. Следующие проекции, созданные уже вручную, будут копией данных супер-проекции, но при этом вы можете менять сортировку, сегментирование, фильтры, группировку данных.

Наиболее близкая аналогия из других БД — это материализованные представления (materialized view). Vertica обновляет проекции при изменении супер-проекции так же, как другие БД обновляли бы материализованные представления с флагом ON COMMIT (обновляется при изменении источников представления).

Таблица — логическая структура, и может ссылаться сразу на несколько проекций. Это позволяет SQL-запросам выполняться эффективнее: можно указывать одну таблицу, но оптимизатор Vertica будет анализировать при считывании какой проекции с диска запрос удастся выполнить дешевле и быстрее. Проще говоря, таблица — это символическая ссылка на несколько копий одних и тех же данных, собранных по-разному, и считывается та копия, которую будет дешевле всего использовать в запросе.

Теперь посмотрим на то, как выглядят проекции в коде. Создадим таблицу, с которой будем работать. Здесь я приведу небольшой семпл данных, который мы будем использовать.

Посмотрим, в какой момент у нас появляется проекция. Для этого посмотрим на план выполнения запроса, если мы запросим всю созданную нами таблицу:

Видим, что с диска на самом деле считывается проекция test_projection, но при этом у нее есть дополнительное название b0. Узнаем, откуда оно взялось.

Вывод:

Теперь понятно, что мы считали одну из реплик проекции. Их две, потому что коэффициент репликации K в кластере равен 1. Прежде, чем мы перейдем к проекциям, зафиксируем результат «до», чтобы было с чем сравнивать. Посмотрим на план запроса с группировкой по неделям.

Вывод:

Теперь создадим новую проекцию для этой таблицы.

Выбираем временной промежуток длиной в неделю, и группируем значения внутри таблицы. Вызов функции start_refresh необходим, чтобы запустить обновление проекции от супер-проекции. До момента её вызова значение UpToDate для этой проекции будет "no", и ей нельзя будет пользоваться. Кроме того, когда мы создали проекцию, то мы можем обращаться к ней напрямую по имени, минуя ссылку через основную таблицу.

Посмотрим, как изменился план выполнения предыдущего запроса.

Теперь в этом запросе считывается наша новая проекция, так как выполнение с ней дешевле — данные уже сгруппированы по неделям. Теперь базе данных нужно считать всего три строки. Разницу между десятью и двумя строками мы не почувствуем, этот пример тестовый, но на реальной витрине это позволит сэкономить много времени и ресурсов.

Что произойдет, если мы добавим данные в таблицу? Наша проекция сгруппирована по неделям, а супер-проекция нет. Попробуем добавить несколько дней, которые относятся к уже существующей неделе. Вот так выглядят значения до изменения данных, мы можем обратиться к проекции минуя таблицу-ссылку, напрямую по её имени:

Теперь вставим данные:

После вставки данных мы можем не запускать обновление проекции, теперь Vertica будет самостоятельно поддерживать её в актуальном состоянии. Вот как выглядят данные после вставки новых дней:

Когда можно использовать проекции

Выше мы рассмотрели основную особенность проекций — они автоматически обновляют свою актуальность относительно супер-проекции и всё это скрывается за одной и той же таблицей. Это позволяет ускорять тяжёлые, повторяющиеся расчеты. Причём не только один и тот же повторяющийся кусок кода, но скорее код который использует похожие разрезы, так как Vertica принимает решение о том, какую проекцию считывать, анализируя стоимость запроса. Чаще всего подобные ситуации возникают, если в регламентных расчетах одну из витрин используют много зависящих от неё витрин, либо при визуализации данных на дашбордах. Дальше мы разберем второй случай, посмотрим как можно с помощью проекций ускорить построение графиков в дашборде.

Представим, что у нас есть таблица, в которой много сырых данных, и нам необходимо построить дашборд в большом количестве разрезов. Например, это могут быть события одного из продуктов, и нам необходимо настроить аналитику воронки этого продукта, и всех метрик, которые мы хотим видеть. Событий может быть очень много, и мы можем ждать загрузки дашборда довольно долго. Пользователи дашборда могут часто менять параметры графиков, это будет вызывать частые обращения к БД с однотипными запросами. С помощью проекций мы можем предсказать и рассчитать выполнение самых тяжелых и частых запросов, и ускорить выполнение дашборда.

Для примера будем использовать ту же таблицу, что мы создали раньше, но создадим для нее еще пару проекций, сгруппированных по месяцам и дням. И напишем очень простой запрос в redash, с помощью которого можно построить линейный график суммы покупок по датам с выбранной гранулярностью.

Так мы можем ускорить выполнение дашбордов которые строятся по большому количеству разрезов. При этом нам не придется беспокоиться о том, как обновлять каждый разрез, ставить его на расписание, и писать большие запросы.

Но важно помнить, что проекции занимают место в хранилище, поэтому не стоит создавать их под каждый запрос. Если мы создадим проекцию под запрос, который будет выполняться только один раз, то время расчёта проекции будет равно выполнению этого запроса. Важен баланс между ускорением расчетов, и ресурсами диска/процессора, которые мы тратим на расчёт и хранение проекции.

Итог

Проекции — это предварительно обработанные данные из основной супер-проекции таблицы.

То, что Vertica обновляет проекции самостоятельно открывает большое поле для оптимизации витрин и запросов в системах визуализации данных. Проекции можно использовать, когда у вас есть часто переиспользуемые куски кода, особенно если данных много. Ключевое слово «часто», потому что создавать проекции для одноразовых запросов плохо — они занимают место в хранилище и не помогают выиграть время расчёта.

В большинстве современных приложений используется сериализация данных: для передачи данных между клиентом и сервером, для хранения сложных структур в базах данных, при передаче информации между микросервисами или отправке сообщений в очереди.

Правильный выбор формата сериализации может существенно повлиять на производительность приложения, размер передаваемых данных и читаемость кода.

В этой статье я покажу бенчмарки нескольких самых популярных форматов сериализации в языке Golang и расскажу про преимущества и недостатки каждого из них. Это поможет вам выбрать подходящий формат для вашего проекта с учетом его потребностей. Например, меньший размер сериализованных, если вы хотите сэкономить место при хранении данных или сетевые ресурсы при их передаче, время сериализации/десериализации, если для вашего приложения критична скорость и т. д.

Какие бывают форматы сериализации

Можно разделить существующие форматы сериализации на две большие группы — бинарные и текстовые. У каждой из них есть свои характеристики, по которым можно оценить, насколько формат подходит для ваших целей. Для начала расскажу про ключевые моменты, на которые нужно обратить внимание при выборе.

Бинарные форматы

Avro, Protobuf, CBOR и Msgpack относятся к бинарным форматам сериализации данных. Ключевые различия между ними:

• Схема данных:Avro поддерживает схемы данных, которые описывают структуру сериализованных данных. Это позволяет легко изменять схему данных и делает его подходящим для развивающихся схем данных.Protobuf также использует схемы данных и автоматически генерирует код на основе схемы. Это позволяет легко создавать и обновлять структуру данных.CBOR и Msgpack не предоставляют встроенной поддержки схем данных, поэтому данные сериализуются без дополнительной информации о структуре.
• Avro поддерживает схемы данных, которые описывают структуру сериализованных данных. Это позволяет легко изменять схему данных и делает его подходящим для развивающихся схем данных.
• Protobuf также использует схемы данных и автоматически генерирует код на основе схемы. Это позволяет легко создавать и обновлять структуру данных.
• CBOR и Msgpack не предоставляют встроенной поддержки схем данных, поэтому данные сериализуются без дополнительной информации о структуре.
• Человекочитаемость:Бинарные форматы не предназначены для чтения человеком, однако Avro и Protobuf можно сериализовать в json. Это может быть полезно в целях дебага, но мало пригодно для production среды.
• Бинарные форматы не предназначены для чтения человеком, однако Avro и Protobuf можно сериализовать в json. Это может быть полезно в целях дебага, но мало пригодно для production среды.
• Компактность и производительность:CBOR и Msgpack более компактны и имеют лучшую производительность при сериализации и десериализации данных, поскольку сериализованные сообщения не содержат метаданных.Avro и Protobuf также обеспечивают хорошую компактность и производительность, но процесс сериализации и десериализации может быть более сложным из-за схемы данных. Например, в случае с avro во время сериализации проводится анализ схемы, чтобы впоследствии определить каким образом обрабатывать то или иное поле.
• CBOR и Msgpack более компактны и имеют лучшую производительность при сериализации и десериализации данных, поскольку сериализованные сообщения не содержат метаданных.
• Avro и Protobuf также обеспечивают хорошую компактность и производительность, но процесс сериализации и десериализации может быть более сложным из-за схемы данных. Например, в случае с avro во время сериализации проводится анализ схемы, чтобы впоследствии определить каким образом обрабатывать то или иное поле.
• Эволюционность:Avro и Protobuf обеспечивают поддержку обратной совместимости при изменении схем данных. Это облегчает эволюцию данных в распределенных системах.CBOR и Msgpack не предоставляют встроенной поддержки для эволюции данных и требуют дополнительных усилий при изменении структуры данных. Например, потребуется изменить поведение обрабатывающей логики при удалении полей из структуры сообщения, сериализованного в одном из этих форматов.
• Avro и Protobuf обеспечивают поддержку обратной совместимости при изменении схем данных. Это облегчает эволюцию данных в распределенных системах.
• CBOR и Msgpack не предоставляют встроенной поддержки для эволюции данных и требуют дополнительных усилий при изменении структуры данных. Например, потребуется изменить поведение обрабатывающей логики при удалении полей из структуры сообщения, сериализованного в одном из этих форматов.

Текстовые форматы

JSON (JavaScript Object Notation) и XML (Extensible Markup Language) — два разных текстовых формата для сериализации и обмена данными. Вот ключевые различия между ними:

• Синтаксис:JSON использует более легкий и компактный синтаксис для представления данных — в виде пар «ключ:значение». Структура данных обычно более краткая и простая.XML использует размеченный синтаксис с использованием открывающих и закрывающих тегов, что делает его более развернутым и многословным.
• JSON использует более легкий и компактный синтаксис для представления данных — в виде пар «ключ:значение». Структура данных обычно более краткая и простая.
• XML использует размеченный синтаксис с использованием открывающих и закрывающих тегов, что делает его более развернутым и многословным.
• Удобочитаемость:JSON-документы человек может легко читать и понимать благодаря простому синтаксису.XML также человекочитаем, но его сложнее интерпретировать из-за многочисленных тегов и атрибутов.
• JSON-документы человек может легко читать и понимать благодаря простому синтаксису.
• XML также человекочитаем, но его сложнее интерпретировать из-за многочисленных тегов и атрибутов.
• Размер данных:JSON-документы обычно имеют меньший размер по сравнению с XML благодаря компактному синтаксису.XML-документы обычно более объемные и занимают больше места.
• JSON-документы обычно имеют меньший размер по сравнению с XML благодаря компактному синтаксису.
• XML-документы обычно более объемные и занимают больше места.
• Поддержка данных:JSON поддерживает ограниченное количество данных-типов, включая строки, числа, булевы значения, массивы и объекты.XML позволяет создавать собственные структуры данных с использованием DTD или XSD и может представлять более сложные структуры.
• JSON поддерживает ограниченное количество данных-типов, включая строки, числа, булевы значения, массивы и объекты.
• XML позволяет создавать собственные структуры данных с использованием DTD или XSD и может представлять более сложные структуры.
• Валидация:JSON обычно не имеет встроенной системы валидации, поэтому она может потребовать дополнительных инструментов.XML поддерживает валидацию данных с использованием DTD или XSD.
• JSON обычно не имеет встроенной системы валидации, поэтому она может потребовать дополнительных инструментов.
• XML поддерживает валидацию данных с использованием DTD или XSD.

Бенчмарки: сравниваем форматы сериализации между собой

Для этой статьи мы выбрали самые известные форматы: Avro, Protobuf, Msgpack, XML, CBOR и несколько известных библиотек для работы с JSON

Тестирование проводилось на ПК с такими характеристиками: Apple M1 Pro 3.2 GHz 10 cores (8 performance and 2 efficiency), 32 GB LPDDR5, APPLE SSD AP0512R.

Всего проводились замеры данных трех разных объемов:

• 1 строка
• 100 строк
• 100 000 строк

Использовались только целочисленные, только строковые и смешанные (строки+числа) данные. Все поля nullable с разной степенью заполненности. Размер сериализованных данных измерялся только для 100 000 строк, поскольку на 1 или 100 строках результат мог бы получиться недостаточно репрезентативным.

Ниже на отдельных диаграммах показаны время сериализации и десериализации и объем полученных данных для каждого формата.

Исходники можно увидеть здесь.

1 строка

Целые числа

Строковые данные

Смешанные данные

100 строк

Целые числа

Строковые данные

Смешанные данные

100 000 строк

Целые числа

Строковые данные

Смешанные данные

Плюсы и минусы каждого формата

Помните, что результаты могут отличаться на вашем устройстве от тех, что я привел в статье. Если говорить о преимуществах и недостатках каждого формата, вот, что я бы выделил:

Json

+ в golang довольно шустро работает по сравнению с бинарными форматами сериализации, особенно это заметно на больших объемах текстовых данных;

+ человекочитаемый формат данных;

- поддержка эволюции схемы данных ложится на разработчика, поскольку для этого формата сериализации схема отсутствует;

- система типов не поддерживает из коробки decimal, datetime, enum и прочие полезные типы, имеющиеся в других форматах сериализации (например, enum в protobuf);

- размер сериализованных данных значительно больше, чем в любом бинарном формате;

XML

+ человекочитаемый формат;

+ XSD (xml schema) позволяет парсеру не только проверить правильность синтаксиса документа, но также и его структуру, типы данных и модель содержания;

- поддержка эволюции схемы данных ложится на разработчика, поскольку для этого формата сериализации схема отсутствует;

- xml использует явные открывающие и закрывающие теги, а так же атрибуты, что добавляет дополнительные символы, в связи с этим сообщения получаются довольно многословными (исторические причины, по которым xml выглядит именно так, кратко описаны здесь);

- из-за дополнительных тегов и атрибутов также увеличивается время, требуемое на сериализацию и десериализацию, и значительно вырастает размер сериализованных данных;

Cbor

+ быстрая (де)сериализация и маленький объем сериализованных данных в сравнении с текстовыми форматами сериализации;

- поддержка эволюции схемы данных ложится на разработчика, поскольку для этого формата сериализации схема отсутствует;

- не человекочитаемый формат;

Msgpack

+ быстрая (де)сериализация и маленький объем сериализованных данных в сравнении с текстовыми форматами сериализации;

- поддержка эволюции схемы данных ложится на разработчика, поскольку для этого формата сериализации схема отсутствует;

- не человекочитаемый формат;

Avro

+ есть поддержка как бинарного, так и в текстового форматов, что может быть полезно, например при работе в тестовой среде;

+ схема данных описывается в json-формате, за счет полей в схеме достигается backward и forward compatibility;

- avro во время сериализации проводит анализ схемы, чтобы впоследствии определить каким образом обрабатывать то или иное поле, это оказывает негативный эффект на время сериализации;

Protobuf

+ быстрая (де)сериализация и маленький объем сериализованных данных в сравнении с текстовыми форматами сериализации;

+ схема данных описывается в .proto файлах, на основе которых генерируются объекты в необходимом вам языке. С помощью описанных в схеме полей достигается backward и forward compatibility (с oneof есть нюансы);

- не человекочитаемый формат;

Выбор формата сериализации зависит от конкретных требований проекта. Например, если важна человекочитаемость данных и легкая отладка, то JSON может быть предпочтителен благодаря своей простоте и широкой поддержке во многих языках программирования.

С другой стороны, если производительность играет решающую роль и необходимо передавать большие объемы данных, то бинарные форматы, такие как Protobuf или MessagePack, могут быть более эффективными. Но важно помнить, что каждый случай — частный и выбор формата сериализации зависит от конкретных потребностей проекта, учитывая требования к производительности, размеру данных, удобству отладки и поддержке в используемых технологиях.

Предыдущая статья: Повышение качества данных с использованием Zero Bug Policy

Опытные программисты говорят, что генераторы — это способ избавить оперативную память от избыточного потока информации и тем самым сэкономить ресурсы. Это сугубо прикладное решение, которое помогает разработчикам делать больше, тратя при этом меньше программных средств. Однако важно правильно пользоваться генераторами и знать о возможностях их практического применения.

Узнаем, что собой представляет генерация данных в Python, как используется этот инструмент и какие библиотеки применяются для работы с генераторами.

Основные области применения генерации данных

В языке Python генераторы — это специальные функции, предназначенные для создания итераторов, то есть объектов, которые используются для перебора некоторых последовательностей значений. В отличие от стандартных функций, генераторы могут «приостанавливать» работу с сохранением текущего состояния и при следующем вызове продолжать выполнение команды с того же места.

Такая функция нужна, чтобы обрабатывать огромные объемы информации, при этом не загружая все данные в память. Генераторы существенно экономят ресурсы компьютера и делают работу с данными более эффективной и быстрой.

Ключевое отличие генераторов от стандартных итерируемых объектов в использовании команды yield вместо return. Таким образом, функция с yield автоматически становится генератором. Когда разработчик вызывает такую функцию, она выполняется не в полном объеме, а возвращает объект каждый раз по мере новой генерации данных.

Понять работу генераторов проще на примерах. Если у вас есть файл, который весит десятки гигабайт, и в нем нужно найти и обработать строки, подходящие под определенное условие, или сравнить с данными другого большого файла, то генератор будет наиболее эффективным способом выполнить задачу.

Или другой пример. Нужно проанализировать почти бесконечный поток данных (показания счетчиков, котировки на бирже, сетевой трафик), рассчитать наступление вероятности конкретного события и вычислить математическую последовательность. Загрузить в компьютер такой объем данных нереально — для них просто не хватит оперативной памяти, а иногда и жесткого диска. Наиболее целесообразное решение в такой ситуации — обрабатывать данные частями, чтобы не перегружать процессор. Как раз для этого используются генераторы Python.

Где применяется генерация данных

• Тестирование программного обеспечения. Сложные программные продукты нуждаются в проверке перед запуском. Генерация тестовых данных используется для проверки функциональности программ.
• Машинное обучение. С помощью генерации синтетических данных выполняется обучение моделей и нейросетей.
• Анализ и визуализация данных. Посредством генераторов Python в ускоренном режиме подготавливаются данные для презентаций и демонстраций.
• Прототипирование. Генерация данных Python используется для первичной отладки макетов и черновых версих программных продуктов.

Генераторы — это инструменты, которые позволяют функциям возвращать последовательность полученных результатов вместо единственного значения. Такой способ идеален для создания итераторов.

Основные плюсы генераторов

• Существенная экономия памяти. Данные загружаются по мере необходимости, а не сплошным потоком, что позволяет без излишних затрат времени и оперативных ресурсов обрабатывать значительные объемы информации.
• Ленивая загрузка. Инструменты поддерживают ленивую загрузку, то есть генерируют значения исключительно при запросе, что на порядок ускоряет выполнение программ.
• Удобство. С помощью генераторов создают последовательности данных, используя минимальное количество строк кода, что делает их максимально удобными для практического применения.
• Управление потоком. Благодаря генераторам достигается максимальный контроль при исполнении программы, при этом сохраняется состояние функции, а управление передается коду. При следующем вызове программа исполняется с места, на котором она была приостановлена.

Для понимания работы генераторов важно усвоить концепцию ленивой загрузки. Она означает, что значения вычисляются и генерируются исключительно в тот момент, когда они нужны, а не загружаются предварительно целиком. Эта опция актуальна при работе с большими данными — она оптимизирует ресурсы и ускоряет процесс вычислений.

Вот один из примеров ленивой загрузки:

Здесь значения в диапазоне от 0 до 4 вычисляются и выводятся на экран в порядке очереди, но при этом в памяти компьютера не сохраняются. Значение генерируется только в момент запроса, а не автоматически. Такой алгоритм позволяет работать с огромными объемами данных, которые не загружаются целиком в память устройства.

Ленивые вычисления особенно ценны при работе с потенциально бесконечными последовательностями — числами Фибоначчи, потоками данных и другими. Если бы генераторов данных в Python не было, такие программы могли бы просто исчерпать память, после чего выполнение задачи было бы невозможно.

Библиотеки Python для генерации данных

Использование специальных библиотек, то есть файлов с готовыми шаблонами кода, существенно упрощает работу программистов. Такие пакеты создают, чтобы разработчики не набирали каждый раз заново с нуля одинаковый код. Достаточно выбрать нужный файл из конкретной библиотеки, открыть его, ввести свои значения и почти мгновенно получить результат.

Рассмотрим самые популярные библиотеки Python для генерации данных.

Faker

Библиотека используется для генерации фейковых текстовых данных с различной локализацией. Подходит для множества ситуаций — тестирования написанного года, заполнения баз данных, в том числе обширных, анонимизации данных.

Библиотеку Faker используют, когда требуется проверить функциональность приложения. Если это софт для работы с обширными базами данных пользователей, его нужно протестировать на практике. Но вводить реальную информацию в программу некорректно и небезопасно.

Поэтому разработчики пользуются «Фейкером». Эта библиотека генерирует в нужном количестве данные несуществующих пользователей — их имена и фамилии, даты рождения, номера телефонов, адреса и другую информацию. Синтетические данные создаются случайным образом каждый раз, когда пользователь запускает атрибут.

Faker поддерживается на Python в версии 3.7 и выше. Список данных, которые может сгенерировать программа, довольно велик, при этом каждый пункт имеет подпункты для дополнительных настроек. То есть фейковая информация, создаваемая этим инструментом, будет довольно детальная.

NumPy и SciPy

Это библиотеки для генерации числовой и статистической информации.

NumPy

Незаменимый инструмент для работы с числовыми значениями и сложной математикой, а также с векторами и матрицами. В библиотеке содержатся готовые способы применения различных математических операций — от расчета детерминанта и сингулярного разложения до решения квадратных уравнений. Значительно упрощает работу с многомерными массивами — в этом формате передаются данные для моделей в методах глубокого машинного обучения. По этой причине NumPy входит в базовый пул библиотек для работы с нейросетями.

SciPy

Библиотека основана на NumPy и существенно расширяет ее функционал. Здесь используется линейная алгебра и методы работы с распределением вероятностей, интегральными исчислениями, преобразованиями Фурье. SciPy предназначена для сложных математических вычислений, в ней огромное количество функций, которые используются для научного анализа. Библиотека расширяет функции NumPy и использует методы продвинутой математики.

В пакете программ есть функции для построения графиков и оперативной обработки изображений. При этом используются сложные и трудоемкие операции, которые довольно просто описываются в виде кода. SciPy можно использовать для обработки различных сигналов, в том числе фото и видео.

Pandas

Библиотека для обработки и анализирования структурированных баз данных, в том числе результатов исследований и вычислений, представленных в виде таблиц. Исходный код Pandas в открытом доступе есть на GitHub — пользователи могут самостоятельно дополнять способы обработки и делать обновления.

Pandas — эффективный инструмент для дата-сайентистов и аналитиков данных. С этой библиотекой специалисты могут группировать, обрабатывать, визуализировать массивы данных, создавать таблицы, распределять информацию по определенным признакам.

Библиотека успешно используется для маркетинговой, продуктовой, математической аналитики. Основное преимущество инструмента — возможность обработки больших данных для их дальнейшего использования в машинном обучении. «Пандас» поддерживает базовые статистические методики, используемые для работы с данными.

Scikit-Learn

Библиотека базируется на NumPy и SciPy, содержит алгоритмы для аналитической работы с информацией — кластеризации, распределения по классам, регрессии и других операций. Scikit-Learn используется также для машинного обучения.

По мнению экспертного сообщества, Scikit входит в число лучших библиотек для обработки огромных массивов данных. Ее используют такие сервисы, как Spotify, Evernote и другие. Генерация данных лежит в основе алгоритмов, с которыми работает этот пакет.

Область применения библиотеки:

• Рекомендательные системы. Сюда относится реклама, основанная на интересах пользователя, сервисы с музыкой, кино, книгами, которые предлагают наименования специально для конкретного посетителя.
• Распознавание текста и изображений. Система переводит в цифру текстовый формат и картинки.
• Прогнозирование. Алгоритмы предсказывают действия пользователей, финансовые колебания на бирже и другие события на основе существующих данных.
• Обработка результатов. Библиотека используется для анализа результатов научных, медицинских и прочих исследований.

Машинное обучение — это обширная отрасль с широкими перспективами. Scikit-Learn используется для тестирования моделей и совершенствования различных программных продуктов.

Mimesis

Высокопроизводительный генератор, альтернатива Faker. Обладает теми же базовыми функциями, но имеет дополнительный расширенный функционал. Библиотека используется для загрузки реалистичных фейковых данных в средах тестирования и разработки.

Примеры использования для различных задач

Генератор представляет собой объект, который не вычисляет значение сразу всех загруженных элементов, а действует последовательно. В его памяти хранится только последний элемент, при этом переход к следующему происходит только при выполнении метода next(). Предыдущее значение утрачивается.

Рассмотрим несколько конкретных примеров применения генерации данных на Python.

Faker

Начнем с библиотеки Faker. Она используется для тестирования кода, генерирования данных для тестирования программных продуктов, анонимизации.

Пример кода на Python выглядит следующим образом:

Пользователь импортирует библиотеку, объявляет генератор фейковых данных и помещает в переменную fake. Этот генератор создается с поддержкой русского языка, что указывается с помощью команды "ru_RU". На последней строчке появляется случайное ФИО.

NumPy

С помощью библиотеки NumPy можно задать генерацию случайных чисел. Делается это через модуль numpy.random. Код будет выглядеть следующим образом:

Такой код создает массивы из случайных данных.

Scikit-learn

Библиотека Scikit-learn генерирует достаточный объем данных для тестирования различных моделей с целью их обучения.

Например, функция sklearn.datasets.load_moscow () содержит условные данные о ценах на недвижимость в Москве. Матрица содержит 506 наблюдений и 13 столбцов.

Такой набор используется для многовариантной регрессии.

Советы по эффективному применению генерации данных

Генераторы в Питоне — не просто теоретические конструкции, но действенный инструмент для практического использования в реальных сценариях.

Функции и библиотеки для генерации используют для обработки огромных массивов информации. Например, если необходимо проверить объемный файл в формате CSV, можно применить генератор для его построчного чтения и последующей обработки. При этом загрузка файла в память не понадобится.

Применение генераторов будет полезно для видео-скрапинга — извлечения данных из веб-страниц и их анализа. Инструмент будет извлекать HTML-страницы поочередно, отбирая необходимые данные и отбрасывая ненужные. Такой способ позволяет работать с большими ресурсами без сбоев в системе, зависаний и остановок.

Генераторы незаменимы в сетевом программировании, например, когда требуется принять или отправить огромный поток данных. При взаимодействии с протоколами HTTP и другими можно запустить генератор, который будет получать данные из сети порционно и поэтапно с ними работать. Таким способом можно обойтись без буферизации памяти.

Актуально использование генераторов в разработке игры. С их помощью разрабатывается процедурный контент — например, ландшафты игрового мира, уровни или встречи с препятствиями. Генерируя контент в динамическом режиме по мере надобности, инструменты создают условно бесконечные либо случайные игровые элементы, тем самым обеспечивая полноценный геймплей.

Опытные разработчики советуют тщательно тестировать и отлаживать генераторы. Эти функции могут быть сложными для понимания в сравнении с обычным, поэтому важно уделять максимум вниманию проверке корректной работы инструментов. Рекомендуется применять тесты для проверки работы генераторов и понимания особенностей потока данных. Это поможет исправить возникающие проблемы.

Коротко про Python

Python — это язык программирования, известный своей простотой и читаемостью кода. Он популярен благодаря мощным библиотекам (Pandas, NumPy и Matplotlib), которые помогают эффективно обрабатывать данные, выполнять сложные вычисления и визуализировать результаты. Ещё Python используется для машинного обучения — с помощью библиотек Scikit-learn и TensorFlow.

Коротко про SQL

SQL— стандартный язык управления базами данных. Он используется для извлечения данных из баз данных по типу MySQL, PostgreSQL или SQLite. Знание SQL необходимо для работы с большими объёмами уже структурированных данных — от простых до сложных запросов.

Как эти инструменты дополняют друг друга

Python и SQL часто используются совместно в анализе данных. SQL применяется на начальном этапе работы для извлечения нужных датасетов из баз данных. Так специалисты получают доступ к необходимым данным без необходимости выгрузки больших массивов информации вручную.

Как только данные извлечены с помощью SQL, на помощь приходит Python. С его помощью можно легко преобразовать «сырые» данные в удобный формат для более глубокого анализа. Библиотеки помогают буквально очистить данные от шумов и пропущенных значений, проводить детальный анализ с использованием статистических методов или алгоритмов ML.

Почему Python стал стандартом для анализа данных

• Простота и хорошая читаемость. Python интуитивно понятен и лёгок в освоении, потому подходит для начинающих аналитиков данных.
• Самые разные библиотеки. NumPy, Pandas и Matplotlib позволяют проводить сложные вычисления и визуализацию данных практически без усилий.
• Сообщество и поддержка. Большое сообщество разработчиков поддерживает и развивает язык. А значит, существует много ресурсов для обучения, форумов поддержки и готовых решений для рядовых задач анализа данных.
• Универсальность. Python используется не только для анализа данных, но и в веб-разработке, научных исследованиях, ML и многом другом. Потому этот язык — универсальный инструмент для решения самых разных задач.

NumPy — библиотека для работы с многомерными массивами чисел, матрицами и выполнения высокоуровневых математических функций. Основной объект NumPy — это массив (numpy array). Библиотека позволяет выполнять операции над массивами целиком без использования циклов for, а это ускоряет работу.

Pandas даёт возможность работать с высокоуровневыми структурами (Series и DataFrame) для удобного хранения и работы. DataFrame — двумерная таблица с метками строк и столбцов, похожая на таблицы SQL или Excel. В Pandas легко фильтровать данные и группировать их по выбранным критериям.

Matplotlib — это основная библиотека для создания статических визуализаций. В библиотеке можно работать над визуализацией данных от простых линейных графиков до сложных диаграмм. Matplotlib легко интегрировать с другими инструментами Python (та же Pandas), а значит, можно создавать графики на основе уже обработанных данных.

SQL в управлении и извлечении данных из баз

Одной из ключевых фишек SQL является возможность извлечения нужных наборов данных на основании заданных критериев — особенно важно для аналитиков, которым нужно «вытащить» информацию из больших массивов данных. А ещё с помощью SQL можно проводить агрегации, сортировки и фильтрации. Так легко подготовить данные для дальнейшего анализа и/или визуализации.

В SQL много команд для работы с данными:

• SELECT используется для выборки данных из одной или нескольких таблиц с указанием конкретных столбцов и условий;
• WHERE для указания условий фильтрации записей в тандеме с SELECT. С помощью WHERE можно ограничивать результаты запроса только теми данными, которые соответствуют заданным критериям.
• JOIN используется для объединения строк из двух или более таблиц на основе логической связи. С помощью JOIN можно комбинировать данные из разных источников в одном запросе;
• GROUP BY применяется для группировки строк по указанным столбцам. Поможет при подсчёте среднего значения или суммы;
• ORDER BY помогает сортировать результаты запроса по одному или нескольким столбцам как в возрастающем (ASC), так и убывающем (DESC) порядке.

Что изучать первым?

Оба языка имеют свои особенности и применяются для самых разных задач в работе с данными. В первую очередь нужно понять, какой из языков изучать первым. И это зависит от ваших задач и целей.

При выборе между Python и SQL стоит учитывать:

• Цели. Если ваша цель — научиться строить модели для ML или проводить глубокий анализ данных с визуализацией, лучше начать именно с Python. Если же ваша цель — извлечение и обработка больших объёмов данных из баз данных, разумнее будет начать с SQL.
• Структуру данных. Если вы планируете работать преимущественно таблицами, то на первых порах лучше уйти в освоение SQL.
• Глубину анализа. Для более сложных аналитических задач, требующих написания алгоритмов или автоматизации процессов обработки данных, подойдёт Python благодаря большому количество библиотек, доступных для работы.

Если вы решили начать с Python:

1. Изучите основы языка — переменные, условные операторы, циклы и функции;
2. Узнайте больше о ключевых библиотеках для анализа данных — Pandas (для работы с таблицами), NumPy (для числовых операций) и Matplotlib (для визуализации);
3. Пробуйте реализовать простые проекты и задачи по анализу реальных данных для закрепления теории: это могут быть и простые задачи по анализу продаж, и проекты по аналитике данных покупателей. Главное здесь — это пробовать и закреплять теорию на практике!

Если вы решили начать с SQL:

1. Освойте основные команды SELECT, INSERT, UPDATE и DELETE;
2. Научитесь использовать WHERE для фильтрации результатов запросов и ORDER BY для их сортировки;
3. Изучите функции COUNT(), SUM(), AVG() и другие функции для создания сводки информации;
4. Изучите основы JOIN-операций для объединения нескольких таблиц на основе общих полей.

Python + SQL

Совместное использование Python и SQL — по-настоящему сильный инструмент для аналитики, который позволяет объединить возможности программирования и работы с базами данных.

SQL идеально подходит для извлечения данных из таблиц, а Python хорош своей гибкостью в обработке и анализе полученных с помощью SQL данных. Ещё Python используют для написания скриптов, которые выполняют SQL-запросы к базе данных. Так можно легко автоматизировать процесс извлечения данных и дальнейшей обработки их в Python.

Используйте библиотеку Pandas для взаимодействия с базами данных через системы по типу SQLAlchemy и другими ORM. SQLAlchemy — популярная библиотека, которая даёт пользователям набор высокоуровневых интерфейсов для работы с базами данных в Python. Она поддерживает разные системы управления баз данными и помогает взаимодействовать с ними более эффективно.

Разбор кейса использования Python и SQL для решения реальной задачи аналитики

Дано: компания занимается e-commerce и стремится улучшить свою маркетинговую стратегию на основе анализа покупательских данных. Цель: определение сегментов пользователей, которые приносят наибольший доход, и выявление факторов, влияющих на их поведение.

Шаг 1 — сбор данных

Здесь используем SQL для извлечения данных из базы компании. Например, таблицы с информацией о клиентах и их транзакциях могут выглядеть так:

Здесь мы объединяем таблицы customers и transactions, получая полную информацию о каждой покупке.

Шаг 2 — анализ данных

После извлечения данных с помощью SQL, используем Python для их анализа. Здесь пригодятся библиотеки Pandas и Matplotlib для обработки и визуализации информации:

Загрузка данных из SQL-запроса в DataFrame Pandas:

Группировка по пользователям и расчёт общего дохода:

Визуализация распределения дохода по пользователям:

Здесь мы видим распределение доходов по пользователям и определяем ключевые сегменты клиентов.

Шаг 3 — прогнозирование и стратегия

Используя библиотеки Python для машинного обучения (например, Scikit-learn), можно создать модель прогнозирования вероятности дополнительных покупок или ухода клиента:

Подготовка данных для модели — признаки и целевая переменная:

Разделение на обучающую и тестовую выборки:

Обучение модели классификации:

Оценка точности модели на тестовых данных:

Так мы можем определить вероятных «ушедших» клиентов, равно как и тех, кто может совершить повторную покупку.

Ресурсы для обучения

Сейчас на рынке онлайн-обучения доступно великое множество онлайн-курсов, книг и других материалов, способных помочь как начинающим, так и опытным специалистам.

Онлайн-курсы:

1. Coursera — например, курс «Python for Everybody» от университета Мичигана поможет изучить основы программирования на Python с акцентом на работу с данными;
2. В edX можно найти курсы по SQL от университетов Гарвард или MIT. Курс «Introduction to SQL» поможет освоить базовые принципы работы с базами данных;
3. DataCamp специализируется на обучении работе с данными и предлагает интерактивные курсы по Python и SQL.

Книги:

1. «Python для анализа данных» Уэса МакКинни подходит для тех, кто хочет освоить Python именно в контексте анализа данных;
2. 9-ое издание «SQL для чайников» Аллена Тейлора — простое введение в мир SQL поможет новичкам быстро понять основы работы с базами данных;
3. «Изучаем Python» Марка Лутца — одно из самых популярных пособий для начинающих.

Ещё материалы:

1. YouTube-каналы. Например, на канале Corey Schafer есть много полезных и практических видео по Python;
2. Stack Overflow — хорошая площадка для поиска ответов на специфические вопросы по программированию;
3. Изучение официальной документации к языкам и библиотекам (например, юзер гайд по Pandas или алфавитный список вопрос по SQLite) поможет расширить знания.

В заключение

В современном мире аналитики данных владение и Python, и SQL одинаково важны и нужны для обработки и визуализации информации. Python поможет проанализировать большие объёмы неструктурированных данных с помощью библиотек по типу Pandas и NumPy, а SQL поможет извлечь информацию из таблиц.

Работая одновременно с Python и SQL, можно не только эффективно обрабатывать данные из разных источников, но и извлекать из них полезные выводы для принятия решений на основе сухих фактов: сколько заказов было сделано, сколько отменено, как ведут себя пользователи.

Начав изучение с одного языка и постепенно переходя к другому, вы только укрепите свои позиции как аналитик данных и сможете лучше и эффективнее работать.

Данную статью я условно разделю на 3 части: общая теория по рекомендательным системам, работа с данными, для которых будем строить систему и реализация системы.

Теория (самый страшный зверь)

Рекомендательная система — это система, которая пытается предсказать или отфильтровать предпочтения в соответствии с выбором пользователя. Рекомендательные системы используются в различных областях, включая фильмы, музыку, новости, книги, исследовательские статьи, поисковые запросы, социальные теги и продукты в целом.

Метрика

Чаще всего для оценки расстояния используют косинусное сходство (Cosine Similarity).

Представление данных в форме вектора имеет ещё одно полезное свойство. Мы можем измерить близость двух векторов или угол между ними. Чем угол меньше, тем они ближе.

TF-IDF

– применяется для анализа значимости слова в документе, который является частью большой коллекции документов либо корпуса. С помощью этой статической меры можем составить вектор, с которыми работают рекомендательные системы.

TF — это частота слова в тексте – количество раз, когда слово появляется в документе, деленное на общее количество слов в документе (каждый документ имеет свою частоту терминов). Обратная частота данных IDF — это логарифм обратной частоты распространенности слова в корпусе. Распространенностью называется отношение числа текстов, в которых встретилось искомое слово, к общему числу текстов в корпусе.

Обратная частота данных определяет вес редких слов во всех документах корпуса.

Scikit-Learn предоставляет преобразователь под названием TfidfVectorizer в модуле feature_extraction.text для векторизации с оценками TF-IDF.

Проблемы

• Холодный запуск

Эта проблема возникает, когда в систему добавляются новые пользователи или новые элементы, новый элемент не может быть рекомендован пользователям изначально, когда он вводится в систему рекомендаций без какой-либо оценки или обзоров, и, следовательно, трудно предсказать выбор или интерес пользователя.

• Разреженность

Это происходит много раз, когда большинство пользователей не дают оценок или отзывов о товарах, которые они приобрели, и, следовательно, модель оценки становится очень разреженной, что может привести к проблемам разреженности данных, это уменьшает возможности найти набор пользователей с похожими оценками или интерес.

• Конфиденциальность

Как правило, человеку необходимо передать свою личную информацию в систему рекомендаций для получения более полезных услуг, но это вызывает проблемы с конфиденциальностью и безопасностью данных, многие пользователи не решаются передавать свои личные данные в системы рекомендаций. которые страдают от проблем с конфиденциальностью данных.

Типы рекомендательных систем

Popularity-based

Наиболее простая система выдает рекомендации на основе популярности (popularity-based recommender systems). Чем выше средний рейтинг фильма, купленного товара или статьи, тем вероятнее, что система будет рекомендовать именно их.

Сontent-based filtering

Вторым типом рекомендательных систем является, так называемая, фильтрация на основе содержания (content-based filtering). В данном случае алгоритм рекомендует товары или услуги, схожие с теми, которые пользователь приобретал ранее. Например, если вы посмотрели фильм «Матрица» с Киану Ривзом, то в дальнейшем система будет рекомендовать вам научную фантастику, а также другие фильмы с участием этого актера.

Collaborative filtering

Третий тип — коллаборативная система (collaborative filtering). Она основывается на сопоставлении пользователей и товаров (или услуг, новостей и т.д.). Математически и графически в данном случае мы работаем с матрицами предпочтений (user-item matrix).

Основная предпосылка таких систем заключается в том, что предыдущих данных пользователей должно быть достаточно для создания прогноза. То есть нам не нужно ничего, кроме исторических данных, пользовательского ввода, текущих трендовых данных и так далее. Он считается одной из очень умных рекомендательных систем, которые работают на сходстве между разными пользователями, а также на товары, которые широко используются в качестве веб-сайтов электронной коммерции, а также веб-сайтов онлайн-фильмов. Он проверяет вкус похожих пользователей и дает рекомендации.

Сходство не ограничивается вкусом пользователя, более того, может учитываться сходство между различными предметами. Система будет давать более эффективные рекомендации, если у нас будет большой объем информации о пользователях и товарах.

Что такое User-item matrix?

Матрица полезности показывает предпочтения пользователя в отношении определенных элементов. В данных, полученных от пользователя, мы должны найти некоторую связь между элементами, которые нравятся пользователю, и теми, которые ему не нравятся, для этого мы используем матрицу полезности. В нем мы присваиваем определенное значение каждой паре пользователь-элемент, это значение известно как степень предпочтения. Затем мы рисуем матрицу пользователя с соответствующими элементами, чтобы определить его отношения предпочтений.

В совместной фильтрации используются два подхода:

а) Совместная фильтрация ближайших соседей на основе пользователей (user-based)

Коллаборативные системы, основанные на пользователях (user-based), находят близких по предпочтениям пользователей и рекомендуют одному из них то, что уже попробовал другой.

User Profile:

В профиле пользователя мы создаем векторы, описывающие предпочтения пользователя. При создании профиля пользователя мы используем матрицу полезности, которая описывает отношения между пользователем и элементом. С помощью этой информации лучшая оценка, которую мы можем сделать относительно того, какой элемент нравится пользователю, — это некоторая агрегация профилей этих элементов.

b) Совместная фильтрация ближайших соседей на основе элементов (item-based)

Системы, основанные на предмете рекомендации (item-based), сравнивают непосредственно близость товаров или услуг. Причем что отличает эту систему, сходство определяется на основе предпочтений всех пользователей, которые оставили свои оценки.

Item Profile:

В Content-Based Recommender мы должны создать профиль для каждого элемента, который будет представлять важные характеристики этого элемента.

Например, если мы делаем фильм как объект, то его актеры, режиссер, год выпуска и жанр являются наиболее значимыми характеристиками фильма. Мы также можем добавить его рейтинг из IMDB (база данных фильмов в Интернете) в профиле товара.

На этом мы закончим с ознакомлением с системами и перейдем к самому интересному — коду.

Немного о данных

Датасет я создала свой собственный, содержащий в себе данные об аниме (японской анимации) с сайта MyAnimeList(MAL). Очевидно, ниже приведенный код может быть использован для других наборов данных.

Проведем небольшой анализ данных, чтобы иметь общее представление с чем же все таки работаем.

Посмотрим, какие жанры и теги чаще всего встречаются.

Самые популярные жанры – школа, научная фантастика, экшен, комедия и романтика. Самый популярный тег – суперсилы.

Чаще всего высокие оценки у сененов (аниме, рассчитанные на юношей до 18-ти лет), но в целом результаты почти одинаковые.

Высокие оценки имеют аниме с рейтингами R-17 и PG-13, то есть большинство аниме рассчитано на подростков от 13 до 17 лет.

Аниме для детей имеют возрастной рейтинг для всех или для детей (до 13). Сёдзе (произведение для девушек до 18 лет) чаще всего имеет рейтинг для детей. Чем выше возрастное ограничение, тем увеличивается процент содержания сененов и сейненов (произведение для юношей до 18 и старше соответственно)

Выделим релевантные параметры для рекомендаций.

Рекомендательная система (Content Based)

Для меры сходства (Cosine similarity) выберем linear kernel (ядра являются мерами сходства, т.е. s(a, b) > s(a, c), если объекты a и b считаются “более похожими”, чем объекты a и c), так как это быстрее.

Теперь у нас есть матрица парного косинусного сходства (cosine similarity) для всех фильмов в нашем наборе данных. Следующим шагом будет написание функции, которая возвращает 30 наиболее похожих фильмов на основе оценки косинусного сходства.

Наконец, проверим, как работает наша модель

Теперь сравним полученный список рекомендаций с рекомендациями на популярных сайтах (на примере аниме “Vinland Saga”)

Самый популярный сайт на западе (MAL): Shingeki no Kyojin, Dororo, Kenpuu Denki Berserk, 91 Days, Golden Kamuy, Kingdom, Arslan Senki, Shingeki no Kyojin: The Final Season, Mushoku Tensei, Youjo Senki… – совпадает более чем на 70% с полученными результатами. Некоторые произведения не вошли, так как у них не были заполнены некоторые параметры или они вышли раньше 2000-х. Сайт, где рекомендации основываются полностью на отзывах пользователей (AnimePlanet): Shingeki no Kyojin, Berserk, Dororo, One Piece, Arslan Senki, Shoukoku no Altair, Akatsuki no Yona, Shingeki no Kyojin 3, Jormungand, Kingdom, Shigurui, Golden Kamuy 2, 91 Days, Kiseijuu… – похожие результаты как и выше. Можно сделать вывод, что система рекомендаций довольно хорошо работает – она показывает результаты, наиболее похожие на введенное аниме.

Одна из особенностей построенной системы рекомендаций заключается в том, что она рекомендует фильмы независимо от рейтингов и популярности.

Поэтому добавим механизм, где также учитывается рейтинг рекомендуемых произведений. То есть будем советовать не только наиболее похожие по тегам и жанрам, но и по популярности.

По сути объединили две системы, основанные на контенте: одна принимала на вход демографический параметр и возрастный рейтинг, а другая – метаданные, такие как студия, жанр и темы для составления прогнозов. А также разработали простой фильтр, чтобы отдать предпочтение фильмам с высоким рейтингом.

Источники

Посмотреть полную реализацию кода:

В этой статье мы рассмотрим преимущества курса от MDS, который поможет вам освоить профессию аналитика данных. Мы расскажем, какие инструменты и задачи выполняет аналитик. А также о том, как пройти курс и научиться эффективно обращаться с данными.

Кто такой аналитик данных

Аналитик данных — это специалист, который помогает компаниям понять, что происходит с их данными и как они могут быть использованы для принятия решений. Он собирает информацию, анализирует ее и представляет результаты в виде отчетов, графиков или таблиц.

Главная цель — помочь компаниям понять, что происходит с их данными и как они могут быть использованы для улучшения бизнес-процессов или продуктов.

Какие задачи выполняет аналитик данных

• Сбор информации из различных источников: таких как базы данных, отчеты, опросы и другие. Примеры источников данных, которые могут быть использованы, включают продажи, маркетинговые исследования, финансовые отчеты, данные о клиентах и другие.
• Очистка данных: после сбора данных аналитик проверяет их на наличие ошибок или пропусков, а также удаляет ненужную информацию. Например, если в данных есть дубликаты или неправильные значения, аналитик должен их удалить или исправить.
• Анализ данных: пользуется разными методами и инструментами для изучения данных и выявления трендов, закономерностей и других интересных фактов. Например, он может использовать статистические методы, такие как корреляционный анализ, регрессионный анализ и т. д.
• Интерпретация результатов: после анализа данных аналитик представляет результаты в виде отчетов, графиков или таблиц, которые помогают понять, что происходит с данными и как они могут быть использованы для принятия решений. Например, он может показать, какие продукты или услуги наиболее популярны среди клиентов или какие маркетинговые кампании приводят к наибольшему количеству продаж.
• Рекомендации: на основе полученных результатов аналитик может давать рекомендации по улучшению бизнес-процессов или продуктов компании. Например, он может рекомендовать изменить стратегию маркетинга или улучшить качество продукта на основе данных о клиентах.

Какими инструментами должен владеть аналитик данных

Вот некоторые из них:

• Программное обеспечение для работы с данными: Excel, SQL, Python, R и другие.
• Инструменты для визуализации данных: Tableau, Power BI, QlikView и другие.
• Статистические пакеты: SPSS, SAS, R и другие.
• Инструменты для анализа текста: NLP (Natural Language Processing), Text Analytics и другие.
• Инструменты для анализа социальных медиа: Hootsuite, Sprout Social, Meltwater и другие.
• Инструменты для анализа веб-трафика: Google Analytics, Adobe Analytics, Mixpanel и другие.
• Инструменты для анализа баз данных: MongoDB, Cassandra, Hadoop и другие.
• Инструменты для анализа временных рядов: Prophet, ARIMA, Holt-Winters и другие.
• Инструменты для анализа геопространственных данных: ArcGIS, QGIS, Google Earth Engine и другие.
• Инструменты для анализа социальных сетей: Facebook Insights, Twitter Analytics, Instagram Insights и другие.

Примеры успешных проектов и достижений аналитиков данных

Вот несколько примеров:

• Анализ данных для оптимизации маркетинговых кампаний: аналитики данных анализируют данные поведения клиентов, о предпочтениях и интересах, чтобы определить самые эффективные маркетинговые стратегии. Например, они могут использовать данные о покупках, посещении веб-сайтов или социальных сетей, чтобы определить, какие продукты или услуги наиболее популярны и как лучше продвигать их.
• Прогнозирование спроса и оптимизация цепочки поставок: аналитики данных могут использовать данные о продажах, запасах и спросе, чтобы предсказать будущий спрос на продукты или услуги. Это позволяет компаниям оптимизировать свою цепочку поставок, снизить затраты и улучшить обслуживание клиентов.
• Анализ данных для улучшения бизнес-процессов: аналитики данных могут анализировать данные о бизнес-процессах, чтобы определить, где есть возможности для улучшения. Например, они могут использовать данные о времени выполнения задач, ошибках и простоях, чтобы определить, как оптимизировать процессы и повысить эффективность.
• Анализ данных для принятия финансовых решений: аналитики данных могут анализировать финансовые данные, чтобы помочь компаниям принимать обоснованные решения. Например, они могут использовать данные о доходах, расходах и инвестициях, чтобы определить, какие проекты или инвестиции являются наиболее прибыльными.

Какая зарплата у аналитика данных

Зарплата аналитика данных может различаться в зависимости от опыта, квалификации, кейсов и места работы. В России средняя зарплата аналитика данных составляет около 100 000 рублей в месяц.

Где обучиться профессии аналитик данных

Курс от MDS — это образовательная программа, которая помогает людям получить необходимые знания и навыки для работы в области анализа данных. Курс включает в себя изучение различных инструментов и методов анализа данных, а также практические задания, которые помогут закрепить полученные знания. Вы изучите логические операторы SQL, функции Excel, работу с дашбордами BI и визуализацию данных в Python. Вы сможете прогнозировать на основе данных и помогать бизнесу принимать решения.

Программа курса включает следующие темы:

1. Введение в анализ данных: основы статистики, математические методы, программирование.
2. Сбор данных: работа с базами данных, SQL, NoSQL, Hadoop.
3. Очистка данных: удаление ошибок и пропусков, нормализация данных.
4. Анализ данных: статистические методы, корреляционный анализ, регрессионный анализ.
5. Визуализация данных: создание графиков и диаграмм для представления информации.
6. Интерпретация результатов: анализ трендов и закономерностей, прогнозирование будущих событий.
7. Рекомендации: разработка рекомендаций по улучшению бизнес-процессов или продуктов компании.

Moscow Digital School ведет образовательную деятельность на основе государственной лицензии № Л035-01298-77/00180373.

После прохождения итоговой аттестации студенты получат удостоверение о повышении квалификации, которое подтвердит компетенции в области анализа данных и выделит среди других кандидатов при поиске вакансий.

Какие еще есть преимущества:

• Офлайн выпускной по итогам обучения.
• Добавление в профессиональный чат курса.
• Полезные для вашей работы чек-листы и материалы.
• Удостоверение гособразца о прохождении программы Moscow Digital School.
• Дистанционное обучение 24/7 в образовательной платформе MDS.
• Возможность пройти практику после курса.

В заключение, можно сказать, что профессия аналитика данных будет продолжать развиваться и оставаться востребованной в будущем. С увеличением объема данных и необходимостью их анализа для принятия решений, спрос на квалифицированных аналитиков данных будет только расти.

Однако, чтобы оставаться конкурентоспособными и востребованными на рынке труда, аналитики данных должны постоянно совершенствовать свои навыки и знания. Это включает в себя изучение новых инструментов и методов анализа данных, а также развитие навыков коммуникации и презентации результатов. Поэтому прохождение курса может стать отличным решением для развития и получения таких навыков.

Реклама ООО «Стратеджик Инсайтс», LjN8KPZea

С развитием технологий появился новый способ принятия решений, основанных на данных: статистике, определенных метриках и их анализе.

Такой подход более объективен, рассмотрим почему.

Автор — Евгений Фадеев, разработчик платформы CXDP.

Что такое Data-Driven подход

Data-Driven подход (data driven decision making, принятие решений на основе данных) – это метод управления бизнесом, базирующийся на аналитике данных.

Data-Driven появился в противовес методам highest paid person’s opinion (основанный на мнении руководства) и best practices (базирующийся на общепринятых стандартах). В то время, как мнение руководства может быть необъективным и порой неверным, а общепринятые стандарты оказываются хорошей подоплекой не в ста процентах случаев, принятие решений на основе данных помогает свести ошибки к минимуму, так как опирается на конкретные цифры и статистику.

Основные принципы работы бизнеса при Data-Driven подходе

В каждой компании могут быть свои принципы работы с данными, но если смотреть всецело, то можно выделить два основных – это качество и работа с гипотезами.

Качество подразумевает под собой качественный сбор информации, то есть исключение ошибок, по общему правилу и в полном объеме. Работа с гипотезами это постоянное тестирование процессов и поиск новых работающих алгоритмов на основе анализа собранных данных.

При data-driven подходе в маркетинге исследуются определённые метрики. Основные из них:

• Конверсия, или сколько клиентов выполнили целевое действие – покупку, подписку на рассылку или регистрацию.

• Удержание, или показатель количества клиентов, которые вернулись к покупке после первого взаимодействия.

• Отток как противоположность удержанию, или показатель количества переставших использовать продукт в от или иной период. Удержание и отток связаны, так как чтобы успешно выполнить первое, надо понять причины второго.

• Вовлечённость показывает активность взаимодействия с продуктом, например количество сессий; время, проведённое в сервисе; количество действий, выполненных пользователем.

• Индекс потребительской лояльности показывает вероятность рекомендации продукта другим пользователям, этот же индекс помогает понять уровень удовлетворенности клиентов.

Инструменты для Data-Driven подхода

Основными инструментами для анализа и работы с данными являются:

• платформы для хранения данных – например, CRM-системы;
• программы для анализа – платформы, управляемые языками программирования, например, R или Python;
• системы для коммуникации, они же сервисы для обмена информацией – ярким примером могут быть BI-системы с дашбордами.

При этом не обязательно использовать три разных системы, бывает, что одна платформа объединяет в себе две и более функций. Например, всем известные Google Analytics, «Яндекс Метрики» и App Metrica одновременно являются хранилищем данных и анализируют их.

Существуют также более продвинутые системы работы с данными – CDP (c англ. Customer Data Platform). Это программное обеспечение, которое формирует единый цифровой профиль клиента, собирая воедино различные сведения о нем из разных источников в режиме реального времени. В то время как в CRM содержатся данные о непосредственном взаимодействии клиентов с компанией (звонки, транзакции, заявки), CDP, в свою очередь, собирает и объединяет данные из разных систем (CRM-системы, CMS, ERP, мобильного приложения, касс), систематизирует их в цифровой портрет клиента и является основой для автоматизации и персонализации маркетинга.

На этом эволюция не остановилась, и появился подвид CПлюсы и минусы Data-Driven подходаDP-систем со встроенным модулем коммуникации или так называемые CXDP ( c англ. Customer Experience Data Platform). Помимо умения создавать цифровой профиль покупателя, это программное обеспечение может осуществлять персонализированные коммуникации: e-mail, SMS, Push-уведомления, мессенджеры и многое другое.

Плюсы и минусы Data-Driven подхода

Безусловным плюсом Data-Driven подхода является его объективность и повышенная точность, ведь он основан на конкретной статистике конкретной организации. То или иное решение, базирующееся на аналитике данных имеет логическое обоснование, что позволяет оценить существующую производительность и разработать четкий путь к достижению целей.

Из недостатков можно назвать финансовую затратность и сложность в работе. Для осуществления Data-Driven подхода необходимы квалифицированные специалисты, а, значит, дополнительное обучение уже имеющихся сотрудников либо использование решения на аутсорсе. Однако результаты использования data-driven подхода могут принести большую пользу бизнесу, и в этом случае все затраты окупятся многократно.

Также стоит отметить, что Data-driven подход всё же не может полностью заменить опыт. В некоторых ситуациях, например непредвиденных обстоятельствах, мнение опытного руководства может быть намного продуктивнее подхода, основанного на анализе данных.

1. Neglecting Application Monitoring

The very first and most critical mistake is not monitoring your applications at all. While this may seem painfully obvious, it remains a surprisingly prevalent issue in the tech world. Effective application monitoring encompasses a spectrum of essential components, including logging, metrics, tracing, and real user monitoring (RUM). Neglecting any of these facets can leave your organization blind to critical issues lurking within your system.

Solution: Kickstart your journey to effective application monitoring by implementing a comprehensive strategy that encompasses all these facets. The tech industry offers a plethora of modern platforms and tools that make data collection and analysis easier than ever. For instance, tools like Grafana, New Relic, Datadog and ELK Stack (Elasticsearch, Logstash, Kibana) can help you to establish a robust monitoring strategy and ensure the reliability and performance of your applications. There is no excuse for overlooking this fundamental step in ensuring the reliability and performance of your applications. To ensure a robust application monitoring strategy, it’s essential to follow the four golden signals: latency, traffic, errors, and saturation. These signals act as critical indicators of your application’s health and performance. Latency measures response time, traffic gauges demand, errors pinpoint issues, and saturation helps identify resource bottlenecks. By paying close attention to these signals, you can proactively detect and address problems, ensuring the reliability and performance of your applications. In a tech landscape filled with powerful tools like Grafana, New Relic, Datadog, and ELK Stack, implementing these signals is a fundamental step in effective application monitoring, allowing you to stay ahead of potential issues and provide a seamless user experience.

2. Noisy Alarms

Effective monitoring systems generate alarms to promptly notify you of potential issues. However, setting up alarms without careful consideration can lead to an overwhelming barrage of notifications. Too many unnecessary alerts can result in what is known as “alert fatigue,” making it challenging to identify genuine problems amidst the noise.

Solution: Prune your alarms ruthlessly that you do not act upon. Regularly review and refine your alerting thresholds and conditions. Disable or fine-tune alarms that are not delivering value or are prone to false positives. The ultimate goal is to create an alarm system that provides actionable insights, not a cacophony of distractions.

3. Focusing Solely on Availability and Errors

While monitoring for system availability and errors is essential, it’s crucial to recognize that this limited scope may not unveil the full picture of your application’s health. Consider a scenario where your application ceases to receive new requests, yet it reports 100% availability and zero errors. This situation can go unnoticed if you’re only monitoring these two metrics.

Solution: Broaden your monitoring horizons by including alarms that detect anomalies such as a sudden drop in incoming requests. To ensure a more comprehensive view of your application’s health, monitor a variety of system behaviors beyond mere availability and error counts.

4. Rate vs. Sum: Understanding Counter Metrics

Understanding the difference between rate and sum when dealing with counters in monitoring systems is vital. Failing to grasp this distinction can lead to erroneous interpretations of your metrics. This concept is elucidated in an article by Robust Perception.

Solution: Invest in educating your team on the nuances of the rate vs. sum concept. Ensure that your monitoring tools and systems correctly handle counter metrics. A deep understanding of how data is collected and interpreted is imperative for meaningful analysis.

5. Neglecting Dashboard Reviews: The Importance of Proactive Monitoring

Even with a robust set of alarms in place, new and subtle issues can escape detection. Regularly reviewing dashboards allows you to identify outliers, trends, and patterns that may not trigger alarms but could signify underlying problems.

Solution: Make dashboard reviews a standard practice, ideally on a weekly basis. Encourage your team to actively seek out unusual trends or behaviors and investigate them promptly. Dashboard reviews should be an integral part of your proactive maintenance strategy.

6. Failing to Act on Dashboard Findings: The Cost of Inaction

Identifying anomalies in your dashboards is only the first step. If you fail to take action based on these findings, your system’s issues will continue to accumulate, rendering your monitoring efforts ineffective.

Solution: Establish a clear process for investigating and addressing issues identified through dashboard reviews. Assign responsibilities to team members for prompt follow-ups on anomalies and the implementation of necessary fixes.

7. Aggregating Percentiles Incorrectly: A Statistical Pitfall

Percentiles serve as valuable metrics for understanding the distribution of data in your monitoring system. However, aggregating percentiles incorrectly, such as taking averages of percentiles or calculating percentiles of percentiles, can distort the true picture of your data. Incorrect aggregation of percentiles can obscure data insights by combining non-linear values. Averaging percentiles can misrepresent the central tendency, while percentiles of percentiles may lead to an artificial “meta-percentile” that doesn’t align with the underlying data distribution, undermining accurate analysis.

Solution: Always calculate percentiles on the entire dataset, rather than attempting to aggregate them. When dealing with large datasets, consider using histograms for aggregating percentiles. This approach ensures a more accurate representation of your data distribution.

8. Inconsistent Metric Labeling

Consistency in metric labeling is essential for maintaining a clear and organised monitoring system. Without a standardized naming convention, interpreting and managing your metrics becomes a daunting challenge.

Solution: Establish a clear and consistent policy for naming metric labels early in the monitoring setup process. Decide on conventions for capitalization, separators, and abbreviations. Ensure that all team members adhere to these standards. Consistency simplifies troubleshooting and on-call duties, particularly for engineers less familiar with the system.

9. Neglecting Runbooks in Alarms

When alarms trigger, it’s essential that the recipient knows what actions to take to resolve the issue. Neglecting to include runbooks or documentation alongside alarms can lead to confusion and delays in incident response.

Solution: Develop detailed runbooks to accompany each alarm. These runbooks should provide step-by-step instructions on how to diagnose and mitigate the issue associated with the alarm. Ensure that all team members have access to these runbooks for efficient incident resolution. Additionally, establishing a process for continuous runbook improvement is crucial. Regularly polling on-call engineers after their shifts can help gather valuable feedback on the runbooks’ effectiveness. This feedback loop enables ongoing refinement, making incident response even more streamlined and efficient.

10. Overloading Metrics with High Cardinality Data: A Balancing Act

Monitoring systems are adept at handling a significant volume of metric data. However, they may struggle when inundated with high cardinality metadata, such as complete endpoints, usernames, or IP addresses. Including such data in labels without proper management can overwhelm your monitoring system.

Solution: Exercise caution when determining what metadata to include in metric labels. Canonicalize, group, and simplify labels wherever possible. For data that doesn’t belong in metrics, utilise logging or other appropriate mechanisms. Remember that overloading your monitoring system with excessive labels can lead to performance issues and increased operational overhead.

Ultimately, effective application monitoring is a complex process that necessitates painstaking attention to detail and a steadfast dedication to best practices. The dependability, performance, and resilience of your applications can be greatly improved by avoiding these ten common mistakes. To stay ahead of potential problems, keep in mind that monitoring is a continuous process, so you must regularly review and improve your monitoring approach. Adopting these lessons will help your business be better prepared to successfully and confidently navigate the complex world of application monitoring. The significance of vigilance in application monitoring cannot be overstated in an age where technology forms the foundation of our way of life.

I am Andrey Stolbovsky, SDM at Amazon. Before Amazon I was developing Monitoring at Yandex, and in this articale I will demystify these tools and help you make informed decisions about which is best for your specific needs in this comprehensive comparison.

I. Understanding the Basics

To begin this journey of comparison, it is critical to first understand the fundamental nature of these tools. CloudWatch is AWS’s native monitoring and observability service. It is designed to be tightly integrated with AWS services, allowing you to collect, visualise, and analyze data from various AWS resources. Grafana, on the other hand, is an open-source platform that serves as a unified monitoring and observability solution. It’s known for its adaptability, allowing you to connect to a wide range of data sources, making it an excellent choice for multi-cloud and hybrid environments.

The key difference lies in their origins and design philosophies. CloudWatch is specifically designed for AWS services, making it a seamless choice for AWS-centric environments. Grafana, however, follows a more open-source, community-driven approach, catering to those who operate in diverse cloud and on-premises ecosystems.

II. Features and Capabilities

CloudWatch

Metrics collection and visualisation are core features of CloudWatch. It can collect data from various AWS resources and provide visually appealing graphs and dashboards.

Alarms and notifications: CloudWatch allows you to set up alarms for certain metrics, notifying you when specific thresholds are breached.

Log management and analysis: It provides built-in log management features to monitor and analyze logs across your AWS infrastructure.

Integration with other AWS services: CloudWatch seamlessly integrates with other AWS services, enhancing its capabilities.

Grafana

Data source flexibility: One of Grafana’s key strengths is its ability to connect to various data sources, not limited to AWS, making it ideal for multi-cloud and hybrid environments.

Dashboard customization and templating: Grafana offers a highly customizable dashboard creation, enabling you to tailor monitoring solutions to your specific needs.

Community-driven plugins and extensions: Grafana’s vibrant community contributes plugins and extensions, expanding its functionality.

Support for on-premises and multi-cloud environments: The platform is versatile, making it a valuable tool for businesses with diverse infrastructure needs.

III. Performance and Scalability

CloudWatch

Within the AWS ecosystem, CloudWatch scales automatically with the resources you use, making it well-suited for AWS-centric environments. However, this scalability can come with a price, as costs may increase as you collect more data and add more resources.

Grafana

Grafana shines in multi-cloud and hybrid environments. It can adapt to various data sources, providing a unified monitoring solution across your entire infrastructure.

Its scalability is advantageous when dealing with diverse environments. Additionally, Grafana can be integrated with CloudWatch to extend its capabilities to AWS services.

IV. Ease of Use and Flexibility

CloudWatch

The AWS Console interface makes CloudWatch accessible to AWS users. Setup and configuration are relatively straightforward, especially for those who are already familiar with the AWS environment. But, it may have a learning curve for users who are new to AWS, and some limitations may be encountered when dealing with non-AWS resources.

Grafana

Grafana’s intuitive UI for dashboard creation appeals to both beginners and experts. It excels in providing a flexible, user-friendly environment. The ability to connect to various data sources may slightly increase the learning curve, but it’s a trade-off for the versatility it offers.

V. Cost Considerations

AWS has made a name for itself by pioneering a “pay-as-you-go” pricing model that allows businesses to pay only for the services they use. This model, although a blessing for scalability, can be a double-edged sword if not managed judiciously. AWS CloudWatch, being an integral part of the AWS ecosystem, falls under this pricing model. However, the cost structure can sometimes be tricky to decipher.

Under the AWS umbrella, CloudWatch employs a multi-tier pricing model that charges based on the number of custom metrics, custom events, and logs you monitor. To understand the cost implications, you’ll need to have a clear picture of your usage patterns and the specific AWS resources you intend to monitor. It’s important to keep a close eye on the AWS pricing calculator, and if you’re new to AWS, it’s highly advisable to start with AWS’s Free Tier to get a sense of your potential costs.

For smaller businesses, this can be a cost-effective way to get started with cloud monitoring, as the “pay-as-you-go” model allows for cost scalability based on real usage. However, large enterprises with extensive cloud infrastructure may find the costs rising significantly as their operations grow.

To optimise your costs with CloudWatch, you can employ a few strategies:

• Resource Tagging: Tagging your AWS resources can help you track and monitor specific resource groups, making it easier to allocate costs and ensure efficient utilisation.
• Custom Metric Management: Carefully select and define your custom metrics to avoid unnecessary costs associated with excessive metric creation.
• Set Up Alarms: Establish CloudWatch alarms to monitor resource usage proactively and trigger notifications only when necessary.
• Scheduled Monitoring: Adjust the frequency of data collection to reduce the volume of data processed by CloudWatch, which can have a direct impact on costs.
• Utilise AWS Trusted Advisor: This AWS tool can help identify opportunities for cost optimisation within your AWS environment, including CloudWatch.

On the other side of the cloud monitoring spectrum, Grafana is renowned for its open-source nature, which can be incredibly cost-effective. However, it’s essential to understand that while Grafana itself is open source, there are associated costs related to hosting, support, and integrations.

Grafana’s open-source foundation offers a wealth of flexibility and customisation options without the need for upfront licensing fees. This open-source nature makes it a cost-effective solution for organisations looking to create dashboards and visualisations based on the data collected from various sources.

When it comes to Grafana, there are a few potential cost considerations:

• Hosting: If you decide to host Grafana on your own infrastructure, you’ll need to budget for server resources, network costs, and ongoing maintenance.
• Support: Grafana offers various support plans, each with a different level of service and pricing. Depending on the complexity of your deployment and your organisation’s needs, you may choose to invest in a support plan to ensure smooth operations.
• Plugins and Data Sources: While Grafana itself is open source, you might need to invest in plugins or data sources to integrate with specific data platforms, and these may come with associated costs.
• Scaling: As your monitoring needs grow, scaling Grafana to accommodate increased traffic and data sources might incur additional expenses.

Understanding these cost considerations is crucial to determining the most cost-effective approach for your organization’s unique cloud monitoring requirements.

VI. Real-World Use Cases

To provide you with a clearer understanding of when to use CloudWatch, let’s explore some real-world scenarios where this native AWS service excels.

• Native AWS Environment: CloudWatch truly shines in environments where AWS is the primary cloud provider. Its seamless integration with AWS resources simplifies monitoring and ensures that you get the most out of your AWS services.
• Startups and SMBs: Smaller businesses benefit from CloudWatch’s ease of use and cost-effective pricing. It’s an excellent choice for those looking to scale their applications without a steep learning curve.
• Success Stories: Companies like Airbnb, Netflix, and Samsung have experienced significant improvements in their operations by harnessing CloudWatch. For instance, Netflix uses CloudWatch to monitor its microservices architecture, ensuring a seamless streaming experience for millions of users.

Now, let’s explore instances where Grafana’s flexibility and extensibility make it a preferred choice.

• Multi-Cloud and Hybrid Environments: If your organisation operates across multiple cloud providers or uses a hybrid setup with on-premises infrastructure, Grafana’s data source flexibility is invaluable. It allows you to create a unified view of your entire environment.
• Customization: For organizations with unique monitoring requirements, Grafana’s custom dashboards and the vast library of community-driven plugins provide the ability to tailor monitoring solutions to your exact specifications.
• Success Stories: Grafana has become a staple in companies like PayPal, Red Hat, and eBay. PayPal, for instance, utilises Grafana to monitor thousands of servers across different data centers and cloud providers, ensuring uninterrupted payment services.

VII. Integration Possibilities

While CloudWatch and Grafana are powerful tools individually, combining them strategically can result in an observability powerhouse.

Data Source Integration: Grafana can connect to CloudWatch as a data source, allowing you to leverage its native AWS integration while also benefiting from Grafana’s visualization and alerting capabilities. This hybrid approach provides a holistic view of your AWS resources while offering extensive customization options.

Cross-Cloud Monitoring: In scenarios where your organization uses multiple cloud providers, you can use Grafana to consolidate data from AWS CloudWatch, Azure Monitor, and Google Cloud Monitoring into a single dashboard. This approach simplifies cross-cloud monitoring and enhances your ability to manage resources effectively.

Custom Alerts and Visualisation: Grafana can be used to create custom alerts and visualizations for CloudWatch metrics. This means you can fine-tune your monitoring strategy to meet your specific needs, ensuring that you only receive alerts relevant to your environment.

Efficient Resource Utilisation: By combining CloudWatch and Grafana, you can optimise resource utilisation and cost efficiency. For example, you can set up dynamic scaling with CloudWatch while visualising performance data and trends in Grafana, allowing for data-driven decisions on resource allocation.

Conclusion

The choice between CloudWatch and Grafana ultimately depends on your specific needs and the complexity of your cloud environment. CloudWatch, with its native integration and ease of use, is ideal for organisations deeply rooted in AWS and those looking for a straightforward solution.

On the other hand, Grafana’s flexibility, community-driven plugins, and compatibility with various data sources make it a top choice for companies operating in multi-cloud environments, hybrid setups, or those with unique monitoring requirements.

The good news is that you don’t necessarily have to choose one over the other. In fact, harnessing the strengths of both CloudWatch and Grafana through strategic integration can unlock a new level of observability and monitoring capability.

И что это такое — графы?

Графы — это абстракция, которую используют для выявления связей между сущностями: множество вершин и множество рёбер, которые их соединяют. Впервые теорию графов применил Леонард Эйлер для решения задачи о Кёнигсбергских мостах. Нужно было найти такой маршрут, чтобы пройти по всем семи сооружениям только один раз и вернуться в исходную точку. С помощью теории графов Эйлер доказал, что это невозможно.

А они вообще востребованы?

Способов анализа структурированных данных становится недостаточно, чтобы делать глубокие предсказания. Если для расчёта спроса и предложения товаров хватит классических методов вроде статистических функций, то для рекомендаций этих товаров можно применять больше действенных методов, в том числе и графы. Поэтому их используют чаще, нежели лет пять назад.

Компании вроде Uber, Google, Pinterest переходят на графы, мотивируя это тем, что производительность таких методов выше, по сравнению с другими современными ИИ-архитектурами. А по прогнозам Gartner к 2025 году графы будут использоваться в 80% инноваций в области данных и аналитики по сравнению с 10% в 2021 году.

Стоит оговориться: графы всё ещё достаточно узкопрофильное направление и используют их не повсеместно. Но дополнительный скил точно не будет лишним — появится больше сфер, в которых можно работать.

И какие задачи можно решать графами?

Графы помогают работать с нелинейными данными, которые сложно структурировать в табличный формат и выгоднее представлять в виде связей между объектами — то есть между вершинами через рёбра. Тогда получается сетка, похожая на карту дорог.

Графы и нейронные сети на их основе используют, например, в биологии. С их помощью биологические сущности (белки, РНК, химические соединения) можно представить в виде «сетки», определить, как они связаны между собой, предсказать новые взаимодействия между ними или свойства.

Здесь можно почитать про графовые методы в биологии.

Рекомендовать товар или друзей

В Газпромбанке есть граф для выявления групп людей со схожими интересами. Он помогает идентифицировать паттерн поведения клиентов, исходя из которого мы предполагаем, какие приложения будут им наиболее полезны. Например, ведут они активный образ жизни, занимаются спортом — значит, порекомендуем похожие спортивные товары.

Схожая механика используется в социальных сетях и дейтинговых приложениях — для рекомендаций друзей и хранения данных, которые генерируют пользователи.

Можно обойтись и без графов: самостоятельно придумать критерии и прописать алгоритм, который будет высчитывать количество взаимодействий между людьми. Но это долго, дорого, ресурсозатратно и есть риск упустить что-то важное, но неочевидное. Графы же позволяют использовать данные сами по себе, любое взаимодействие уже даёт информацию, которую можно анализировать и потенциально применить для решения задач.

Выявлять мошенничество

Можно построить цепочку транзакционной активности: человек А перевёл деньги человеку B, а тот — человеку C. Если в этой схеме появляется лицо, которое занесено в чёрный список, то мы идентифицируем её как фрод. То есть если в длинной цепочке переводов один из узлов замечен в мошенничестве, то стоит обратить на неё пристальное внимание.

Зачастую мошенники, когда берут кредиты и хотят оформить банкротство, чтобы их не платить, используют разные адреса, номера телефонов, паспортные данные. Или меняют их незначительно, чтобы исправления не были заметны сразу. И то, и то можно назвать подозрительной активностью.

Сложно самостоятельно просчитать наперёд и учесть в алгоритмах, что у человека сегодня одни паспортные данные, а завтра другие. Для графа это не нужно прописывать: он проскорит и зафиксирует людей с такой подозрительной активностью самостоятельно.

Строить маршруты

С помощью графа можно найти самый короткий и быстрый маршрут из точки А в точку B. Он будет учитывать не только длину дорог, но и поможет предсказать, где и когда трафик меньше.

Ранжировать информацию по достоверности

В Google графы использовали для ранжирования веб-страниц. Чтобы самый полезный сайт поставить на первое место, придумали алгоритм PageRank.

Каждый сайт был узлом, а ссылки на другие сайты внутри — связями. За счёт этого сайт, который ссылался на более достоверные источники, оказывался выше. Например, если одна из страниц ссылалась на сайт правительства Соединённых Штатов, а другая — на жёлтую прессу, вторая уходила вниз в поисковой выдаче.

Сейчас используют и другие алгоритмы, тот же GPT, но в начале 2000-х Google выстрелил благодаря графам, которые качественнее определяли «авторитетность».

Хранить взаимосвязи между сущностями

Ещё одна важная предметная область, где применяются графы — графы знаний. Это семантическая структура, в которой хранится информация о разных сущностях и взаимосвязях между ними. Вершиной‎ графа может быть как абстрактное понятие (например, концепция), так и материальный объект (например, предмет или человек).

На основе графов знаний работают, например, голосовые помощники — Alexa от Amazon.

Так могут выглядеть взаимосвязи в графах знаний:

Звучит интересно. А сложно их учить?

Действительно, графы — универсальный и многогранный инструмент, который используется для решения самых разных задач. Держать в голове весь их функционал довольно сложно. Для начала достаточно понимать, что из себя представляют графы и в каких предметных областях они применяются. А далее изучать конкретные алгоритмы и инструменты в зависимости от задачи.

Где можно узнать о них подробнее?

• ТГ-канал про графы: @sberlogawithgraphs
• Курс Стэнфордского университета
• Книга «Введение в теорию графов» Р. Уилсона
• Книга про графовые нейронные сети: Graph Representation Learning. William L. Hamilton

Что такое Data Office

Есть три основных значения:

1. Функция работы с данными внутри компании. Цель — привести данные в тот вид, который позволит на их основе принимать и монетизировать управленческие решения.
2. Обособленное подразделение, работающее с данными. В российском секторе пока что присутствует в крупном и отчасти в среднем бизнесе. Процесс перехода небольших компаний на облачные решения, SaaS и PaaS-платформы, которые предоставляли подобный сервис, замедлился из-за ухода многих международных игроков.
3. Интерфейс доступа к накопленным данным. Проще говоря, информация: какие данные у компании есть, где применяются, как устроены процессы их обработки и так далее — всё, что обычно называют Data Governance.

Перспективы развития Data Office

Согласно прогнозу Gartner, в ближайшее время Data Office станет «критически важной функцией, сравнимой с ИТ, бизнес-операциями, HR и финансами в 75% крупных компаний».

Сейчас функция работы с данными есть у всех топовых игроков российского технологического бизнеса, ритейла, телекома; постепенно она охватывает и средний бизнес. Так что поле для применения талантов действительно широкое.

Универсальности Data Office добавляет модульная структура: не нужен Data Lake — можно обойтись без него, не требуется Data Governance — аналогично. В каждой компании Data Office будет таким, каким его хочет видеть бизнес.

Структура Data Office

Работа с данными состоит из нескольких блоков, которыми занимаются разные специалисты: таким образом, прийти к этой работе можно из множества областей. Для примера возьмём типичный набор блоков, из которых состоит Data Office в крупной компании.

Методологический

Отвечает за то, как правильно считать показатели, которые мы хотим извлекать из данных, какие данные брать, из каких систем — по сути, это фундамент работы Data Office. Благодаря ему создаётся single point of truth — единое понимание накопленных данных и методология расчёта показателей для аналитики.

Всем знакома такая вещь, как выручка — но оказывается, взгляды на то, что считать выручкой, у подразделений одной компании сильно разнятся: одни рассматривают РСБУ, другие МСФО, одни с учётом сопоставимости с предыдущими периодами, другие без и так далее.Между тем есть совет директоров, CEO, CFO и, конечно, их не устраивает ситуация, когда у них 25 разных выручек. Им нужно получить какую-то достоверную точку отсчёта. Здесь и возникает та самая регламентирующая функция Data Office, которая обеспечивает договорённость со всеми игроками и генерирует правильные точки входа в данные.

В основном в этом блоке работают бизнес-аналитики и владельцы продуктов/процессов/сервисов. От них требуют хорошего знания бизнес-процессов, их моделирования и реинжиниринга. Кроме того, очень важны коммуникативные навыки, знание нотаций моделирования бизнес-процессов.

Технический

Зона ответственности — построение систем хранения и обработки данных внутри компании, включая весь спектр интеграции, систему управления мастер-данными (MDM), разработку прикладных сервисов доступа к данным. И здесь задействован целый кластер ролей: архитекторы, бизнес- и системные аналитики, разработчики, тестировщики, администраторы, DevOps. Их общая цель — получить мощное и надёжное хранилище.

Для хорошей работы нужна служба эксплуатации и поддержки этого хранилища. В этой же службе могут быть и DBA — администраторы баз данных, которые следят за работоспособностью и производительностью базы данных, занимаются её техническим обслуживанием, мониторят загрузку хранилища и разбирают инциденты.

Часто технические команды становятся хорошими инкубаторами для роста: в них вместе работают и junior, и middle, и senior-специалисты. Конечно, никто не доверит джуну задачи по сборке ядра хранилища, но ему и без этого будет чем заняться.

Технический стек зависит от целевого стека компании, но он всегда включает знание SQL, 1–2 наиболее распространённых языка программирования (часто Python и Java), Git, Jira + Confluence, навыки работы с наиболее распространёнными системами ETL и оркестрации. Почти всегда требуются технический английский и навыки работы с технической документацией.

Взаимодействие с бизнесом или Data Stewards

Эти специалисты помогают бизнесу ориентироваться в накопленных данных, подсказывают уже существующие решения, чтобы не создавать новый велосипед, обучают пользователей работе с данными. Для работы стюардом необходимо хорошо понимать бизнес и знать его потребности, а также ориентироваться в данных компании и уметь пользоваться инструментарием Data Office.

Визуализация данных

Вряд ли кого-то делает счастливым сам факт обладания 100 терабайтами табличек — нужны люди, которые будут ими пользоваться, а для этого данные придётся преобразовать в более удобный вид. Этим занимаются BI-разработчики, создающие BI-дашборды — инструменты, позволяющие бизнесу пользоваться накопленными данными.

Финальный этап многих дата-проектов — удобная, простая для понимания, интерактивная бизнес-отчетность. Нередко за парой страниц с графиками, гистограммами и визуализациями стоят тысячи часов работы специалистов Data Office.

Data Science

Дата-сайентисты не просто реализуют инструменты доступа к данным, но и извлекают из них непосредственную пользу, в основном через сборку моделей: предиктивных, прогностических, аналитических и так далее. Это основной способ конвертировать накопленные данные в прибыль компании. Предсказание оттока клиентов или сотрудников, определение наиболее выгодной стратегии работы с клиентом, разработка новых программных продуктов — всё это сфера ответственности DS.

Для работы в этом стеке нужны хорошая математическая подготовка, знание матанализа, статистики, линейной алгебры. Но главнее — готовность учиться практическим инструментам и искать их прикладное применение.

Анализ данных

Аналитики могут быть не внутри отдела Data Office, а в бизнес-подразделениях. Именно эти специалисты отвечают на вопрос, почему случилось то, что случилось (выросли продажи, упала прибыль и так далее). Если это хорошие дата-аналитики, они отвечают ещё и на вопрос, что с нами будет, если мы поступим так-то и так-то, и помогают руководству сформулировать правильные управленческие решения.

Для такой прогностической работы нужно понимать закономерности бизнес-процессов и уметь пользоваться математическими инструментами, как и в Data Science.

Насколько реализуема подобная структура Data Office? На самом деле, многие российские компании этот путь уже прошли: если взять, например, банковский сектор, телеком или крупный ретейл, все топовые игроки имеют аналогичную структуру у себя.

Функционал Dаta Office на примере «Ростелекома»

Ключевые признаки работы в Data Office — высокий уровень ответственности и разнообразие задач. Например, в нашей компании эта структура выполняет следующие функции:

• Предоставляет отчётность для бизнеса и поддерживает эту отчётность. Звучит как-то скучно и по-бухгалтерски, но, на самом деле, это крайне важная для бизнеса функция: невозможно управлять тем, что ты не можешь измерить.
• Проводит всю подготовительную работу для Data Science. Сюда входят сборка данных, подготовка датасетов, их разметка, контроль качества и так далее.
• Является точкой входа для аналитиков данных. Им Data Office предоставляет возможность получить инфраструктуру и данные, на которых они могут разворачивать и проверять свои гипотезы.
• Обслуживает портал Data Office rt.ru. Этот портал позволяет клиентам от бизнеса легко и просто находить нужные отчёты, показатели, метрики и получать доступ к BI-дашбордам. Очень удобно, особенно когда у компании несколько тысяч продуктовых отчётов — как в нашем случае.
• Взаимодействие с Self Service-командами. Так называются компактные гибкие команды, готовые быстро закрывать потребности бизнеса: выводить быстрые релизы, обеспечивать небольшой Time To Market и небольшую стоимость владения этой функцией. Date Office предоставляет Self Service-командам данные, серверные мощности, ну и в целом обеспечивает их инфраструктурой, методологией, инструментами.

Ключевые сложности в работе Data Office

Все проблемы можно поделить на технические и нетехнические.

Технические проблемы:

• ограничения по инструментарию;
• ограничения с точки зрения регламента.

Они более просты: преодоление этих проблем в технической же области обычно и лежит. Где-то увеличение мощности «железа», где-то использование другого инструмента, где-то оптимизация и так далее.

Основные нетехнические проблемы:

• проблема постановки задач бизнесом;
• несовпадение языка бизнеса и систем-источников;
• вопрос устаревания данных.

Как справиться с этими проблемами? Не принимать требования от бизнеса! Ну а если серьёзно, простого и быстрого решения здесь быть не может — хотя бы потому, что бизнес и IT зачастую живут совершенно в разных измерениях.

И есть несколько практик, которые упрощают работу Data Office

• сделать хорошие и качественные шаблоны, по которым будут писаться требования, и научить бизнес работать с этими шаблонами;
• выделить product owners со стороны бизнеса;
• повысить уровень диджитализации бизнеса;
• создать проектный офис, который станет шлюзом между Data Office и хотелками от бизнеса;
• использовать Self Service-команды — это очень эффективный проводник требований, поскольку такие команды смотрят и в IT, и в бизнес, и понимают и тех, и других.

Что в итоге?

Работа в Data Office — хороший способ быстро прокачаться в профессии за счёт разнообразной деятельности и высокого уровня влияния на бизнес. В большинстве компаний специалисты этого подразделения не просто работают с массивом данных, а решают широкий круг внутренних задач бизнеса, в том числе и стратегических. Результативность Data Office напрямую влияет на бизнес-показатели компании.

В Data Office много направлений и много перспектив: с каждым днём данных становится всё больше, поэтому ценность этих специалистов растёт. Главные личностные качества для такой работы — ответственность за результат и проактивность, то есть качество «мне не всё равно». Без него будет сложно.

Эта работа подходит для молодых и амбициозных: 29 % CDO, опрошенных Gartner, младше 40 лет. Для реализации в Data Office пригодятся не только обширные знания и набор hard и soft skills, но и стрессоустойчивость: в процессе придётся решать много проблем.

А как считаете вы, прочитав эту статью: подходит ли вам работа в Data Office? И хотели бы вы работать там?

Разработчик компании IT_One Анна Зверькова рассказывает о нюансах этой процедуры и способах обработки большого объема данных невысокого уровня качества на примере из финансовой отрасли.

Общие сведения

Дедупликация – это процесс поиска и удаления дублирующихся записей в наборе данных. При этом дубликаты записей могут как быть абсолютными, то есть полностью идентичными по всем полям, так и неполными, когда несколько различающиеся записи тем не менее, относятся к одной сущности и должны быть интерпретированы как одна запись.

Пример абсолютных дубликатов:

Пример дубликатов с неидентичными полями:

Возникновение дубликатов в базе данных может быть вызвано внешними и внутренними причинами. К внешним относятся, например, загрузка сходных данных из разных источников или регулярное получение новых порций информации из одного и того же источника. К внутренним – повторное добавление в хранилище уже имеющихся в нем данных, обработанных несколько другим способом, а также другие артефакты.

Обозначим три причины, которые делают дедупликацию насущной необходимостью:

1. упрощение использования данных, чтобы конечные потребители при виде трех похожих записей не ломали голову, имеют ли они дело с одной и той же сущностью, или с тремя разными;
2. упрощение анализа данных, в том числе при использовании ML, когда большое количество дубликатов может привести к некорректной работе модели, ее «переобучению»;
3. повышение эффективности хранения данных, сокращение объема хранимых данных.

Простейшие случаи для осуществления дедупликации – когда записи попадают в хранилище данных из одного источника, есть уникальные идентификаторы записей и качество внесения данных в базу поддерживается на высоком уровне. В этом случае, для получения дедуплицированных данных можно ограничиться применением простого DISTINCT и дедупликации по уникальным ключам.

Однако чаще всего вмешивается ряд факторов, осложняющих дедупликацию. Приведем примеры таких ситуаций на данных из сферы кредитования. Записи о кредитах физических и юридических лиц хранятся как в базах данных кредитных организаций (банков, микрофинансовых организаций и др.), так и в базах данных бюро кредитных историй и регуляторов, контролирующих их деятельность.

Факторы, осложняющие дедупликацию:

1. Отсутствие уникальных идентификаторов, ошибки в заполнении уникальных идентификаторов. Например, ИНН человека, который должен быть уникален, на самом деле для регулирующего органа не всегда может быть таким уникальным идентификатором: известны случаи, когда по ошибке одному человеку присвоили несколько ИНН. Ошибки при наборе ИНН оператором, вносящим данные, также зачастую делают это поле непригодным для того, чтобы быть уникальным идентификатором, которого достаточно для того, чтобы отделить одного заемщика от другого.
2. Изменение параметров сущности при сохранении ее тождественности. Например, меняя номер паспорт или фамилию при замужестве, заемщик по факту остается тем же самым человеком.
3. «Мусорное» заполнение некоторых полей операторами. Например, номер телефона вместо номера паспорта, “test test test” вместо ФИО, “1111111111” вместо номера телефона.
4. Незаполненные поля.
5. Опечатки, в том числе одни из самых распространенных, когда соседние символы меняются местами.
6. Записи в полях перепутаны местами. Например, фамилия в поле «Имя», имя в поле «Фамилия».
7. Системы-источники предоставляют данные в разных форматах. Например, номера телефонов с +7 или без префикса.
8. Неверно используются регистры в строчных данных – «пЕтров» и «иванов», не тождественны «Петрову» и «Иванову».
9. Замена символов – ‘ч’ и ‘4’, ‘е’ и ‘ё’, английское и русское ‘с’.
10. Лишние пробелы и спецсимволы.

Работая с дубликатами данных в кредитной информации, можно использовать от одного до трех шагов, описанных ниже, в зависимости от качества, полноты и объема имеющихся данных. Приведем пример на СУБД Apache Hive, однако описанные методы применимы также для других технологий хранения и типов данных.

Первый этап: предочистка, нормализация

Этап предочистки позволяет провести первичную оценку записей и отработать наиболее типичные сценарии дедупликации. Так, полностью идентичные строки мы сводим в одну запись с помощью DISTINCT.

Так же простыми командами мы можем избавиться от разногласий, связанных с различными регистрами написания строковых данных (Иванов и иванов – команда UPPER или LOWER), лишними пробелами в начале или конце строки (TRIM), лишними спецсимволами, по ошибке добавленными операторами в строковые данные.

На этом же этапе происходит унификация форматов (даты, номера телефонов).

Для того, чтобы «Аксёнов» и «Аксенов» не воспринимались как два разных человека, зачастую все «Ё» полезно привести к «Е». Вопрос английского и русского «С» менее очевиден: если операторы вводят всю информацию на русском, никогда не переключаясь на английский, приведение английского «с» к русскому может только избыточно занять мощности, не дав никакого результата.

Второй этап: работа с ошибками в данных

После первичной дедупликации полезно «посмотреть глазами» на переобъединенные группы – такие группы, куда при первичной группировке попало максимальное количество записей. Необходимо определить, корректно ли такое объединение. Зачастую оно оказывается неверным из-за «мусорного» заполнения – объединения данных по значениям, которые операторы вносят, когда у них нет реальных значений.

Например, в отсутствие паспорта у заемщика оператор вводит «1111 111111» или номер телефона вместо номера паспорта. Пустые или «мусорно» заполненные поля не должны быть использованы для дедупликации, это приведет к переобъединению – то есть отнесению разных записей к одной сущности, тогда как в реальности они являются разными сущностями. Такие записи необходимо будет дедуплицировать по сочетанию других полей.

Второй необходимый шаг этого этапа – проверка на допустимость значений в тех полях, которые мы собираемся дедуплицировать. Для ряда данных есть способы проверки их корректности, полезно обратиться к бизнес-пользователям для выяснения таких принципов для их последующей формализации в алгоритмах.

Например, контрольное число можно использовать для проверки корректности, в том числе, банковских счетов, штрих-кодов, банковских карт, СНЛС, ОКПО, ОКАТО, ISBN, ОГРН, VIN. Контрольное число – разновидность контрольной суммы, добавляется обычно в конец длинных номеров с целью первичной проверки их правильности. Это чаще всего либо последняя цифра суммы всех чисел номера, либо результат другой математической операции над цифрами.

На этом же этапе полезно использовать метрику редакционного расстояния (расстояния Левенштайна) в сочетании с оконными функциями, чтобы избавиться от опечаток в строковых данных. Например, при дедупликации кредитной информации, таким образом можно нивелировать влияние ошибок в ФИО людей.

Расстояние Левенштайна – это минимальное количество односимвольных операций (вставка, удаление, замена), которые нужно произвести для того, чтобы одну последовательность символов превратить в другую. Формула Левенштайна встроена в ряд диалектов SQL и в зависимости от характера строк может быть заменена на Jaro-Winkler.

Правда, использование обоих этих приемов сильно ограничивается тем фактом, что они значительно повышают сложность вычислений и, соответственно, снижают их скорость, в особенности на больших объемах данных.

Третий этап: таблицы дедупликации и поиск вершин в графах

Большое количество дублирующихся записей невозможно отработать только с помощью предочистки и работы с опечатками. В ситуациях, когда невозможно однозначно дедуплицировать строки по одному полю и даже по сочетанию полей, необходимо использовать таблицы дедупликации с последующим поиском вершин в графах.

Идея таблиц дедупликации состоит в том, чтобы определить дубликаты не один раз по всем имеющимся полям, а несколько раз, каждый раз по разному набору полей во разных сочетаниях, а затем объединить получившиеся данные о дубликатах.

Например, у нас есть 7 значимых полей, в части из которых допущены ошибки, часть пусты:

Очевидно, что запись №3 нельзя пускать в дедупликацию по полям «Отчество» и «ИНН», запись №5 – по полю «СНИЛС».

Соответственно в приведенном случае дедупликацию можно было бы провести каждому из сочетаний 4-5 полей из имеющихся 7 полей – 35 в разных сочетаниях. Однако имеет смысл с учетом бизнес-логики и опытным путем определить имеющие смысл сочетания и проводить дедупликацию только по ним. Например, в приведенном случае нет смысла дедуплицировать по сочетанию полей: «фамилия», «имя», «отчество», так как высока вероятность наличия полных тезок. В приведенном примере будет достаточно примерно 16 таблиц дедупликации.

Пример скрипта – таблица дедупликации:

Основная цель составления таблиц дедупликации – присвоить каждому «сырому id», то есть тому, с которым к нам попала запись, с неким «групповым id». Общий «групповой id» присваивается всем тем записям, которые мы определяем как дубликаты. Причем «групповым id» будет минимальный сырой по группе – то есть такой, с которым данная сущность попала к нам в первый раз.

Например:

При составлении таблиц дедупликации важно проверять «глазами» пере-объединенные и недо-объединенные группы для поиска аномалий. Переобъединенные группы – такие, в которых было объединено больше всего записей. Зачастую именно в них оказываются записи с мусорным заполнением, вроде “test test test” вместо ФИО, “1111111111” вместо номера телефона, которые надо будет исключить из дедупликации по данным полям в дальнейшем.

Пример использования формулы Левенштайна для нивелирования ошибок в таблицах дедупликации:

Получившиеся таблицы дедупликации объединяем простым UNION. Мы получили одну большую таблицу, в которой каждому изначальному («сырому») ID в записи соответствует вновь присвоенный некий групповой ID. Фактически таким образом мы получили много ребер графа, которые нужно связать между собой, чтобы отнести комплект дублирующихся записей к одной сущности (в нашем примере – субъекту персональных данных).

Чтобы объединить имеющиеся ребра графа в группы, мы используем инструмент Apache Spark GraphX – Connected Components. GraphX – компонент Apache Spark для манипулирования и анализа структурированных данных в виде графов.

GraphX предоставляет API для вычисления графов, которое включает в себя традиционные графовые операции и операции над RDD. ConnectedComponents – это алгоритм, используемый для определения связанных компонентов в графе.

Связная компонента графа – это подмножество графа, в котором каждая пара вершин соединена путем, и которое не связано с остальной частью графа. Загрузив в систему таблицу с ребрами, на выходе мы получаем связанные графы, в которых каждому сырому ID присваивается минимальный ID, с которым субъект появлялся в системе.

Пример: определение вершин в графах.

Заключение

Процесс дедупликации следует проводить комплексно, учитывая бизнес-логику и консультируясь с конечными потребителями. При этом недодедупликация всегда лучше, чем передедупликация, даже если при дедупликации записи не удаляются. Всегда проще додедуплицировать записи, чем «откатить» проведенную передедупликацию.

Важна итеративная очистка, визуальная проверка данных, встраивание метрик и сравнение текущих результатов дедупликации с предыдущими. Например, если раньше мы ежемесячно обрабатывали в среднем полмиллиона записей, а сейчас их количество другое, – вероятно, произошли изменения в источниках данных, в механизме их предоставления или в наших алгоритмах дедупликации.

Что такое dbt: функционал и характеристики

dbt (Data Build Tool) — инструмент, который позволяет дата-инженерам и аналитикам автоматизировать процессы тестирования, внедрения, документирования в рамках трансформации данных. Проще говоря, dbt — это всё о букве T в акрониме ELT (Extract — Transform — Load). Этот фреймворк не выгружает данные из источников, но предоставляет огромные возможности по работе с теми данными, которые уже загружены в Хранилище (в Internal или External Storage).

dbt основан на языках SQL и Jinja, с версии 1.4.* также поддерживает Python.

Основное назначение dbt — взять код, скомпилировать его в SQL, выполнить команды в правильной последовательности в хранилище.

Чем полезен фреймворк

dbt — довольно универсальный инструмент, но в большей степени он используется в аналитических сервисах в любых отраслях: анализ и обработка данных, сборка любой отчетности и так далее.

Контроль качества. Для бизнеса важно получать качественные данные, а для этого, в свою очередь, нужны инструменты контроля качества. dbt как инструмент позволяет реализовать любые вариации тестирования: на этапе обновления каких-либо данных мы всегда можем собрать быструю статистику по любым метрикам.

Хранение данных. Даже из «коробки» этот фреймворк позволяет реализовать на уровне хранилища хранение данных с историей СКД-2 (хранения технической истории, изменение атрибутов). С ним можно выстраивать снэпшоты — детальные слои с историей данных. dbt помогает собрать любую историю данных, чтобы отвечать на вопросы аналитиков и бизнеса.

Связывание данных в единую цепочку. Инструмент описывает ациклические зависимости (DAG) и связи, что позволяет легко анализировать цепочку преобразований данных. Когда мы используем и переиспользуем данные, выполнение этих задач связано: если что-то где-то меняется, то сказывается на других сущностях. С помощью dbt мы решаем задачу консистентности данных — устраиваем зависимость выполнения, чтобы одна сущность была рассчитана только после другой, без задержек и потери актуальности данных. Фреймворк помогает собрать в одном месте и связать всю логику — от исходных данных до итоговых результатов и их переиспользования.

Перенос в другие среды. Фреймворк позволяет легко переносить и настраивать разные подходы к работе моделей в различных средах: тестовые модели, продуктовый уровень, промышленный слой.

Настройка дополнительных возможностей. С dbt можно вписать документацию данных и работать с ними, можно настроить логирование стандартными способами и отслеживать аналитику исполнения запросов. Всё это реализуемо, поскольку у фреймворка на основе SQL и Jinja нет ограничений, кроме возможностей самих хранилищ и уровня знаний исполнителя.

Что нужно знать, чтобы использовать dbt

Для анализа самих моделей достаточно знать SQL и обзорную документацию по работе с dbt. И если дата-инженеры внедрили фреймворк со всеми функциями, то аналитику кроме знаний SQL и работы с браузером ничего не потребуется. Он легко сможет пользоваться сервисами dbt, анализировать цикличный граф зависимости и смотреть код преобразования.

До знакомства с фреймворком я никогда не работал с Jinja, языком шаблонов, который применяется в dbt для реализации настроек моделей, обработки дополнительной функциональности SQL-кода. Разобраться помогла обширная документация и хорошее комьюнити: есть, например, русскоязычный канал в Telegram.

Структура проекта dbt

Проект состоит из директорий и файлов двух типов:

● модель (.sql) — единица трансформации, выраженная SELECT-запросом;

● файл конфигурации (.yml) — параметры, настройки, тесты, документация.

На базовом уровне работа строится следующим образом:

● пользователь готовит код моделей в любой удобной IDE;

● с помощью CLI вызывается запуск моделей, dbt компилирует код моделей в SQL;

● скомпилированный SQL-код исполняется в Хранилище в заданной последовательности (граф).

Модели — это гибрид SQL + Jinja, которые ограничены лишь объёмом хранилища и уровнем знаний пользователя.

В dbt применяется Jinja версии два. Сам язык имеет очень большую функциональность, ознакомится с ним подробнее можно в этой статье.

Как работать с dbt: установка, настройка, использование

Устанавливаем фреймворк

dbt поддерживает 4 варианта установки:

● Homebrew;

● pip;

● Docker;

● source.

Рассмотрим установку подробнее на примере pip.

Установка

1. Открываем терминал.
2. Запускаем команды:
3. pip install dbt-core #Установка
   последней версии;
4. pip install dbt-core==1.4.0
   #Установка конкретной версии.
5. dbt —version #Проверка установленной
   версии.

Для обновления можно использовать следующие команды:

● pip install —upgrade dbt-core #Установка последней версии;

● pip install —upgrade dbt-core==1.4.0 #Установка конкретной версии.

Установка пакетов платформ

Для работы с конкретными платформами необходимо установить пакет платформы, с которой вы планируете работать:

● pip install dbt-clickhouse #Установка последней версии

Проверка установленных пакетов

Выполняем команду dbt —version

Настройка проекта

Для начала работы настроим окружение взаимодействия с dbt, установив VS Code. Обязательно проверяем наличие установленного Git и Python 3.

Для удобства работы с фреймворком стоит рассмотреть установки и настройки дополнительных расширений для VS Code:

● vscode-dbt;

● dbt Power User:

Настроим параметры VS Code для работы с dbt. Открываем settings.json по пути File-Preferences-Settings.

Добавляем настройки ассоциации файлов:

Закрываем файл.

Инициализация проекта

1. Создаем каталог проекта. К примеру, dbt_example.

2. Открываем терминал и переходим в каталог:

3. Инициализируем новый проект командой dbt init:

4. Указываем название нашего проекта: если мы уже установили платформу для взаимодействия, нам предложат выбрать из списка, после чего проект будет создан:

5. Типовая структура проекта:

6. Проверяем состояние модели командой dbt debug:

Готово — можем приступать к созданию модели.

О чем важно помнить при работе с dbt

● Основное — так как проект живой, нужно всегда следить за функциональностью, за обновлениями версий. Не всегда стоит использовать последнюю версию, но тестировать все изменения модели — важно.

● Помнить о том, что любая стандартизация и шаблонизация, с одной стороны, облегчает работу, а с другой — усложняет анализ. С помощью шаблонов мы можем любой SQL-код, который состоял из 3000 строк, сократить до условных 100, но нужно понять, как потом это всё прочитать.

● Поскольку инструмент гибкий и позволяет самостоятельно расширять функциональность, любые разработки придётся тестировать на работоспособность для каждой базы данных отдельно. В основном мы используем Postgres, Redshift, Spark, но также есть Greenplum, Clickhouse, MySQL, и синтаксис у всех отличается. Например, текущая версия адаптера для Clickhouse не поддерживает создание материализованных представлений.

● Расширение функциональности у dbt фактически безгранично, потому что ядро фреймворка сделано на Python. Если в команде есть разработчики Python, они смогут дописать любую функциональность.

Полезные ссылки и материалы

• DBT documentation — Introduction — официальная документация.
• What, exactly, is dbt? — обзорная статья одного из авторов dbt.
• Building a Mature Analytics Workflow — взгляд на будущее работы с данными и аналитику.
• Getting started with DBT tutorial — практика, пошаговые инструкции для самостоятельной работы.
• Jaffle shop — Github DBT Tutorial — Github, код учебного проекта.
• Hub.getdbt.com — открытая база готовых пакетов для dbt.
• Telegram-канал по dbt  — здесь всегда можно почитать подробнее о фреймворке, задать вопрос, обсудить какие-то новости и проблемы.

В любом случае, dbt — лишь инструмент в руках дата-инженеров, которые могут построить структуру хранения моделей на свое усмотрение. При правильном использовании этот инструмент может сильно оптимизировать работу с данными, а значит — повысить эффективность всего бизнеса.

1. SoloLearn

Это приложение предлагает курсы по множеству языков программирования, в том числе Python, JavaScript, C++, C# и другие. В нём есть интерактивные задачи, лидерборды, форум и даже челленджи.

В разделе «Сообщество» много фичей, выгодно отличающих SoloLearn. Помимо возможности бросить любому юзеру вызов, здесь вы найдёте тренажеры кода, небольшую базу статей о структурах данных, Git и NumPy, и даже Ask me Anything – возможность поболтать в режиме трансляции в разными разработчиками.

С момента, как я в последний раз обращалась к этой SoloLearn, приложение здорово «подросло» в плане UX и дизайна: соревнования стали выглядеть привлекательнее, с графикой а-ля Duolingo, усовершенствована система начисления очков опыта. Теперь их дают не только за прохождение курсов, но и за другие виды активности.

Плюсы:

• кроссплатформенность;
• выгружаемые сертификаты;
• качественные вопросы.

Минусы:

• энциклопедия от участников сообщества довольно скромная; только войдешь во вкус — уже конец раздела;
• множество языков, легко схватить эффект «разбежавшихся глаз» и в конечном итоге, не окончить ни одну из выбранных программ.

2. Enki

Помимо Python, Enki предлагает курсы по множеству других тем: SQL, анализ данных, Go, Git, Docker, язык R, техническое интервью и другие. Каждый день пользователи получают новые уроки, которые помогают поддерживать уровень знаний.

Плюсы:

• продуманный UX;
• уроки разбиты на небольшие «порции» — воркауты; приложение предлагает заниматься понемногу каждый день;
• 27 направлений для изучения — их можно назвать набором, необходимым, чтобы создать полноценный современный сайт, так что избыточными не назову;
• карта скила — курс Python разделён на несколько категорий: теория ЯП и ООП, упражнения, в том числе для технического собеседования.

Минусы:

• нет поддержки русского языка;
• неудобно разбираться, к какой команде студентов присоединиться: в разделе Team при введении ключа Python появляется множество групп, и просмотреть их без вступления нельзя.

3. Mimo

Mimo — приложение, которое предлагает курс «Программирование на Python» с основами языка. Создатели сконцентрировались на двух карьерных треках: Python и веб-разработка — и это положительно сказалось на качестве материала и поддержке.

Плюсы:

• небольшие практические задания, нет чувства, что учиться становится тяжелее и тяжелее с каждым новым модулем;
• узкая подборка – Python, HTML, SQL, Javascript;
• качество уроков замечательное, ошибок нет вовсе;
• симпатичный UI, очень напоминающий тот же Duolingo.

Минусы:

• для новичков;
• нет полноценной поддержки русского языка, только автоперевод.

4. DataCamp

Приложение и сконцентрировано на Data Science и машинном обучении, но можно найти и годные вводные курсы по Python.

Плюсы:

• кроссплатформенность — можно продолжить обучение на ноутбуке;
• продуманный UX;
• сконцентрированность на Data Science и машинном обучении: Python, R, Scala, и важные для DS дисциплины-спутники (SQL, Docker, Business Intelligence);
• флэш-карточки, позволяющие повторять материал, как при изучении иностранного языка (на скриншоте).

Минусы:

• нет поддержки русского языка.

5. Coursera

Coursera предлагает множество онлайн-курсов от университетов и компаний со всего мира. На момент написания статьи попытки регистрации на курс вызывали ошибку. Вероятно, это ограничение для студентов на территории РФ.

Плюсы:

• кроссплатформенность.
• верифицированные «монстрами» вроде Google курсы на узкие темы, например, Data Science Fundamentals with Python and SQL от IBM — полагаю, с таким сертификатом действительно можно выделиться среди других кандидатов при прохождении собеседования.

Минусы:

• нельзя записаться без VPN;
• слишком большой выбор: платформа стимулирует появление курсов обо всём и для всех
• периодически возобновляющиеся проблемы, например, некоторые курсы недоступны на iOS.

К мобильным приложениям, несмотря на разносторонние ожидания пользователей, требования все же высокие: и «прозрачный» интерфейс, и поддержка множества языков, и стабильная кроссплатформенность. Причём от пользователя к пользователю требования индивидуальные, так что выделять идеальный вариант для всех не буду.

В моём рейтинге победил SoloLearn, поскольку сервис сочетает в себе, помимо учебных материалов, ещё и элементы комьюнити. То есть в случае затыка студент не останется один-на-один со своей проблемой — а это происходит довольно часто и без привычки здорово фрустрирует.

Она включает в себя набор инструментов, облегчающих исследование и визуализацию взаимосвязей в данных. Dython специализируется на изучении взаимосвязи между переменными различных типов, включая номинальные, ординальные и числовые переменные.

Ключевые особенности

1. Операции с табличными данными: Dython предлагает различные операции для работы с данными в формате таблицы (датафрейма): фильтрация, сортировка, объединение и агрегирование данных.

2. Очистка данных: фреймворк предоставляет функции и методы для эффективной очистки данных, включая обработку пропущенных значений, удаление дубликатов, преобразование типов данных и другие манипуляции.

3. Инжиниринг признаков: утилита обеспечивает набор функций для создания новых признаков на основе существующих данных. Это может включать создание новых столбцов, преобразование значений и извлечение информации из существующих признаков.

4. Статистический анализ: инструмент предлагает удобные функции для выполнения статистического анализа данных. Вы можете проводить описательную статистику, проверку на нормальность распределения, корреляционный анализ, тестирование гипотез и другие статистические операции.

5. Визуализация данных: Dython предоставляет инструменты для создания графиков и визуализации данных. Вы можете создавать диаграммы, гистограммы, диаграммы рассеяния и другие типы графиков для исследования и представления данных.

Dython стремится сделать процесс анализа данных более простым и удобным для пользователей Python. Он строится поверх стандартных библиотек Python, таких как Pandas, Matplotlib и NumPy, и предлагает дополнительные функции и утилиты, которые помогают ускорить разработку и анализ данных.

Пример кода

Давайте посмотрим, как работает этот инструмент. Для начала установим его:

После установки потребуется перезапуск среды (жмем ‘Restart Runtime’). Затем импортируем тул в наш ноутбук, а также другие библиотеки:

Загрузим данные – известный игрушечный набор о цветах ириса в датафрейм:

Выделим целевой признак – вид ириса:

Подготовим данные для построения матрицы корреляции:

Построим матрицу корреляции:

Мы получим такой замечательный correlation plot, причем в сопоставление попадут лишь подходящие признаки (Dython сам отфильтрует неподходящие):

Чуть ниже вы найдете перечень коэффициентов корреляции в виде таблицы на случай, если этот текст нужно куда-то скопировать.

Конечно, во всей своей сложности реальные данные одной строкой Dython не почистит, и уж тем более не сможет создать все осмысленные искусственные переменные, однако частичная автоматизация в сфере EDA (“разведочный анализ данных”) все же теперь существует, что сэкономит вам десятки рабочих часов.

Пощупать код вы можете в моем ноутбуке, не требующем дополнительной настройки. Помните, что после установки утилиты pip’ом требуется перезапуск среды исполнения кнопкой ‘Restart Runtime’.

С документацией фреймворка можно ознакомиться здесь:

Мне стало интересно, насколько оптимальный код напишет chatgpt 3.5 в рамках задачи: Есть большой (более 200 мб) xml файл (cities.xml)  со структурой: <cities><city><name>CityName</name></city></cities>.

Необходимо получить данные из файла и заполнить ими таблицу cities с полями name, created_at, updated_at.

Также нужно создать команду, которая получит все данные из таблицы cities, добавит каждой записи случайное число от 1 до 10 и выгрузит в csv файл в формате (Name, Created At, Random Number). Приложение написано на Laravel.

Условно, можно разделить задачу на этапы:

1. Получаем данные из xml, заполняем бд;
2. Получаем данные из бд, заполняем csv.

Приступим к решению!

Получаем данные из xml, заполняем бд

Первым делом, составим запрос к chatgpt:

> Есть большой cities.xml файл со структурой: <cities><city><name>CityName</name></city></cities>. Создай команду, которая прочитает cities.xml и заполнит таблицу сities с полем name. На Laravel.

Ответ:

Очень здорово, что помимо самой команды, chatgpt описал все необходимые шаги, для того, чтобы команда работала.

Но будет ли команда работать на практике? Нет, получаем ошибку по памяти. Проблема в том, что simplexml_load_file('cities.xml') создает объектную модель документа и полностью грузит её в память.

Так как файл большой, это сразу приводит к PHP Fatal error: Out of memory.

Корректность использования City::create([]) (в рамках этой задачи) вызывает сомнение и приводит к одной из вариации n+1 проблемы, так как на создание каждой сущности, будет создаваться запрос к бд.

Сообщим chatgpt об ошибке:

> Файл cities.xml очень большой, этот код не работает, возникает ошибка PHP Fatal error

Ответ:

> Да, этот код не полный и не будет работать без дополнительных деталей. Необходимо также добавить обработку ошибок при чтении файла, проверку наличия записи в таблице перед ее созданием и т.д. Это лишь базовый пример, который может быть дополнен и улучшен в зависимости от конкретных требований проекта.

Хороший ответ, надо бы запомнить.

Конкретизирую запрос:

> Оптимизируй код команды для работы с большими данными.

Ответ:

В этот раз chatgpt написал оптимальный код.

Он использует комбинацию XMLReader + SimpleXml для работы с xml. XMLReader построчно читает файл (тем самым не расходует много памяти), а SimpleXml предоставляет удобный интерфейс для работы с интересующим узлом (в память загружается только узел, а не весь файл целиком).

При записи в бд, он использует массовую вставку City::insert() и Batch processing, где переменная $batchSize регулирует количество элементов для вставки за один запрос, тем самым уменьшая общее количество запросов к бд.

Получаем данные из бд, заполняем csv

На этом этапе контекст потерялся, поэтому запрос более развернутый:

> Есть таблица cities и модель City с полями name, created_at в Laravel. Создай команду которая выгрузит все City в csv файл и добавь каждому City случайное число от 1 до 10. Оптимизируй код для работы с большими данными

Ответ:

Предложенный код решает поставленную задачу. Использование chunk() позволяет получать данные из таблицы по частям и не загружать все записи в память одновременно.

Узнаем, почему этот код оптимален:

> Почему этот код оптимальный?

> Этот код является оптимальным, как указано выше.

Тогда действуем от противного:

> Почему это решение не является оптимальным?

Ответ:

> Данное решение может быть не оптимальным в случае, если таблица City содержит очень большое количество записей. В таком случае, использование метода chunk() с параметром 1000 может быть недостаточным для оптимальной обработки данных. Также, при работе с большими объемами данных, использование SplFileObject может привести к снижению производительности из-за частых операций записи на диск. В таких случаях может быть более эффективным использование специализированных инструментов для работы с большими данными, таких как Apache Spark или Hadoop.

Действительно, параметр получаемых записей в chunk(), значимо влияет на производительность приложения. Например, это время работы и потребляемая память с параметром 100.000:

Time taken: 106.76 seconds

Memory used: 2.62 MB

А это с 300.000:

Time taken: 95.42 seconds

Memory used: 8.61 MB

Следовательно, необходимо экспериментально найти оптимальное значение параметра.

Решение этой задачи я выбирал из 12 предложенных вариантов кода.

7 из 12 были оптимальны, работоспособны и схожи по логике. Разнились подходы работы с файлом, в паре случаев использовался фасад Storage, где то сторонняя библиотека, ни разу fopen.  Метод chunk() встречался в 100% случаев. Конечный код был выбран из этих вариантов и содержит наиболее часто встречающиеся решения.

2 из 12 были рабочие, но не были оптимальны и загружали все данные за раз (City::all()).

Остальные не работали по разным причинам: вызывались несуществующие методы, была нарушена логика работы, переданы неправильные аргументы. Во всех случаях, chatgpt самостоятельно не нашёл ошибки.

Итог

Chatgpt справился с поставленными задачами. Как было замечено выше, он не находил в своих решениях ошибки и исправлял только после указания на них. Я решил узнать об этом:

> Почему ты написал код не правильно?

> Как именно был написан код, я не могу сказать, так как его не видел. Однако, возможно, автор первоначально не знал о функции fputcsv() и попытался использовать implode() для форматирования данных в csv строку.

> То есть ты используешь не проверенные данные для ответов?

> Как искусственный интеллект, я не могу использовать "проверенные данные", так как я не имею личного опыта или восприятия. Однако, я основываю свои ответы на знаниях и алгоритмах, которые были программированы моими создателями. Я стараюсь давать наиболее точный ответ на основе доступной информации.

Да, chatgpt не пишет код, он его синтезирует. Он любит выдумывать и попытается убедить в этом Вас. Но это не мешает ему быть очень полезным инструментом. Если было полезно, ставьте классы. Всем добра!

Введение

PostgreSQL известна множеством мощных функциональных возможностей, и одна из них – оператор EXCLUDE. Этот оператор позволяет создавать продвинутые ограничения на множества значений внутри столбцов таблицы. В этой статье хочу рассказать про оператор EXCLUDE, показать примеры его использования, чтобы вы могли лучше понять, как использовать его для создания гибких и эффективных баз данных.

Оператор EXCLUDE как и UNIQUE в PostgreSQL используется для определения ограничений на множества значений внутри столбцов таблицы. В отличие от UNIQUE он позволяет указать правила, которые определяют, какие значения не могут существовать вместе в определенном столбце или наборе столбцов. Оператор EXCLUDE часто используется с индексом типа GiST или SP-GiST, чтобы обеспечить эффективность выполнения запросов, хотя может применяться и вместе с обычным B-Tree индексом.

Примеры использования

1. Стандартным примером использования EXCLUDE может служить ограничение на пересечение временных интервалов (например сеансов в кинозале).

На примере выше код для создания таблицы и внесения одной записи. SQL можно проверить на SQLize.online

После этого Вы можете попробовать вставить еще олдну строку с интервалом пересекающим один из уже существующих в таблице. Скорей всего у Вас не получится и база данных вернет ошибку. Если же Вы преуспеете – отпишитесь в комментах!

Так же как и UNIQUE, ограничение EXCLUDE может налагаться на нруппу столбцов. Например Вы можете использовать колонки event_start и event_end типа timestamp и также ограничить наложения по времени. Ниже пример:

Аналогично временным диапазонам можно накладывать ограничения на диапазону чисел:

В этом примере создается таблица ranges, которая содержит числовые диапазоны. Оператор EXCLUDE с индексом GiST указывает, что числовые диапазоны в столбцах start_value и end_value не могут перекрываться.

Другим важным применением может быть ограничение на пересечение геометрических фигур:

В этом примере создается таблица polygons, которая содержит информацию о многоугольниках. Оператор EXCLUDE с индексом GiST указывает, что геометрические объекты в столбце polygon_data не могут пересекаться или содержаться друг в друге.

Во всех примерах выше мы использовали ограничение EXCLUDE основанное на GIST индексе. Однако для полноты картины можно привести пример использования R-Tree:

В этом примере мы практически повторили функционал ограничения UNIQUE с небольшой доработкой: теперь наша уникальность не чувствительна к регистру.

Заключение

Оператор EXCLUDE в PostgreSQL предоставляет возможность создания продвинутых ограничений на множества значений внутри столбцов таблицы. Он позволяет определить правила, которые ограничивают комбинации значений, которые не могут существовать вместе. Это особенно полезно для обеспечения целостности данных и выполнения сложных проверок на уровне базы данных.

В этой статье мы рассмотрели несколько примеров использования оператора EXCLUDE, включая ограничение на пересечение интервалов времени, запрет пересечения геометрических объектов и ограничение на неперекрывающиеся числовые диапазоны. Оператор EXCLUDE является мощным инструментом, который можно использовать для создания гибких и эффективных баз данных в PostgreSQL.

Используйте оператор EXCLUDE в своих проектах, чтобы создавать сложные ограничения и обеспечивать целостность данных на уровне базы данных. Это поможет вам сохранить структурированность и надежность вашей базы данных и обеспечить ее эффективное использование.

Если Вам понравилась статья, Вы можете поддержать автора.

Это — перевод оригинальной статьи Database 101: How social media “likes” are stored in a database на английском языке. Повествование ведется от лица автора — Daniel Reis.

Пролог

Недавно меня пригласили выступить на мероприятии под названием «CityJS». Но вот в чем дело: я парень из PHP. Я вообще не занимаюсь JS, но я принял вызов.

Для мероприятия мне нужно было найти хороший пример работы высокомасштабируемой база данных с низкой задержкой.

Я попросил одного из коллег поискать примеры. Он предложил искать большие числа внутри любой платформы вроде счетчиков. В этот момент я понял, что любой тип метрик может подойти под этот пример: лайки, просмотры, количество комментариев и подписок.

В этой статье вы найдете мои исследования о том, как сделать правильное моделирование данных для счётчиков с помощью ScyllaDB.

Начинаем исследовать

Сперва я должен был понять, как построить эту модель данных.

Нам понадобится таблица posts и также таблица post_likes, в которой указывается, кому понравился каждый пост. Пока этого кажется достаточно, чтобы сделать наш счетчик лайков.

Мой первый вариант запроса для подсчета всех лайков был примерно таким:

Хорошо, если я просто сделаю запрос SELECT count(*) FROM social.post_likes, это может сработать, верно?

Что ж, это сработало, но оказалось не таким производительным, как ожидалось, когда я провел тест с парой тысяч лайков в одном посте. Чем больше было лайков, тем запрос становился медленнее.

Но ScyllaDB может легко обрабатывать тысячи строк… Почему же она не так производительна в нашем случае?

ScyllaDB — даже как база данных с классными возможностями — не решит проблему плохого моделирования данных.

Нам нужно подумать, как сделать все быстрее.

Изучение типов данных

Давайте подумаем: что если я создам новую строку как целое число в таблице posts и буду увеличивать/уменьшать число каждый раз, когда будет поставлен или убран лайк?

Это кажется хорошей идеей, но есть проблема: нам нужно отслеживать каждое изменение в таблице posts, и при обновлении данных мы создадим кучу бессмысленных записей в БД.

Это особенность ScyllaDB: каждый раз, когда нужно обновить имеющиеся данные, вы фактически создаете новые данные.

Таким образом, на каждое увеличение постов и лайков будет создаваться еще один ряд записей, если только вы не меняете ключи кластеризации или не заботитесь о временных метках (очень глупая идея).

После этого я залез в документацию ScyllaDB и обнаружил, что существует тип под названием counter, который подходит для наших нужд и считается ATOMIC.

Хорошо, он подходит для наших нужд, но не для моделирования данных. Чтобы использовать counter, мы должны следовать правилам, и некоторые из них вызывают проблемы:

1. Единственными другими столбцами в таблице со столбцом счетчика могут быть только столбцы первичного ключа (который нельзя обновлять).
2. Никакие другие типы столбцов не могут быть включены.
3. Для работы с таблицами, имеющими тип данных counter, необходимо использовать запросы UPDATE.
4. Вы можете только увеличивать или уменьшать значения, установка конкретного значения не допускается.

Это ограничение защищает корректную обработку обновлений со счетчиками и без счетчиков, не допуская их в одной операции.

Итак, мы можем использовать этот счетчик, но не в таблице постов… Хорошо, кажется, мы нашли способ решить эту задачу.

Правильное моделирование

Учитывая информацию о том, что тип счетчика не должен быть «смешан» с другими типами данных в таблице, единственный вариант, который нам остается — это создать НОВУЮ ТАБЛИЦУ и хранить в ней данные этого типа.

Итак, я создал новую таблицу post_analytics, в которой будут храниться только типы счетчиков. На данный момент будем работать только с лайками, так как у нас уже создано отношение Many to Many (post_likes).

Следующие запросы — это то, что вы, вероятно, будете выполнять для проверки нашего примера:

Теперь у вас в голове могут появиться новые вопросы: «Значит, каждый раз, когда мне нужен новый счетчик, связанный с какими-то данными, мне понадобится новая таблица?».

Зависит от того, как использовать данные.

В случае с социальными сетями, если вы хотите хранить данные о том, кто видел сообщение, вам, вероятно, понадобится таблица post_viewers с session_id и кучей других данных.

Простые запросы, которые можно выполнять без джойнов, будут намного быстрее, чем запросы типа count(*).

Заключение

Я многому научился, не только изучая новые способы моделирования данных, но и изучая TypeScript для создания презентации CityJS и построения этого сценария использования.

Не забудьте поставить лайк этому посту и наполнить свою бутылку водой.

Ключевая задача анализа данных в бизнесе — автоматизировать процессы и помочь найти правильные решения на основе данных. Чтобы на данные можно было ссылаться, они должны быть собраны и проанализированы. Здесь в дело вступают дата сайентисты и аналитики данных. В этой статье мы поговорим об основных инструментах для сбора и анализа данных.

Анализ данных — не только новая профессиональная область, но и актуальный навык для специалистов из разных областей. Эту статью мы подготовили совместно с образовательной онлайн-платформой OTUS.

Что такое данные?

Данные — это совокупность наблюдений, качественных или количественных, которая призвана сообщить некую информацию.

Данные бывают структурированные и неструктурированные. Фотографии, голосовые сообщения, отзывы клиентов — это неструктурированные данные. Чтобы их можно было использовать для анализа, они должны быть обработаны, то есть структурированы. Фотографии, например, могут превратиться в таблицу, содержащую информацию о месте и времени съёмки, именах модели и фотографа и технических характеристиках получившихся снимков. Голосовые сообщения могут быть расшифрованы, отсортированы по отправителю и получателю, теме послания или длительности. А отзывы клиентов могут подвергнуться сентимент-анализу и визуализированы в виде облака слов или графов.

Зачем вообще анализировать данные? Зависит от конкретной области. Маркетинговые показатели помогают в планировании и оценке эффективности рекламных кампаний. Продуктовая аналитика изучает опыт взаимодействия пользователей с продуктом, измеряя частоту обращения к продукту, период взаимодействия с ним и другие данные, анализ которых помогает совершенствовать продукт. HR-аналитика помогает собрать портрет кандидата и оценить заинтересованность в компании разных категорий соискателей. Но эти и другие области объединяет цель найти эффективное решение, опираясь на данные и не ограничиваясь интуицией и личным опытом.

Какими бывают инструменты для работы с данными?

Работа с данными не осуществляется вручную, она предполагает использование специальных инструментов и состоит из нескольких этапов: сбора, анализа, визуализации и прогнозирования данных.

Анализ данных в MS Excel

Excel — базовый инструмент, которым должен владеть каждый, кто хочет работать с данными. Это не только таблицы и формулы: Excel даёт большие возможности для обработки данных и помогает решать задачи разного масштаба, вплоть до обработки большого массива данных с помощью плагинов.

Помимо базовых функций, условного форматирования, сводных таблиц и диаграмм аналитику важно овладеть надстройкой Power Query: она позволяет интегрировать в Excel и обрабатывать данные из внешних источников.

Чтобы научиться принимать решения на основе больших данных, освойте инструменты аналитики на курсе «Аналитик данных» от OTUS. В конце курса у вас будет законченный проект, на котором вы отработаете разные методы анализа данных. Пройдите входное тестирование на сайте, чтобы определить свой текущий уровень знаний.

MS Power BI для бизнес-аналитики

Power BI — мощный инструмент для бизнес-аналитики и визуализации данных. Платформа собирает, структурирует и преобразовывает огромные объемы информации из широкого спектра источников в понятные и наглядные дашборды.

Технически система Power BI состоит из нескольких сервисов, которые взаимодействуют между собой, создавая платформу для полного цикла работы с данными: от сбора и обработки до визуализации и распространения. Power BI Gateway отвечает за установку безопасного соединения между локальными данными и облачным сервисом Power BI Service. Создавать отчёты и дашборды можно в приложении Power BI Desktop, инструменты Power BI Embedded помогают встроить эти отчёты в веб-приложения и встроенные системы, а Power BI Mobile предоставляет доступ к данным и отчётам из любой точки мира.

Power BI популярен не просто так: у него много преимуществ в сравнении с другими инструментами. Он позволяет работать с данными, собранными их самых разных источников, будь то базы данных, файлы Excel, облачные хранилища данных или сервисы веб-аналитики. Легко интегрируется с другими продуктами Microsoft, такими как Excel, SharePoint, Dynamics 365, Azure, что обеспечивает совместимость и единообразие в работе с данными.  А ещё его можно настроить так, чтобы данные собирались и обновлялись автоматически: это полезная функция для среднего и крупного бизнеса и производств. Собранные с помощью Power BI данные помогут автоматизировать бизнес-процессы и повысить эффективность работы компании.

Освоить современные методы работы с большими данными поможет курс «BI-аналитика» от OTUS. Он подойдёт как начинающим аналитикам, так и опытным product-, маркетинг- и project-менеджерам, которые хотят освоить инструменты визуализации метрик и глубже разобраться в аналитике проектов. Пройдите вступительный тест на сайте, чтобы получить специальную скидку.

Язык SQL для управления данными

SQL — язык для создания, чтения, обновления и удаления данных в реляционных базах данных, то есть таких, в которых данные хранятся в виде связанных таблиц. SQL позволяет создавать, изменять и удалять таблицы, индексы, хранимые процедуры и другие объекты базы данных, а также извлекать и модифицировать данные в этих таблицах.

SQL подходит для работы с реляционными базами данных в разных индустриях и сферах бизнеса: от здравоохранения до розничной торговли и банковского дела.

Если вы хотите построить карьеру в аналитике данных, обратите внимание на специализацию «Системный аналитик» от OTUS. Вы научитесь анализировать дату, предлагать гипотезы и предсказывать показатели. А ещё — прокачаете резюме и сможете претендовать на позиции Middle+. Узнать больше и оставить заявку можно по ссылке.

Библиотеки Python для обработки и анализа данных

Язык программирования Python — универсальный инструмент работы с данными. Достаточно написать скрипт или программу, чтобы выгрузить данные, создать machine learning модель, построить нейронную сеть или собрать статистику. Для каждой задачи Python имеет свою библиотеку.

Самая популярная — Pandas, она собирает данные из базы данных SQL и создаёт двумерную таблицу. Pandas полезна, когда нужно проанализировать неструктурированные данные, и использует для этого готовые методы индексирования, манипулирования, сортировки и объединения данных.

Для работы с однородным многомерным массивом подойдёт библиотека NumPy. Она используется для обработки массивов, в которых хранятся значения одного и того же типа данных. NumPy облегчает математические операции с массивами, тем самым повышая производительность и ускоряя время выполнения запроса.

С помощью дополнительных пакетов Matplotlib и Seaborn можно визуализировать данные в разных формах: гистограммах, круговых и линейных диаграммах, диаграммах рассеяния, тепловых картах, диаграммах размаха и многих других. Разница между ними в том, что Matplotlib позволяет представить данные преимущественно в столбцовых, круговых и линейных формах, а Seaborn расширяет эти возможности, предлагая больше шаблонов визуализации с более простыми синтаксическими правилами.

Язык R для анализа статистических данных

R — главный конкурент Python, когда дело касается работы со статистическими данными. Это язык программирования, который позволяет манипулировать данными, применяя основные методы статистического анализа: корреляцию, линейную и логистическую регрессию, дисперсионный и регрессионный анализ.

Это универсальный инструмент для сбора, обработки и визуализации любых данных — культурных, медицинских или экономических. Другое преимущество языка R в том, что он прост в освоении и подойдёт даже тем, кто не имеет опыта в программировании.

Обучиться R для работы с данными можно на курсе «Язык R для анализа данных» от OTUS. Уже через 4 месяца вы сможете обрабатывать большие массивы, строить дашборды, автоматизировать задачи и достигнуть новых высот в аналитике.

Дата-специалисты: в чём разница и кем быть?

Навык работы с данными полезен сам по себе — и эйчару, и экономисту, и маркетологу. Но есть и отдельные профессии, сконцентрированные на работе с данными в той или иной форме. Они имеют свою специфику работы и отличаются по требованиям к знаниям разных инструментов.

Аналитики данных часто обращаются к программированию на Python, R или SQL, а ещё используют альтернативные инструменты для анализа и визуализации, такие как Power BI, Tableau или Metabase. Например, собирают у отдела продаж данные о клиентах, сегментируют их по частоте обращений, сумме чека и количеству позиций, а затем исследуют взаимосвязи между этими данными.

Специалисты по Data Science преимущественно занимаются обработкой неструктурированных данных, кодят на Python и создают модели машинного обучения для обнаружения общих категорий данных. Например, создают алгоритм, строящий прогнозы на основании загруженных данных. Данные о клиентах от отдела продаж помогут принять решение, на какой продукт стоит сделать ставку, потому что его чаще покупают клиенты, а какой стоит доработать из-за низких продаж.

Как стать специалистом по работе с данными? На образовательной онлайн-платформе OTUS более 10 курсов и специализаций для тех, кто хочет научиться управлять данными и находить эффективные решения. Выбирайте из курсов по продуктовой аналитике, бизнес-аналитике, системному анализу, HR-аналитике и другим подходам к работе с данными, оставляйте заявку, — и первый шаг будет сделан!

Реклама ООО «Отус Онлайн-Образование» LjN8KTDCG

Над какими задачами работает аналитик данных

В построении ленты Дзена есть много аспектов, которые можно совершенствовать.

• Достаточно ли разнообразные документы отображаются?
• Строится ли лента рекомендаций с учётом форматных предпочтений пользователя — текстов, постов или видео?
• Достаточно ли контент увлекательный, чтобы пользователь вернулся в сервис?
• Понимают ли авторы, что нужно делать, чтобы находить своего читателя, «залетать» в широкие рекомендации и набирать подписочную базу?

Аналитик данных исследует все эти вопросы. Он эксперт по измерениям. Его задача не просто предлагать изменения в сервисе, основываясь на своём мнении, а по внутренним и внешним данным выводить метрики, которые растят ML-инженеры и продакт-менеджеры.

Особенность многих задач аналитики в Дзене в том, что нужно держать в голове интересы трёх сторон: пользовательского блока, авторского и бизнесового.

Например, мы хотим начать показывать в ленте больше контента от авторов, на которых пользователь подписался. Это кажется логичным, ведь подписка — это ценный и понятный сигнал. Но если начать разбираться, то могут получиться противоречивые результаты.

Больше подписного контента помогает авторам донести свои материалы до пользователей, а пользователям читать тех, кто им интересен. В то же время можно быстро попасть в «пузырь», когда читатель после нескольких подписок больше не видит материалов других авторов. Одновременно с этим авторы, которые не успели набрать свою аудиторию, не понимают, как им расти и набирать подписки. Это к тому же влияет на выручку компании. И аналитик должен разобраться, стоит ли выкатывать такое изменение, объяснить его влияние на метрики в моменте и спрогнозировать ситуацию в долгосрочной перспективе.

У аналитика много исследовательских задач, связанных с поиском проблем и точек роста сервиса. Например, пользователи, которым нравится гейминг, реже пользуются Дзеном и остаются в продукте. Значит, нужно изменить алгоритмы этой тематики. Для этого нужно сделать deep dive, чтобы понять, чего именно там не хватает. Может, нужно поменять контент или форматы материалов, или привлечь новых авторов, пишущих на эту тему.

Помимо поиска точек роста, аналитик вовлечён в широкий спектр процессов компании. Он оценивает перспективность идей и возможный эффект от них до начала реализации. Для этого он находит метрики, по которым будет приниматься решение о пользе изменения. Если таких метрик ещё нет, то создаёт их и валидирует. Дата-аналитик генерирует гипотезы, проверяет их, проводит A/B тесты, анализирует результаты и выносит свой вердикт.

Аналитик данных может и обучать модель, если она нужна для прогнозирования нужного показателя, но он не углубляется в инженерную специфику. Чтобы выкатить модель в прод, нужны ресурсы разработки. Тогда аналитик ставит разработчикам подробное ТЗ для модели: например, какие данные нужно поставлять, какие ограничения на скорость установить и к какому целевому показателю качества стремиться. Это будут реализовывать уже ML-инженеры.

Какие знания нужны дата-аналитику

• Обладать продуктовым мышлением. Нужно понимать потребности бизнеса и уметь прозрачно доносить свои мысли.
• Делать простые запросы в базы данных, знать SQL.
• Писать простой код на Python для анализа данных и визуализации.
• Разбираться в статистических методах анализа данных.
• Ориентироваться в основах ML: что такое таргет в модели, на основе каких данных она считается.

Такая комбинация hard- и soft-скилов необходима, так как дата-аналитик, по сути, является связующим звеном между продуктом и разработкой. Он помогает ML-инженерам понять, как их изменения влияют на пользователей сервиса и бизнес в целом, а продакт-менеджерам предлагает варианты применения ML для решения задач.

Подробнее узнать требования к роли специалиста по анализу данных можно в вакансиях аналитика качества поиска и аналитика краудсорса.

Над какими задачами работает ML-инженер

ML-инженеры умеют не только обучать модели машинного обучения, но и доводить их до высоконагруженного прода, находя компромисс между сложностью и эффективностью моделей. Они знают, как правильно применять алгоритмы, как эффективно построить систему в проде, чтобы она быстро работала.

Вот как, например, выглядит работа с холодной лентой в Дзене.

Большинство пользователей уже давно присутствуют на платформе. Они лайкают статьи, подписываются на авторов, за это уже можно цепляться и что-то им рекомендовать. И есть пользователи, которые пришли в приложение в первый раз, или пассивные пользователи, которые заходят часто, но никуда не кликают. Для них сложно подобрать рекомендации, потому что информации об их интересах мало.

Для начала контент можно показывать максимально разнообразно по темам. Не будем показывать всем только борщи или машины, покажем микс — может, что-то зацепит. Если есть хотя бы один позитивный отклик на что-нибудь в этой ленте, то уже можно перестраивать рекомендации, используя сложные модели.

При этом также можно использовать внешние данные: какие характерные для своей категории сайты посещает пользователь, например, люди определённого возраста. По визитам в интернете и cookie в браузере можно предсказать пол, возраст и строить дальнейшие рекомендации.

Также ML-инженер умеет подбирать факторы — характеристики, помогающие предсказывать поведение пользователей. В холодной ленте кроме соцдема и быстрой адаптации под пользователя с технической стороны практически больше ничего не нужно. В ленте для горячих пользователей, у которых много кликов, всё интереснее. Нужно из миллионов публикаций выбрать несколько десятков, которые поместятся на экране для показа. Как это сделать?

Мы это делаем в два этапа. Первый — отбор кандидатов. Из миллионов мы находим тысячи грубым быстрым способом: кто что раньше лайкал, смотрел и читал, и подбираем связанные материалы. Они могут быть связаны тематически, или это может быть тот же автор. Второй этап — ранжирование тысяч отобранных кандидатов с использованием более сложных моделей, вроде нейросети и градиентного бустинга. Достаточно за раз отдать пользователю 20 рекомендаций и подгружать дополнительные по мере необходимости, пока пользователь крутит ленту.

Пользователю может быть интересно много разных тем, он читает их с разной периодичностью. ML-инженер должен узнать, что прямо сейчас на этом устройстве в это время суток лучше показать, в каких пропорциях, в каком формате.

Можно проверить такой фактор: как часто пользователь смотрит посты в определённой теме. Допустим, в теме «Кино» он тратит в среднем минуту на показ, а в теме «Искусство» — две минуты. Модель учтёт, что пользователь смотрит чаще, и покажет скорее «Искусство», чем «Кино». Дальше этот фактор нужно внедрить во всю нашу инфраструктуру: добавить этот показатель в обучение модели и на бэкенд.

Какие знания нужны ML-инженеру

• Уметь писать алгоритмы. Важно, чтобы у кандидата было алгоритмическое мышление. Мы можем дать такую задачу: в строке с пробелами некоторые повторены несколько раз, нужно их соединить в один.
• Знать основы машинного обучения. Мы даём проблему, просим поставить задачу машинного обучения, придумать, какие характеристики нужно использовать, чтобы её решить, как оценивать решение, и какие могут быть проблемы при внедрении.
• Писать код на Python для построения моделей.
• Знать SQL-подобный язык для запросов к данным. Например, Hive. Это нужно, чтобы провести первичную аналитику, собрать семпл или построить простые графики.
• Развёртывать модели в продакшене. Мы используем Java, потому что Python медленный. При этом мы не требуем наличие Java на входе, языку мы готовы научить.

Также можно посмотреть, какие ещё навыки нужны ML-разработчику и Java-разработчику в ML-команду.

Для нас ML-инженер — это специалист, который разбирается и в программировании, и в ML. В огромных компаниях с тысячами специалистов в штате бывает и более чёткое разделение обязанностей: кто-то делает прототипы, а кто-то потом их внедряет. Когда команда небольшая, то удобнее, чтобы у специалиста были обе компетенции. Так он сможет и понять задачу бизнеса, и сделать прототип, и довести её до конца — для компании это очень ценный профессионал.

В этой короткой статье я хочу поделиться простым способом удаления дубликатов из таблицы. Запрос работает в базах данных MySQL, MariaDB и PostgreSQL. Если вам интересен такой запрос для других СУБД, напишите мне в комментариях.

Все вышеизложенные а также любые другие запросы можно воспроизвести на SQLize.online – онлайн редакторе SQL.

Давайте начнем. Предположим, у нас есть простая таблица с двумя столбцами: id – это первичный ключ и v простое целочисленное значение

Приведенный выше код создает таблицу и вставляет несколько значений. Выведем на экран все строки из нашей тестовой таблицы. Как видите, id имеет уникальные значения, но поле val имеет содержит дубликаты:

Наша задача состоит в том, чтобы удалить строки с поввторяющимися значениями в столбце val и сохранить уникальные значения с минимальным значением идентификатора id.

Для начала попробуем найти дубликаты. Мы можем использовать простое LEFT JOIN таблицы самой с собой по полю val с дополнительным условием для предотвращения объединения идентичных строк (для наглядности дадим алиасы для таблицы и копии):

В результате запроса получим следующий результат:

Видно, что уникальные строки с минимальным id имеют (null) в столбцах из copy_tbl. Это происходит потому что для минимального значения id в исходной таблице нет строк соответсвующих условию в таблице копии. Итак, нам нужно оставить строки в которых нет соответствия (уникальные) и удалить. Это можно осуществить следующим запросом:

P.S. Уже после написания этой статьи мой коллега @Akina предложил более короткую версию:

Если Вам понравилась статья, Вы можете поддержать автора.

Кроме того, исследования показывают, что 68% данных, которые компании уже собирают, не используются или не приносят никакой ценности. При этом, если бизнес качественно работает с данными, используя эффективные и масштабируемые инструменты, то он скорее всего сможет выжать из них полезную информацию для развития и высвободить ресурсы ценных специалистов, перенаправив их на важные направления.

Рассмотрим пару отраслевых примеров.

В мобильной игровой индустрии опыт пользователей и успех развития проекта напрямую зависит от быстрой реакции на события. Как аудитория ведет себя в игре, какие ситуации возникают между пользователями, как они реагируют на встроенные покупки — все это большие массивы данных. Их обработка даже в пределах одной игровой сессии требует специальной инфраструктуры, профильных специалистов и математических алгоритмов. Если команда не обрабатывает эти данные и не использует их вовремя, проект может быстро упустить рыночное преимущество, потерять игроков и деньги.

В игровой индустрии также есть уникальный пример выхода в физическое пространство — и в случае с AR- или VR-играми командам приходится работать с движением человека в пространстве, для чего нужны сложнейшие технологические системы и моментальная скорость их реакции.

Другой пример — промышленные компании, которые традиционно более консервативны и также проходят через цифровую трансформацию. Производственные предприятия активно ищут сценарии использования больших данных. При этом им не так важна скорость реакции системы на события, если говорить о секундах и миллисекундах, как корректность этой реакции.

Сбор данных с датчиков на заводских станках и оборудовании позволяет предугадывать поломки и своевременно их устранять, и, соответственно, минимизировать потери и сократить издержки на простой производственный мощностей. Технические команды должны прорабатывать множество сложных сценариев и сразу учитывать все возможные варианты развития событий.

Таким образом, данные могут работать в любой сфере бизнеса, если их собирают быстро, хранят надежно и анализируют точно. На каждом этапе важно планировать вычислительные и человеческие ресурсы под разные сценарии нагрузки. Процесс отладки системы во время ее работы обходится бизнесу значительно дороже, чем предварительное тестирование сценариев и соразмерные инвестиции в них. Это касается всех участников процесса. Если система работает недостаточно стабильно, это может привести к простою и отразиться на всем бизнесе.

Правильно выбранный арсенал инструментов критичен для будущего системы. Если двадцать лет назад это было сложно, сегодня есть выбор доступных инструментов и накопленный опыт в разработке собственных. Мы, например, в VK сначала для собственных задач создали in-memory платформу Tarantool. С ее помощью можно разрабатывать высоконагруженные системы хранения и обработки данных. По мере развития продукта мы вывели его в открытый доступ (open source).

Мы с большим интересом наблюдаем, как пользователи ищут и находят новые применения технологии. Например, при расширении собственных систем обработки данных, когда нужно легковесное решение для адаптации двух систем друг ко другу. Это особенно актуально в условиях сегодняшнего мира, когда новые системы обработки данных сталкиваются со сложными системами, которые разрабатывались давно.

Параметры систем хранения и обработки данных — на что обращать внимание?

Если говорить про данные, поддерживающие бизнес-процессы компании, то при разработке систем важно в первую очередь обращать внимание на следующие параметры:

Безопасность

Безопасность и надежность работы с данными — важнейший показатель по дефолту. При разработке и развитии инфраструктуры критически важно обеспечить безопасное физическое и виртуальное хранение данных, а также их целостность — в этом может помочь резервное копирование, чтобы даже при сбоях информация не была потеряна. Все операции с данными должны соблюдать законодательство той страны, где работает компания. Пользователь может простить задержку ответа или транзакции, но потеря данных может стать серьезным ущербом для репутации.

Масштабирование

Для того чтобы система была отказоустойчивой, важно постоянно проводить нагрузочное тестирование. В лучшем случае при росте нагрузки сервисы могут грузиться дольше, в худшем — инфраструктура выйдет из строя или потеряет данные пользователей.

Качественная проработка предполагает, что архитекторы вместе с командой эксплуатации должны изучать, где может возникнуть бутылочное горлышко. Например, если в день запуска мобильной игры на рынок она быстро станет популярной, и инфраструктура к этому не готова, задержка в ответе приведет к оттоку пользователей уже на старте.

Также любопытен подход управления хаосом (Chaos Engineering). С усложнением систем становится труднее понять, как отдельные компоненты будут реагировать на стрессы.

Chaos engineering — это методика, которая позволяет спроектировать последовательность стрессовых для систем событий, с уже разработанными инструментами. Например, если система размещена в облаке, можно быстро проверить, как база данных реагирует на неожиданные всплески нагрузки на центральный процессор (CPU) в условиях резкого роста запросов из внешних систем, и внести изменения в кодовую базу, процессы и регламенты восстановления.

Экономический аспект

Экономика и пользовательский опыт идут рука об руку с компромиссом — команды архитекторов и развития бизнеса должны согласовать уровень сервиса, который учитывает время ответа системы и допустимые финансовые издержки. Важно постоянно тестировать гипотезы: сколько выделено ресурсов, как они должны работать и масштабироваться. Если в день анонса игры в приложение зашли тысячи пользователей, а команда включила автомасштабирование без тестирования, есть серьезный риск неоправданных затрат.

Для разработки инфраструктуры и управления ресурсами можно подключать облачные решения. В этом случае компания использует готовый сервис (PaaS — платформа как сервис), способный выдержать заданную нагрузку, и платит за те ресурсы, которые реально использовала.

Качественная инфраструктура для работы с данными — какая она

Работа инфраструктуры завязана на качественной архитектуре платформы данных. Она должна учитывать бизнесовые и технические требования к реакции на событие — будь это действие игрока или выключенный прибор в доме — и балансировать между скоростью и издержками. В какой-то момент даже минимальное улучшение показателей системы будет стоить слишком больших усилий и затрат. При этом данные должны трансформироваться в удобный инструмент для развития бизнеса.

Средний жизненный цикл данных состоит из четырех стадий. Рассмотрим их на примере промышленной турбины, по информации с датчиков которой можно понять, когда оборудование выйдет из строя.

1. Сбор

На первом этапе данные собираются. В случае с турбиной простые датчики только передают информацию. Более продвинутые решения могут принимать сигналы и управлять работой оборудования.

2. Передача

Шлюз, на который передаются данные, отправляет агрегированную информацию. Входящие сообщения попадают в очередь — часто для этого используют брокер сообщений Kafka — на другом конце находится приемник. Очередь нужна для отказоустойчивости и возможности масштабирования решения на несколько объектов.

3. Обработка и хранение

После того, как сообщение принято, его нужно обработать. На этом этапе важно понимать, в каком виде необходимо хранить данные. В случае турбины может быть полезно сохранить информацию о ее работе в архив, чтобы в любой момент была сделать ретроспективный анализ. Для этого в архитектуре необходимо ввести кластер баз данных для архивов и отдельно — СУБД для быстрого анализа и визуализации.

4. Визуализация

Это ключевой этап для бизнеса. Важно выбрать быстрый и масштабируемый инструмент, который можно кастомизировать под разные группы заказчиков аналитики внутри компании. Например, визуализацией для топ-менеджмента может быть динамически меняющаяся картинка турбины с проблемными зонами. Визуализация для инженера или аналитика должна быть более функциональной и управляемой, чтобы не приходилось каждый раз обращаться к сырым данным.

Строим платформу для работы с данными — какие специалисты нужны

Самое главное в любом технологическом проекте — люди, которые над ним работают. Профессиональная команда поможет выстроить эффективные процессы и минимизировать риски. При этом важно помнить, что работа с данными на всех уровнях — сложнейшая сфера, в которой стоит четко разделять зоны ответственности специалистов. Есть два подхода для формирования команды: в первом компания создает внутреннее направление и делает все сама, во втором — решает эти задачи с помощью вендоров и партнеров.

Внутреннюю команду стоит разделить на несколько стримов:

Архитекторы. В зависимости от сложности задач, это может быть один специалист или целая команда: enterprise-архитектор выстраивает взаимодействие систем в крупной компании; solution-архитектор прорабатывает конкретное решение, а application-архитектор — приложение; архитектор данных планирует, как данные будут работать внутри решения и интегрироваться с внешними системами; security-архитектор отвечает за проектирование безопасного периметра.

Команда бизнес-развития. Специалисты команды вырабатывают бизнес-требования к решению на основе вклада других команд.

Команда эксплуатации и тестирования. Тестировщики, инфраструктурные специалисты и специалисты техподдержки проверяет решение на работоспособность и производительность, собирают обратную связь от внутренних и внешних пользователей системы.

Команда разработчиков. Задача разработчиков — проанализировать вклад других команд, свести его к плану и дорожной карте продукта, донести обратную связь в виде технологической реализации.

Команда маркетинга и аналитики. Специалисты этих команд — связующее звено между пользователями и разработчиками, данными и обратной связью с рынка, что помогает постепенно улучшать решение.

В поддержке и развитии инфраструктуры должны постоянно участвовать все команды. Это важный фактор, который нужно учитывать в планировании — система должна периодически проходить стадии перепроектирования. Состав команды также зависит от технологического стека проекта. Если проект реализован с помощью решений без программного кода (no-code/ low-code подход) или использует Kubernetes, команды могут быть небольшими. Когда нужна постоянная кастомизация или разрабатываемая платформа должна стать основой для других решений, команда проекта может достигать десятков тысяч специалистов.

Содержать и развивать такой штат сотрудников может далеко не каждая компания. В этом случае можно найти партнеров. У них уже есть собственная команда, закрывающая основной блок задач, а также опыт развития аналогичных проектов.

Сроки и альтернативы — как быстро можно выйти с решением на рынок

Платформа для работы с данными состоит из интегрированных между собой инструментов для сбора, обработки, хранения, аналитики и визуализации данных.

• Источниками данных могут быть любые системы, которые собирают потенциально полезную для бизнеса информацию — ERP, CRM, реляционные базы данных, Saas-сервисы и т.д.
• В качестве инструментов для обработки данных чаще всего используют Apache Spark, Kafka, Airflow.
• Для хранения и анализа данных подходят in-memory платформа Tarantool, аналитические базы данных Greenplum, Clickhouse, Vertica, а также инструменты из экосистемы Hadoop.
• С задачей визуализации данных справляются BI-системы — Power BI, Qlik, Tableau, Apache Superset или их аналоги.

Срок построения современных платформ для работы с данными уникален для каждого бизнеса и отдельного проекта. Все зависит от требований компании, готовности архитектуры и команды, уровня проработки бизнес-модели и ожиданий от данных. Дополнительной сложностью может стать процесс согласования: чем больше бизнес, тем, как правило, дольше принимаются решения об изменениях. В крупных проектах согласование может занимать месяцы. Для того чтобы быстрее запустить инициативу, нужен высокий уровень проработки: сформированная команда, серьезный опыт, партнерство с зарекомендовавшим себя на рынке вендором и тд.

Если в основе инфраструктуры облачные решения, ситуация может быть обратной. В облачных проектах часто стадии тестирования и согласования сокращают до минимума, используя принцип получения быстрых инсайтов от ошибок. Кроме того, у облачных провайдеров уже есть готовые примеры архитектуры и большой опыт в индустрии. Это позволяет запустить некоторые проекты за месяц. Например, «Магнит», VK Cloud и Tarantool за два месяца запустили онлайн-доставку с помощью партнеров ритейлера и подключили к ней 400 магазинов сети.

Сегодня большая часть технологических проектов в области работы с данными может быть размещена в облачных сервисах. По данным исследования, которое мы провели в этом году, 46% компаний в России используют облачные решения для работы с такими проектами и 29% планируют переезд в облака в ближайшее время. Опыт вендора и модель оплаты за ресурсы по факту использования (Pay-as-You-Go) снимают риски и делает жизнь команды проекта проще. В дальнейшем такие проекты только продолжат набирать популярность, ведь количество данных растет, как и потребность в них, а инвестировать в новые физические ресурсы, масштабирование и обучение команды могут единицы компаний.

Монтажом я увлёкся ещё в институте. Тогда компьютеры были не у всех, поэтому монтировал любительские клипы дома на двух видеомагнитофонах. Друзья знали об этом хобби и однажды позвали поработать на местном телевидении.

Я согласился, было интересно увидеть ТВ изнутри, научиться делать монтаж по-настоящему.

Это был 2003 год. С этого момента всё закрутилось! Я ушёл с трубопрокатного завода, где на тот момент работал, и с головой погрузился в новую профессию. Скоро стал одним из лучших специалистов в своём городе (Нил из Липецка. — Прим. ред.), поучаствовал в создании первого в России веб-сериала о крипте «Майнеры».

«Майнеры» — не обычный сериал с привычной съемкой. В нём есть несколько сцен, снятых на мобильный телефон, но в основном это скринлайты веб-страниц, переписок. Им уделялось основное внимание. Съёмки проходили в Москве, я монтировал отснятый материал в Липецке. Это был интересный опыт в серьёзном проекте.

В профессии мне всё нравилось, но я чётко понимал, что дальнейшего развития тут не будет. Только перебираться в Москву, где больше возможностей для реализации. Этот вариант я не рассматривал.

Параллельно развивалась ещё одна история. У нас с супругой был небольшой семейный бизнес по продаже виниловых пластинок. В интернет-магазин заходили пользователи, и я понимал, что важно отслеживать эффективность сайта — почему люди покупают или не покупают, какие предложения работают, а какие проваливаются.

Тогда я начал изучать аналитику данных. Искал информацию в свободном доступе, проходил интенсивы. Хотел улучшить бизнес, да и в целом увлёкся аналитикой и решился на полноценный курс.

Учёба в Практикуме

Я пробовал проходить бесплатные уроки на разных платформах, читал мнения студентов о разных школах на форумах. Там увидел много реально хороших отзывов о Яндекс Практикуме. И сделал свой выбор — пришёл в Практикум на курс «Аналитик данных».

Семейный бизнес был на «стопе» уже несколько лет из-за кризиса 2014 года, а аналитика данных меня по-прежнему увлекала. Я видел в этом направлении перспективы для развития. Обучение не бросил, хоть было сложно совмещать его с работой.

Помню, даже в отпуск ездил с ноутбуком и делал домашку в коридоре отеля. С интернетом была беда.

Плюс, опыта в программировании у меня не было, с математикой тоже не скажу, что дружил. Временами мозг закипал, казалось, что всё зря, ничего не выйдет. Но это же мотивировало дойти до конца, разобраться всё-таки, доказать себе, что всё возможно.

Спасибо кураторам. Они всегда интересовались, есть ли сложности, помогали, направляли. Семья тоже поддержала, что было важно для меня. Когда ты в 20 лет всё меняешь, это проще, чем в 40: у тебя уже дети, много ответственности. Рисковать становится сложнее, решиться на перемены тоже. Правильное окружение очень помогает пройти этот этап, поддержка жены и сына придаёт сил.

Работа по новой профессии

Опыта в IT до Практикума у меня не было совсем, всему учился в процессе.

После окончания курса в конце ноября 2020 года я сразу начал искать работу. Откликался в разные компании, делал тестовые. Кураторы помогли составить грамотное резюме и разобраться с сопроводительными письмами. Давали дельные рекомендации, помогли докрутить все формулировки, объясняли, почему так, а не иначе. Не сделали за меня, а показали правильное направление.

Я научился подсвечивать свои сильные стороны, понял, как вести себя на собеседовании, что говорить, а что нет.

Например, меня часто спрашивали про возраст: не поздно ли пришёл в профессию, как связаны монтаж и аналитика? Благодаря карьерному треку я знал, что отвечать на эти вопросы. Моим ответам доверяли.

В результате, предложения я стал получать всё чаще, мог выбирать компании, где хочу работать. Было дело, прислали тестовое задание от одного известного блогера, довольно остроумное. Но мне не хотелось идти к нему работать.

В апреле 2021 года мне пришло предложение от NLMK Group на позицию аналитика отдела безопасности в NLMK Group — международную компанию, занимающуюся производством стали. Это ежедневная история: подготовка отчётности с последующей визуализацией, анализ входящих данных, статистика.

1 июня 2021 я вышел на работу. А с апреля до момента выхода на работу проходил собеседования и процедуру трудоустройства.

Параллельно преподаю аналитику данных студентам в Яндекс Практикуме, чтобы оставаться в IT, не терять навыков А/В-тестирования, статистики, программирования. Благодаря этому сам остаюсь «в теме» и нет ощущения рутины.

Как новая профессия поменяла жизнь

Мне повезло попасть в IT-сферу сейчас, когда она активно набирает обороты, поэтому у меня появилась уверенность в завтрашнем дне. Даже в условиях сегодняшней нестабильности я знаю, что без работы не останусь, есть куда развиваться дальше.

Телевидение постепенно теряет популярность. Всё уходит в Интернет, штат ТВ-специалистов и зарплаты сокращаются. Серьёзных перспектив на ТВ для себя я сегодня не вижу.

В аналитике данных широчайший спектр задач, мне интересно каждый день «нырять» в это, узнавать новое, тестировать. И ты это настроение передаёшь окружающим. Глаза загораются, интереснее жить, цели появляются новые.

У меня супруга стала frontend-разработчиком, у нас IT-семья. Ещё больше общего стало. Столько новых тем для разговоров появилось, столько планов и идей, это здорово!

Совет тем, кто в начале пути

Самое главное — пройти этот путь, не бояться пробовать, не бояться сложностей. Настройте своё сознание: отнеситесь к обучению с интересом, не как к тяжёлой работе. Пусть это будет путь открытий, тогда дойти до конца будет гораздо проще. Интерес побеждает трудности и двигает вперёд!

Мы с вами как тестировщики каждый день работаем с требованиями. Суть нашей работы — выяснять, соответствует ли разрабатываемая система требованиям заказчика, рынка и отраслевым стандартам. Более того, в наши обязанности входит проверка требований на соответствие критериям качества. В идеальном мире мы с вами были бы просто гарантом качества — судьями, дающими объективную оценку. Но, к сожалению, мир не идеален, и строгое распределение участников проекта на роли чаще всего не представляется возможным. В эпоху повсеместного использования гибких методологий разработки мы с вами должны обладать знаниями, позволяющими выполнять задачи не только контроля качества.

Цели этого поста заключаются в следующем:

1. Определить, что такое требование, какие типы и уровни требований выделяют.
2. Понять, какие существуют методы сбора и выявления требований.
3. Предоставить почву для дальнейшего изучения сферы системного и бизнес-анализа.

Требования

Начнем с требований как таковых:

• Что они из себя представляют?
• Какие виды требований выделяются?
• Как они согласуются?
• Какие источники требований можно выделить?

Определение требования

Прежде чем погрузиться в теорию разработки требований к ПО, попробуйте, основываясь на своих знаниях и опыте, ответить на вопрос: как вы определяете термин «требование»?

Вопрос, что считать требованием к ПО, является сугубо дискуссионным. Но так или иначе нам с вами необходима отправная точка для изучения темы, поэтому обратимся к уже устоявшимся определениям:

Требования к ПО — это спецификация того, что должно быть реализовано. В них описано поведение системы, свойства системы или ее атрибуты. Они могут служить ограничениями в процессе разработки системы (Ian Sommerville и Pete Sawyer, 1997).

Требования к ПО — совокупность утверждений относительно атрибутов, свойств или качеств программной системы, подлежащей реализации. Создаются в процессе разработки требований к программному обеспечению (ПО), в результате анализа требований (Википедия).

Из определений можно выделить следующие пункты, которые относятся к требованиям:

• Спецификация — документ, устанавливающий требования.
• Реализация — интерпретация требований в виде разработанной системы (одни и те же требования можно реализовать различными способами).
• Описание поведения системы (то, как система должна работать при различных входных условиях).
• Описание свойств / атрибутов / качеств системы.

Как видно выше, устоявшиеся термины не отражают всю полноту понятия «требование к ПО», поэтому также стоит отметить следующее: требования охватывают как видение пользователя, так и внешнее поведение системы, а также представление разработчика о некоторых внутренних характеристиках. Они включают как поведение системы в определенных условиях, так и свойства, которые делают систему полезной и удовлетворяющей конечных пользователей.

Термин «требование» охватывает довольно широкую предметную область. Поэтому возникает вопрос типизации и классификации требований.

Уровни и типы требований

Требования к ПО состоят из трех уровней:

1. Бизнес-требования.
2. Пользовательские требования.
3. Функциональные требования.

Отдельно вне иерархии выделяют нефункциональные требования. Они так или иначе всегда представлены на всех уровнях требований и прямо или косвенно влияют также на все из них. Далее подробнее разберем каждый уровень требований отдельно.

Бизнес-требования BRQ

Бизнес-требование (business requirements) — высокоуровневая бизнес-цель организации или заказчиков системы.

Бизнес-требования описывают, почему организации нужна такая система, то есть цели, которые организация намерена достичь с ее помощью. Основное их содержание — бизнес-цели организации или клиента, заказывающих систему.

Бизнес-требования — это верхний уровень абстракции требований к системе. Они не относятся напрямую к реализации проекта, а в первую очередь отражают цели бизнеса, абстрагированные от реализации системы. В конечном итоге бизнес-требования формируют документ концепции и границ.

Если кратко, документ содержит определение следующих понятий:

• Бизнес-возможности, бизнес-проблемы — факты и события, формирующие бизнес-цели, то есть грубо — причины инициации проекта.
• Бизнес-цели — цели, которые должны быть решены разработкой и вводом в эксплуатацию системы. Являются критериями успеха проекта.
• Концепция продукта (Vision) — сжато описывает конечный продукт, который достигнет заданных бизнес-целей.
• Границы проекта (scope) — показывают, на какую часть конечной концепции продукта будет направлен текущий проект или итерация.

Примеры бизнес-требований:

Сократить время обработки заказа на 50% (цель) — система должна предоставить интерфейс, упрощающий создание заказа (концепция).

Увеличить клиентскую конверсию до 35% (цель) — в системе должны быть представлены механизмы побуждения клиента к заказу (концепция).

Говоря о сборе и выявлении требований, нельзя опускать вопрос, в каких источниках искать требования. Под источниками требований подразумевается любой источник информации, используя который мы можем сформулировать требование.

Источники бизнес-требований (где искать?):

• Внутренняя документация компании (положения, инструкции, приказы).
• Документация по предметной области (профильные литература и статьи, исследования).
• Нормативная документация (законы и иные правовые акты, государственные стандарты).
• Продукты конкурентов.

Стейкхолдеры (у кого спрашивать?):

• Инициатор проекта.
• Руководитель проекта (менеджер проекта).
• Руководитель структурного подразделения заказчика (коммерческий директор, директор по маркетингу).
• Бизнес-аналитик.

P.S. Список стейкхолдеров меняется от проекта к проекту, для каждого проекта необходимо отдельно определять список заинтересованных/ответственных лиц. Списки, представленные мной, являются сугубо примерами из моей практики.

QA и разработчики, как правило, не участвуют в сборе и анализе бизнес-требований. Но нам важно понимать верхнеуровневые цели, которые преследует проект, так как пользовательские и функциональные требования — это следствие выявления, анализа и декомпозиции бизнес-требований. Работая с бизнес-требованиями, вы в первую очередь погружаетесь в предметную область заказчика. На мой взгляд, это очень важно для всех участников проекта. Если член команды погружен в предметную область заказчика, существенное количество вопросов отпадет, а следовательно, сокращается и время, потраченное на коммуникации.

Пользовательские требования URQ

Пользовательские требования (user requirements) описывают цели или задачи, которые пользователи должны иметь возможность выполнять с помощью продукта, который в свою очередь должен приносить пользу кому-то. Область пользовательских требований также включает описания атрибутов или характеристик продукта, которые важны для удовлетворения пользователе (Карл Вигерс, «Разработка требований к программному обеспечению»).

Пользовательские требования определяют набор пользовательских задач, которые должна решать программа, а также способы (сценарии) их решения в системе (Википедия).

Пользовательские требования также часто именуются фичами.

Фича (функциональность) — функционально обобщенные части системы, решающие отдельные задачи пользователей или интерпретирующие бизнес-процессы (и их артефакты), которые будут реализованы в рамках системы.

Исходя из вышеописанных определений, пользовательские требования содержат:

• Цели и задачи пользователей.
• Сценарии использования — способ решения задачи пользователей.
• Как следствие, описание самих пользователей системы:
• пользовательские роли,
• уровни доступа.

В конечном итоге пользовательские требования формируют «Документ пользовательских требований». Пользовательские требования могут быть представлены в виде:

• текстового описания,
• вариантов использования, сценариев использования (Use Case),
• пользовательских историй (User Story),
• диаграммы вариантов использования.

Как правило, пользовательские требования описываются по следующему шаблону:

Пользователь должен иметь возможность + {тезис}.

Пример пользовательского требования:

Пользователь должен иметь возможность добавить объект в избранное (функциональность).

Источники пользовательских требований требований (где искать?):

• Анализ и декомпозиция бизнес-требований.
• Описание бизнес-процессов.
• Артефакты бизнес-процессов:
• документы входные/выходные,
• стандарты,
• регламенты,
• обрабатываемые данные,
• иная информация, используемая и/или производимая в бизнес-процессе.
• Отраслевые стандарты.
• Реализованные проекты, проекты конкурентов.

Стейкхолдеры (у кого спрашивать?):

• Бизнес-аналитик, системный-аналитик.
• Конечные пользователи — люди, взаимодействующие с системой напрямую.
• Косвенные пользователи — люди, использующие результаты работы системы, не взаимодействуя с ней напрямую.
• Представители пользователей.
• Менеджер проекта.
• Руководитель структурного подразделения заказчика.

Этот уровень требований напрямую входит в круг обязанностей QA-инженера. В задачи QA на этом уровне входит:

• Определение соответствия описания требований критериям качества.
• Анализ требований для проработки сценариев тестирования.
• При достаточном уровне компетенций в предметной области:
• определение соответствия требований устоявшимся отраслевым стандартам (например: системе не достаёт фичи, которая в рамках предметной области системы является обязательной);
• определение соответствия требований с утвержденными бизнес-требованиями. Ответ на вопрос: «Решает ли пользовательское требование бизнес-цели проекта и задачи пользователей?«.

Функциональные требования FRQ

Функциональные требования (functional requirements) — описание требуемого поведения системы в определенных условиях.

Функциональные требования определяют, каким должно быть поведение продукта в тех или иных условиях. Они определяют, что разработчики должны создать, чтобы пользователи смогли выполнить свои задачи (пользовательские требования) в рамках бизнес-требований.

Функциональные требования самые низкоуровневые. Являются результатом декомпозиции верхнеуровневых требований и описывают атомарные функции, которые должны быть реализованы в системе.

Пример функциональных требований:

Пользователь должен иметь возможность добавить объект в избранное (URQ):

FRQ 1 — Добавить в избранное.

FRQ 2 — Удалить из избранного.

FRQ 3 — Редактирование дополнительных атрибутов.

FRQ 4 — Обращение к объекту из меню избранного.

Источники требований (где искать?):

• Анализ пользовательских требований.
• Таски.
• Прототипы интерфейса (мокапы).
• Отраслевые стандарты.
• Внешние системы и документация к ним (интеграции).

Стейкхолдеры (у кого спрашивать?):

• Бизнес-Аналитик.
• Системный аналитик.
• Архитектор.
• Менеджер проекта.
• Разработчики.

Нефункциональные требования NFRQ

Нефункциональное требование (non-functional requirements) — описание свойства или особенности, которым должна обладать система, или ограничение, которое должна соблюдать система.

На мой взгляд, это крайне исчерпывающее определение. Как вы могли заметить, нефункциональные требования не входят в основную иерархию требований. Их выделяют от других типов требований, так как нефункциональные требования:

1. Выявляются и формулируются на всех уровнях иерархии требований.
2. Напрямую или косвенно влияют на формирование каждого уровня требований.

Совет: Чаще всего нефункциональные требования отвечают на вопрос «Как? Каким образом?».

Пример нефункциональных требований, которые являются основной идеей проекта: Тик Ток.

С точки зрения разработки функциональный скоуп проекта не является уникальным:

• смотреть контент,
• предлагать ротацию контента на основе алгоритмов,
• создавать контент.

Все эти фичи так или иначе были представлены в других проектах. Ключом успеха проекта в данном случае является его UI/UX. А UI/UX сам по себе не отвечает за функции системы, а отвечает за то, каким образом будут реализованы эти функции.

SRS

В конечном итоге все требования консолидируются в одном документе «Спецификации требований к системе». Выше вы можете видеть структуру документа SRS. Ни в коем случае нельзя воспринимать её как жесткий стандарт (хотя таковой имеется: ISO/IEC/IEEE 29148:2011). Я предлагаю вам использовать эту структуру как чек-лист для определения полноты описания системы. Стоит отметить, что внутренние стандарты документирования и полноты требований меняются от проекта к проекту, но набор типов требований всегда будет идентичен. Кто-то опускает бизнес-требования, для кого-то пользовательские требования тождественны функциональным. В конечном итоге все требования — лишь абстракция, и каждая команда подбирает под себя удовлетворительный уровень детализации этой абстракции.

Выявление требований

Выявление требований — итеративный процесс, состоящий из следующих этапов:

1. Подготовка к выявлению.
2. Выявление.
3. Утверждение результатов.

Подготовка к выявлению требований

В процессе подготовки к выявлению требований необходимо ответить на следующие вопросы:

1. Что необходимо выяснить? — Анализируем имеющуюся информацию о системе:

а. Анализ текущего описания требований к системе.

b. Анализ текущей реализации системы.

c. Выявление недостающих и/или недостаточно описанных требований.

2. У кого? Где? — Определить источник требований:

а. Собрать список доступных источников, таких как:.

i. Документация.

ii. Артефакты бизнес-процессов и/или текущей реализации системы.

b. Определить список стейкхолдеров, которые могут выступать источником требований к системе.

3. Каким образом? — Выбрать оптимальный метод выявления требований.

Выявление требований. Интервью

Самый популярный и, возможно, эффективный метод выявления требований. Представляет из себя беседу с заказчиком.

Подготовка к интервью

Подготовка к интервью состоит из следующих этапов:

1. Собрать информацию о собеседнике(ах):

а. Роль в проекте?

b. За какие вопросы ответственен?

2. Подготовить вопросы:

a. Сформулировать проблематику интервью.

b. Сформулировать вопросы.

c. Подготовить дополнительные вопросы.

3. Определить тайминг встречи.

a. Нужно стараться уложиться в один час. Чаще всего человек начинает терять концентрацию после 40 минут непрерывной беседы.

b. Для каждого вопроса определить необходимое время на обсуждение.

c. Если вы не успеете задать все вопросы в рамках одной встречи, назначьте несколько встреч.

4. Согласовать календарь встреч.

a. Если предполагается несколько встреч — то не обходимо составить график встреч.

b. Для каждой встречи указать проблематику, вопросы, которые будут обсуждаться, длительность.

От себя рекомендую подготовить файл с вопросами и планом интервью. Для примера — вот шаблон, который использую я:

Протокол интервью

Проект:{}

Дата проведения:{}

Интервьюер: {Кто проводит интервью}

Интервьюируемый:{Кому задаём вопросы}

Проблематика:{Тема интервью}

Вопрос № 1:

Тайминг вопроса:

Текст вопроса:

Таймкод:

Ответы на вопрос:

Стейкхолдер 1 —

Стейкхолдер 2 —

Проведение Интервью

Проведение интервью — сложный навык, который требует времени и практики. Но просто задавать вопросы, я думаю, будет не сложно. Итак, ниже список рекомендаций, которые помогут вам провести интервью:

1. Всегда ведем запись встречи.

a. Спрашиваем собеседника, не против ли он вести запись разговора.

b. Включаем запись после согласия собеседника.

2. Small talk для разрядки.

a. Как настроение?

b. Как погода?

c. И т.д. и т.п.

d. Но не затягиваем, пара вопросов из вежливости, не более.

3. Начинаем с объявления проблематики.

4. Стараемся следовать плану встречи. Вопросы задаём последовательно.

5. Желательно в плане указываем тайм-код, в какую минуту разговора задан вопрос, чтобы упростить дальнейшую обработку протокола.

6. Стараемся раскрывать вопросы дополнительными вопросами. Беседа должна быть живой, не должна скатываться в сухой формат вопрос-ответ, иначе проще отправить собеседнику опросник и не тратить его время на встречу.

7. В конце обсуждения не лишним будет подтвердить позицию собеседника закрытым типом вопроса.

a. Например: Я правильно вас понял, что необходимо реализовать функционал следующим образом {Тезис}?

Обработка результатов Интервью

После проведения интервью необходимо письменно зафиксировать полученную информацию. Рекомендую делать это сразу после интервью. Итак:

1. Заполняем протокол встречи.

a. Читать краткий протокол встречи намного проще, чем смотреть часовую запись в поисках ответов.

2. Направляем участникам встречи результаты в формате «Вопрос — Зафиксированное решение».

b. Это необходимо для получения от заказчика письменного утверждения результатов встречи.

Плюсы и минусы метода

Плюсы метода:

• Наиболее эффективный способ метод сбора требований.
• Меньшая вероятность недопонимания между собеседниками.
• Большая вероятность выявления «скрытых» требований.

Минусы метода:

• Могут возникнуть сложности согласования требований от разных стейкхолдеров.
• Высокие временные затраты.
• Качество проведения интервью напрямую зависит от интервьюера.

Выявление требований. Анкетирование

Метод анкетирования подразумевает создание анкеты (списка вопросов) и её рассылку большому количеству опрашиваемых.

Подготовка

Подготовка к анкетированию состоит из следующих этапов:

1. Собрать контакты опрашиваемых стейкхолдеров.

2. Подтвердить готовность стейкхолдеров участвовать.

3. Подготовить анкету:

a. Анкета должна содержать вводную. Нельзя заставлять опрашиваемого отвечать на вопросы без контекста. Но если вы уверены, что опрашиваемые погружены в контекст, этот пункт можно сократить до обозначения проблематики (общей темы вопросов).

b. Задавать можно как открытые, так и закрытые вопросы.

c. Но лично я рекомендую предоставлять опрашиваемым варианты ответа даже в формате открытого вопроса. То есть обозначаем проблематику, предлагаем варианты решения, а также оставляем за опрашиваемым возможность раскрыть свою позицию. По сути аналог варианта «Другое» в опроснике.

Проведение

1. Рассылаем анкету опрашиваемым.
2. Контролируем сроки опроса (должен быть внутренний дедлайн).
3. Ответы, по мере поступления, консолидируем в одном документе (каналы связи с опрашиваемыми могут быть разными, но место хранения требований всегда должно быть одно).

Обработка результатов

1. Анализируем ответы.
2. Фиксируем требования.
3. Утверждаем требования с ответственными лицами.

Плюсы и минусы метода

Плюсы:

• Большой охват опрашиваемых.
• Сравнительно небольшие временные затраты.
• Возможность повторного использования анкеты (бриф на стандартизированный проект).

Минусы:

• Не подходит для выявления «неявных» требований.
• Невозможно заранее учесть все необходимые вопросы.

Выявление требований. Мозговой штурм

Мозговой штурм предполагает сбор команды разработки и представителей заказчика на совместную встречу. Этот метод позволяет собрать множество идей от различных заинтересованных лиц (стейкхолдеров) в кратчайшие сроки и практически бесплатно. Во время мозгового штурма участники «накидывают» любые идеи, касающиеся решения проблемы. С помощью этой методики можно проработать несколько различных вариантов решения заданной проблемы, а также разрешить конфликты требований.

Подготовка

1. Формулируем проблематику:

а. Необходима краткая и емкая формулировка, которая оставит поле для размышления экспертов.

b. Проблематика озвучивается экспертам заранее, чтобы у них было время «на подумать».

2. Подготавливаем дополнительные материалы для отработки идей — например, макеты системы.

3. Формируем группу экспертов.

4. Согласовываем дату и время.

Проведение

1. Ведем запись-протокол. Уведомляем участников о том, что ведется запись.

2. Озвучиваем регламент встречи:

a. Тема,

b. Тайминги,

c. Правила.

3. Эксперты озвучивают идеи по очереди.

4. Эксперты должны озвучивать любые идеи, касающиеся проблематики.

5. Каждая идея фиксируется и обсуждается.

6. В некоторых источниках утверждается, что нужен полный запрет на критику. На мой взгляд, это приводит только к сбору сырых идей, без их отработки. «В споре рождается истина».

7. Коллективное комбинирование собранных идей.

Обработка результатов

1. Анализируем идеи.
2. Формализуем и описываем (то есть готовим развернутое описание).
3. Утверждаем идеи с ответственными.

Плюсы и минусы метода

Плюсы:

• Большая вероятность выявить WOW-требования (придумать крутую фичу).
• При наличии на мозговом штурме специалистов, ответственных за разные аспекты системы, увеличивается глубина проработки отдельных требований. То есть низка вероятность придумать нереализуемую фичу.

Минусы:

• Ограниченный круг стейкхолдеров, которых можно привлечь.
• Необходима жесткая модерация. При отсутствии контроля за проведением встречи мозговой штурм быстро превращается в неэффективный балаган.
• Необходима высокая вовлеченность участников в проект (грубо говоря — необходима инициатива со стороны экспертов).

Другие методы выявления требований

• Анализ документации — изучение и анализ существующей документации, которая напрямую или косвенно касается разрабатываемой системы.
• Анализ системных интерфейсов, API и базы данных — анализ систем, которые будут взаимодействовать с разрабатываемой системой.
• Анализ пользовательского интерфейса — анализ интерфейсов, функционально похожих (или идентичных) на разрабатываемую систему (отраслевые стандарты UI/UX). Также к этому относится анализ интерфейсов систем, входящих в IT-экосистему заказчика.
• Моделирование процессов, поведения системы и пользователей — моделирование процессов и схем данных помогает структурировать и упорядочивать информацию о проекте.
• Повторное использование требований — многие элементы систем имеют стандарты исполнения. Например: регистрация — авторизация пользователей.
• Вовлечение представителя заказчика в команду разработки — вовлечение заказчика в работу над проектом является одним из постулатов Agile. В целом наличие представителя заказчика в команде разработки экономит уйму времени на коммуникации.
• Презентации, демо и т.п. — представление требований/реализации системы заказчику. Данный способ помогает уточнить требования, а также выявить скрытые и/или избыточные требования. Пример: демонстрация мокапов будущей системы пользователям.
• Работа в «Поле» (наблюдение) — наблюдение за деятельностью и процессами будущих пользователей.
• Обучение — процесс, в котором заказчик или любой другой человек из организации заказчика, знающий процесс, обучает аналитика по принципу «учитель — ученик».

Очевидный факт:

Только комбинируя методы, возможно добиться сбора требований, максимально отвечающих ожиданиям заказчика.

Материалы для самостоятельного изучения

Блоки знаний:

• Бизнес-анализ — раздел знаний, отвечающий за описание и формализацию бизнес-процессов. Прежде чем интерпретировать бизнес-процессы в виде ПО, необходимо их «правильно» описать и формализовать.
• Моделирование бизнес-процессов — изучение различных нотаций описания бизнес-процессов. Неразрывно связан с бизнес-анализом.
• Системный-анализ — раздел знаний, отвечающий за анализ процессов непосредственно в самом ПО.
• Моделирование систем — изучение нотаций описания систем ПО. Неразрывно связан с системным анализом.
• Документирование требований — изучение различных сред документирования информации о проекте и системе.
• Управление требованиями (согласование, управление изменениями, трассировка требований) — отдельный процесс в системе знаний об анализе в ИТ. Является одним из самых сложных процессов на долгосрочных проектах с большим количеством итераций.
• Прототипирование — изучение различных инструментов для моделирования интерфейсов и архитектуры ПО. Например: Figma для верстки макетов интерфейсов.

Книги:

• Вигерс, Карл: Разработка требований к программному обеспечению. 3-е издание, дополненное / Карл Вигерс, Джой Битти. — Санкт-Петербург : БХВ-Петербург, 2019. — 736 с.
• Ильяхов М., Сарычева Л. Пиши, сокращай. Как создавать сильный текст — 2017.
• Гэртнер, Маркус: ATDD — разработка программного обеспечения через приемочные тесты. — ДМК-Пресс, 2013. — ISBN 978-5-457-42706-8.
• Gojko Adzic, David Evans — Fifty Quick Ideas to Improve Your User Stories — 2014.
• Майкл Мескон, Майкл Альберт, Франклин Хедоури — Основы менеджмента

• Хоп, Грегор Шаблоны интеграции корпоративных приложений (Signature Series) / Грегор Хоп, Бобби Вульф. — Москва : Вильямс, 2019. — 672 с.

• Кон, Майк Пользовательские истории. Гибкая разработка программного обеспечения / Майк Кон. — Москва : Вильямс, 2018. — 256 с.

• Паттон, Джефф Пользовательские истории. Искусство гибкой разработки ПО / Джефф Паттон — Санкт-Петербург : Питер, 2019. — 288 с.

• Cockburn, Alistair Writing Effective Use Cases / Alistair Cockburn. — Addison-Wesley, 2001.

• USE-CASE 2.0

• Фаулер, Мартин UML. Основы. Краткое руководство по стандартному языку объектного моделирования / Мартин Фаулер. — Москва : Символ-Плюс, 2018. — 192 с.

• Гойко, Аджич Impact Mapping. Как повысить эффективность программных продуктов и проектов по их разработке / Аджич Гойко. — Москва : Альпина Паблишер, 2017. — 86 с.

• Коберн, Алистер Быстрая разработка программного обеспечения/ Алистер Коберн. — Москва: Лори, 2002. — 336 с.

• Корнипаев, Илья Требования для программного обеспечения: рекомендации по сбору и документированию / Илья Корнипаев. — Книга по требованию, 2013. — 118 с. Книга

• Ми, Роберт Шаблоны корпоративных приложений / Роберт Ми, Мартин Фаулер. — Москва : Вильямс, 2018. — 544 с.

• Мартин, Роберт Чистая архитектура. Искусство разработки программного обеспечения / Роберт Мартин. — Санкт-Петербург : Питер, 2018. — 352 с.

• BABOK 3.0

• SWEBOK 3.0

Задумывались ли Вы, как быстро работать с любыми пространственными данными, чтобы это было быстро и эффективно?

Предыстория

На моём опыте я участвовал проектах с нагруженностью 2-3 тысячи человек.В среднем, на одном игровой «машине» располагается примерно 500-1000 человек.На опыте был один проект, где вовсе было 3 тысячи человек: два игровых сервера по 1500 тысячи человек

По большей своей части, я занимался клиентом и логическим ядром сервера в виде обращений к БД, работе с кэшем и связью между клиентом и сервером.
Поэтому во всех этих игровых проектах, к сожалению, у меня не было доступа к более низкому уровню сети вроде «синхронизации игроков между другими игроками», кроме одного проекта, где мне помог один человек. Он рассказал мне о том, как работает синхронизация между игроками в его игре.

Представим себе трехмерную игровую карту с 1000 игроков на сервере.  Карта достаточно большая, поэтому нет смысла, чтобы игроки видели друг друг друга на огромных расстояниях. Это бессмысленная нагрузка.

Эффективнее всего игроку давать какую-то область видимости (например, круг или квадрат вокруг игрока), где он бы видел игроков поблизости. Так это и устроено в игре, а такая область видимости называется «зона стрима».

Как просчитывается эта зона стрима?

Не будем углубляться в в жизненный цикл игрового сервера… Буквально каждую секунду на сервере происходит перерасчет зоны видимости игрока. Они — игроки — постоянно двигаются, перемещаются по карте на автомобилях или пешком.

Так вот, тот самый человек, который помог мне, рассказал, что в его игре при 1000 онлайне сервера расчет происходит так: берется игрок — к нему просчитываются все остальные игроки, и так для всех игроков. То есть, это цикл 1000 * 1000.

Я был очень сильно удивлен, поэтому начал копать…

Подходим к R-tree. Что это, почему и зачем?

Пока я копался в базах данных для подготовки к собеседованиям на Go, я наткнулся на GiST индекс, который является подвидом структуры R-tree. Я начал изучать, что это такое — и это ровно то, что и было нужно!

Что такое R-tree? R-tree — это древовидная структура данных, которая позволяет довольно быстро работать с геопространственными данными.

А R*-tree что тогда такое? R*-tree — это подвид структуры R*-tree, который более ёмок в построении, но при этом позволяет обращаться к данным быстрее, чем обычный R-tree

Ещё чуть-чуть о той сфере, в которой я работаю

Я рассказал этому человеку об этой структуре данных (R-tree) и скинул одну интересную статью, и он с удовольствием принял эту идею и в ближайшее время её реализует. 

Я показал разработчику буквально на примере, взяв библиотеку rtreego, с какой разницей можно работать с этими данными по времени. Нагрузка при 4000 игроков с R-tree может быть такой же, как у него с 1000 игроков при его реализации!

Я был очень сильно доволен, так как решил одну интересную проблемку, но тут было ещё более интересно… Сам же я бегло прочитал ту статью, которую скинул, и этот человек указал мне на то, что в статье описан R*-tree, а не только R-tree.

Мне было крайне интересно узнать разницу между этими алгоритмами, поэтому я стал копать дальше…

В чём же разница между R-tree и R*-tree?

R-tree невероятно прост в построении и так же невероятно прост в поиске. У этого дерева нет никаких требований.

R*-tree сложнее в построении, но при этом более эффективен в поисковых запросах.

Что же сложного в построении R*-tree?

Возьмем в пример построение R-tree, R-tree с линейным разделением и R*-tree:

В третьем варианте мы можем увидеть более четкое и явно разделение элементов по веткам (красным квадратикам) и деревьям (синим квадратикам), в то время как в первом и втором варианте у нас самая настоящая каша.

При обычной вставке элемента в R*-tree дерево работает так же как и в R-tree, но.
Когда «листья», на которых хранятся элементы, необходимо разделить — R-tree делает это не запариваясь, в то время как R*-tree старается сделать так, чтобы:

1. Листья занимали как можно меньшую площадь
2. Листья как можно меньше накладывались на другие листья поблизости
3. Листья были равно распределены

За счет соблюдения трех этих правил, построение может быть по времени в 2-3 раза сложнее, но! Поиск по элементам будет эффективнее в 1.5 — 3 раза.

Если Вам нужно использовать статические данные, R*-tree будет для Вас!

Так где нужно использовать R-tree, а где R*-tree?

Мы поняли, что R-tree довольно быстрый при вставке, но медленнее по поиску.
Просто взять и «перемещать» данные по дереву невозможно, а лишь можно удалять элемент и вставлять его заново.
Поэтому мы приходим к выводу.

Где можно использовать R-tree?

1. Игровой стриминг (область видимости игрока в пространстве)
2. Карты, где элементы могут перемещаться (те же карты с курьерами или такси, например!)
3. Любые геоданные, которые довольно часто обновляются, но чтение чуть менее важно.

Где можно использовать R*-tree?

1. Тот же игровой стриминг, но статических объектов! Например, у игрока есть огромная карта с множеством элементов (как города в GTA, например). Поиск по этим элементам, даже если их миллион, можно делать за мили (или даже нано) секунды!
2. Карты, где невероятно множество статических элементов. (Например, карта заведений, домов или элементов, которые меняются довольно редко)
3. Любые геоданные, которые почти не обновляются, но требуют невероятно быстрого чтения

Эти две структуры данных можно комбинировать.
Например, карта курьерской доставки, на которой располагаются обычные дома в одной структуре, а во второй будут курьеры, которые перемещаются.

Таким образом, я выяснил, где конкретно в играх (и не только) можно невероятно эффективно пользоваться этими данными, поэтому возьму эту структуру данных на вооружение.

Возвращаемся к вопросу об R*-tree на языке Go…

У меня ушло довольно много времени, ради того, чтобы понять, как это работает.
Сначала я попытался переписать R*-tree с Delphi на Go. У меня это заняло два дня и… не получилось, потому что я не понимал устройства этой структуры.

Тогда я выяснил для себя путь:

1. Полностью переписать и разобрать каждое мелкое действие в готовом решении R-tree (rtreego)
2. Разобрать статью об R*-tree, в которой были исходники на Delphi и псевдокоде
3. Сделать из R-tree — R*-tree

Спойлер: у меня это удалось

Исходники того, что было сделано и из чего это было сделано

Во-первых, хочу проявить огромную благодарность человеку, создавшему rtreego — dhconnelly (автор этой библиотеки).

Во-вторых, хочу выразить невероятную благодарность человеку, который буквально на пальцах описал статью об R*-tree на своём опыте. Информации было невероятно мало, но именно эта статья ответила на многие вопросы! Статья *тык*

Ну, и в третьих, статьи из вики: R*-tree (wikipediam), R-tree (wikipedia на русском)

Из rtreego я взял за основу R-tree и, переварив код на Delphi и псевдокод из статьи, мне удалось создать R*-tree на языке Go, который работает ровно так, как описано по алгортиму.

Ссылка на репозиторий:

Самое важное —

Всем огромное спасибо за внимание и за то, что смогли осилить эту невероятно не маленькую статью!