1. Классика всех времен: страница NSM

Традиционная и самая распространённая архитектура в OLTP-СУБД (PostgreSQL, Oracle) — слотированная страница, относящаяся к семейству NSM (N-ary Storage Model). Страница, как правило, имеет фиксированный размер, чаще всего 8 или 16 КБ (может настраиваться параметром БД), и делится на три логические области:

· Заголовок страницы — содержит метаданные: размер страницы, количество слотов, смещение до свободного пространства и флаги.

· Таблица слотов — массив записей фиксированной длины, каждая из которых хранит смещение (offset) до начала соответствующей строки. Слоты упорядочены по позиции строки в таблице.

· Область данных — сами кортежи, расположенные последовательно, но в обратном порядке относительно таблицы слотов (данные растут с конца страницы в начало, а слоты — с начала в конец). Это позволяет эффективно управлять фрагментацией.

Особенности работы с изменениями на уровне страницы:

При обновлении строки, если её новый размер превышает старый, на старом месте сохраняется указатель (forwarding pointer), а обновлённая запись перемещается в свободную область страницы (или даже на другую страницу, если свободного места недостаточно). Это порождает цепочки переадресации, которые могут замедлять чтение.

При удалении строки соответствующий слот помечается как недействительный (например, устанавливается флаг deleted или смещение становится отрицательным). Физическое освобождение места происходит позже — при сборке мусора (VACUUM в PostgreSQL) или при перестройке страницы.

Главный недостаток:

Для запросов, которые читают миллионы строк, но выбирают лишь 2–3 атрибута из 20, NSM необходимо просканировать всю страницу целиком. В результате в кэш CPU загружаются все атрибуты, включая ненужные. Это не только увеличивает время I/O, но и порождает промахи кэша (cache misses), поскольку полезные данные перемешиваются с не нужными.

2. Колоночная страница DSM:

Научная работа Джорджа П. Коупленда и Сетрага Н. Хошафяна «A Decomposition Storage Model» (ACM SIGMOD) [1] предложила кардинально иной подход к организации данных на странице, получивший название DSM (Decomposition Storage Model).

В классической реализации DSM каждый атрибут таблицы хранится в отдельном наборе страниц. При этом страницы внутри одного атрибута содержат только значения этого столбца, расположенные в порядке строк. Для восстановления полной записи используется либо позиционный идентификатор (порядковый номер строки в странице), либо служебные битовые маски.

Преимущества на уровне страниц:

· Страница заполняется данными одного типа — это даёт значительный прирост в сжатии (RLE, дельта-кодирование, битовые карты) по сравнению с NSM-архитектурой.

· При сканировании одного-двух столбцов читается ровно столько страниц, сколько нужно для этих атрибутов, без загрузки не используемых в запросе колонок.

Обратная сторона:

Вставка или обновление строки требуют записи в страницы всех атрибутов, что превращается в доступ к множеству файлов и их соединение. Запрос SELECT * для ограниченного числа строк также вынужден выполнять дорогостоящее соединение страниц разных столбцов, что делает DSM неэффективной для OLTP.

Первоначально модель не получила широкого распространения именно из-за высокой стоимости сборки строк. Однако с ростом мощностей процессоров и объёмов оперативной памяти она стала основой для колоночных СУБД (Vertica, Greenplum, ClickHouse), где основная нагрузка — аналитические запросы.

3. PAX: гибридная модель данных

В 2001 году на конференции VLDB была представлена работа Анастасии Аламаки, Дэвида ДеВитта, Марка Хилла и Муниратнама Сивакумара «Weaving Relations for Cache Performance» [2], в которой авторы предложили комбинированный подход — PAX (Partition Attributes Crosswise).

Ключевая идея модели:

Страница остаётся целостной (содержит все атрибуты таблицы, как в NSM), что позволяет избавиться от дорогостоящих соединений файлов данных. Но внутри страницы данные разбиты по атрибутам: все значения первого атрибута собираются в непрерывный мини-блок. Следом идёт мини-блок второго атрибута, затем третьего, и так далее. В начале страницы располагается каталог (directory), указывающий смещение и размер каждого мини-блока.

Как происходит выборка данных:

Для запроса, выбирающего два столбца, СУБД обращается к странице и читает только те два мини-блока — остальные не попадают в кэш процессора, что снижает количество промахов.

Обновление всей строки не требует записи в отдельные файлы (как в DSM) — достаточно перезаписать соответствующие мини-блоки внутри одной страницы.

4. Современные реализации на основе PAX

Apache Parquet

Прямой наследник PAX. Файл разбивается на Row Groups (группы строк, типично 128 МБ – 1 ГБ), каждая из которых действует как крупная «страница» PAX. Внутри Row Group данные организованы по Column Chunks — это и есть мини-блоки разных атрибутов, только теперь они могут быть сжаты независимо друг от друга. Parquet также добавляет индексы и статистику на уровне Column Chunk (min, max, null count), что позволяет при сканировании пропускать целые блоки без разжатия.

Apache ORC (Optimized Row Columnar)

Аналог Parquet, используемый в Hive, Presto и Trino. Внутри ORC-файла выделяются Stripes (полосы), которые выполняют ту же роль, что и Row Groups в Parquet. Внутри Stripe данные хранятся по колонкам с добавлением индексов и словарей. По сути, это тоже PAX, но с более агрессивным сжатием и встроенной фильтрацией.

5. FastLanes — PAX, оптимизированный под SIMD и GPU

PAX-архитектура значительно улучшила предыдущие модели хранения данных, но она не учитывала характеристики процессора. Именно в этом направлении происходит дальнейшее развитие архитектуры хранения данных. Петер Бонч, учёный из исследовательского центра CWI (Нидерланды), предложил новый формат FastLanes, который оптимизирует хранение данных под возможности современных процессоров.

Файл FastLanes состоит из двух главных компонентов: Footer (футер) и Data (данные). Футер содержит метаданные, описание данных и их местонахождение в файле и может храниться отдельно от блока «Данные».

На верхнем уровне блок «Данные» повторяет архитектуру PAX: данные делятся на группы строк и атрибуты. В отличие от существующих типов файлов, в FastLanes группы строк содержат количество записей, кратное 1024. Это позволяет избежать материализации данных в основной памяти и выполнять всю работу на уровне процессора. Следующим важным нововведением является использование сжатия LWC (Light-Weight-Compression). Вместо тяжеловесных алгоритмов по типу Zstd, которые не позволяют распараллелить обработку данных, применяются FSST, DICT, ALP при каскадном (рекурсивном) применении которых достигается уровень сжатия Snappy за более короткий промежуток времени [3]. Кроме этого, для каждой колонки данных могут применяться разные операторы кодирования. Сжатые данные хранятся в сегментах, в которых кроме самих данных хранятся смещения на отдельные вектора, что позволяет читать данные на уровне одного вектора вместо целого блока, как в старых форматах.

Когда данные читаются из оперативной памяти в процессор, закодированный вектор, содержащий 1024 значения, разжимается и полностью помещается в кэш процессора. Напротив, старые форматы файлов не только используют непараллельные алгоритмы сжатия, но и применяют их к целым Row Group, что влечёт за собой использование основной памяти и уменьшение скорости обработки [3].

Использованные источники:

1. Copeland G.P., Khoshafian S.N. A Decomposition Storage Model. Proceedings of ACM SIGMOD, 1985.
2. Ailamaki A., DeWitt D., Hill M., Sivakumar M. Weaving Relations for Cache Performance. Proceedings of VLDB, 2001.
3. Boncz P., Afroozech A., et al. The FastLanes File Format: specification.

В статье расскажу, о том, как устроена эта система изнутри, какие компромиссы пришлось принять и почему координация команд оказалась не легче самой разработки.

Я работаю в ретейле больше двадцати лет, и за это время успела убедиться: самые дорогие проблемы в магазине — не технические, а операционные. Товар лежит на складе, но не на полке. Покупатель уходит, продажа теряется. Мы с командой Lenta tech (ИТ-бренд «Группы Лента») решили, что пора выстроить платформу, которая сама определяет, какой товар донести до полки, из какой палеты и в каком порядке. Проектную группу собрали из сотрудников разных подразделений: Big Data, SAP, мобильная разработка, онлайн и операционный бизнес. Именно то, что за одним столом сидели инженеры, аналитики и люди, которые каждый день работают в торговом зале, позволило учесть все аспекты — от архитектуры до количества кликов на экране ТСД.

Почему классические процессы перестали масштабироваться

Гипермаркет — это не магазин у дома. Это десятки тысяч товарных позиций (SKU), сотни палет ежедневно и непрерывный поток перемещений между складскими зонами, верхними стеллажами и торговым залом. Ручной поиск товара, бумажные описи на палетах, выкладка «на глаз» — все это работало до определенного момента. Но при масштабах крупной сети процесс перестал справляться.

Главная проблема была не в хранении данных, а в принятии решений. Система понимала, что товар находится в магазине, но не знала, где именно, и выложен ли он на полку. А если не знала — не могла сформировать задачу. Все держалось на памяти и инициативе конкретных сотрудников.

Три слоя архитектуры: что оставили, а что написали с нуля

Архитектурно решение выстроили вокруг трех слоев: система планирования ресурсов предприятия (ERP) на базе SAP, слой больших данных (Big Data) и серверная часть мобильного приложения (backend), написанная с нуля.

SAP уже содержал информацию о запасах товаров. Для адресного хранения команда задействовала уже готовый механизм ячеечного размещения из модуля складской логистики SAP. Перестраивать эту часть не было смысла — она работала стабильно и закрывала задачу учета мест хранения.

Слой Big Data взял на себя аналитику и генерацию задач. Здесь лежит основной объем логики: обработка прогнозов, анализ расхождений между запасом и фактическими продажами, формирование потребностей к пополнению полки. Данные содержатся и обрабатываются в корпоративном хранилище (Data Lake), откуда потребности уходят дальше — в backend приложения.

Backend мобильного приложения — новый компонент, созданный специально для проекта. Команда мобильной разработки отвечала за этот слой с нуля: он получает от Big Data потребности к пополнению, формирует задания для сотрудников, обрабатывает операции изъятия товара из палет и передает информацию о местах хранения обратно в SAP. Помимо этого, backend взаимодействует с системой онлайн-заказов (PDA PickerApp): когда сборщик не находит товар на полке, событие поступает в backend и тоже превращается в задание.

Для директоров магазинов и руководителей секций предусмотрен веб-интерфейс (Web UI), где визуализируются списки задач, отчетность и статистика. Сотрудники торгового зала работают через мобильное приложение «Адресное хранение» на ТСД или смартфоне, где могут фильтровать задания, выполнять сверку ценников и управлять палетами.

Почему legacy не стало препятствием

В крупных ретейл-проектах legacy-системы воспринимаются как неизбежное зло, с которым нужно «бороться». Наши архитекторы пошли другим путем: не боролись, а использовали legacy там, где это было эффективнее.

Решение о том, что оставить на существующих системах, а что вынести в новые сервисы, команда принимала прагматично. SAP отлично справлялся с учетом запасов и ячеечным хранением — зачем его дублировать? А вот логику формирования задач, приоритизацию, аналитику и мобильный интерфейс строили с нуля, потому что здесь нужны были скорость разработки и гибкость, которые legacy-контур дать не мог.

Аналогичный подход сформировали к интеграционным инструментам: на каждом стыке выбирали то решение, которое лучше всего справлялось с конкретным потоком данных. Никакой догматики — только инженерная целесообразность.

Логика задач: прогнозы, приоритеты и пересечения списков

Ключевая логика системы сосредоточена в механизме формирования задач. Эту часть взяла на себя команда Big Data. Нельзя проверить весь ассортимент — ресурс сотрудника ограничен. Поэтому система выдает только наиболее приоритетные задания, и логика их отбора довольно сложная. В продакшне работают несколько видов автоматических задач:

• Событие «нулевого пика» (zero pick). Сборщик онлайн-заказа не нашел товар на полке и ставит отметку в PickerApp. Система проверяет остаток: если он ненулевой, рассчитывает количество к выкладке и создает задание. Это самый «чистый» сигнал — живой человек уже подтвердил, что товара на месте нет.
• Пустая полка. Раз в час Big Data сверяет остатки на основном складе магазина с запасом в палетах. Если эти цифры совпадают, значит, весь товар лежит в палетах — на полке ноль. Генерируется задача.
• Недостаточный запас. Товар на полке есть, но система сопоставляет текущий остаток с прогнозом продаж. Если остатка не хватает для покрытия спроса, формируется задание на пополнение. Здесь важно, что задача возникает не по факту «полка пуста», а на опережение.
• Товары без продаж. Если по позиции в течение недели не было ни одной продажи, система берет товары с наибольшим объемом запаса для каждой секции и собирает из них перечень задач на неделю. Если по позиции уже была отработка — повторно она не добавляется. Логика здесь в том, что большой запас без движения — потенциальный симптом невыложенного товара.

Помимо автоматики, руководящий персонал может создать задачу вручную через Web UI.

Внутри каждого типа работает приоритизация. У нас есть перечни товаров — топы по продажам, топы по маржинальности. Алгоритм берет пересечение этих списков и на их основе определяет, какие позиции требуют внимания в первую очередь. Вычисление пересечений и ранжирование — одна из самых нетривиальных задач с точки зрения логики обработки данных.

«Каждый лишний клик стоит денег»

В крупных корпоративных проектах продуктовое мышление часто отходит на второй план; важнее интеграция, масштабирование, стабильность. Но в нашем случае пользователь — сотрудник торгового зала, и каждое лишнее действие в интерфейсе при тысячах операций в день превращается в колоссальные временные затраты.

Поэтому каждый клик в приложении проектная команда оценивала с позиции «что он дает» против «сколько стоит». Пример такого компромисса: когда сотрудник вытаскивает товар из палеты и фиксирует изъятие в системе, считается, что он донес продукцию до полки. Долгое время обсуждали, нужно ли дополнительное подтверждение выкладки — отдельное сканирование. Отказались: вероятность, что человек достал товар и не донес его до места, минимальна. А еще один клик на каждой позиции — это реальные часы, потерянные на масштабе сети.

Аналогичным образом команды балансировали между точностью данных и скоростью работы во всех сценариях: объединение палет, частичная разборка, перемещение. Адресное хранение — это полноценный инструмент управления палетами в магазине, а не просто учет ячеек.

Пять команд и одна зона неопределенности

Как я уже говорила, проектная группа была собрана из пяти подразделений: Big Data, SAP, мобильная разработка, команда онлайна и операционный бизнес. Каждое было опытным, каждое умело работать по своим задачам. Проблема проявилась на стыках.

Когда в продакшн-среде возникала ошибка, далеко не всегда было очевидно, какое именно подразделение ее допустило. Данные проходят через несколько слоев: Big Data сформировала потребность, backend ее получил, мобильное приложение отобразило задачу, SAP отдал информацию о палетах. Если задание некорректно, нужно пройти всю цепочку и определить, где произошел сбой. Разграничение зон ответственности и процедура разбора инцидентов — то, на что было заложено недостаточно времени на старте. Притирка заняла ощутимый ресурс, хотя ни одна из команд не была новичком.

Синхронизация изменений тоже требовала внимания: когда Big Data меняет логику формирования задач, backend должен корректно обработать новую схему, а мобильное приложение — отобразить результат. Каскадные доработки ускоряли одно звено и ломали соседнее. Со временем процесс выстроился, но в ретроспективе — это одна из главных недооцененных статей расхода по срокам.

Лавина ложных задач и контроль качества данных

Проект работал уже почти год, и серьезных инцидентов не случалось. Затем произошел сбой: из-за ошибки в одном из потоков данных массово сформировались ложные задания на пополнение. Магазины получили лавину задач, сотрудники приходили к полкам и обнаруживали, что товар на месте.

Технически разовая ошибка, но ее воздействие оказалось непропорционально масштабным. Магазины, которые до этого выстраивали доверие к платформе, моментально откатились к скепсису: зачем выполнять задания, если они могут быть ложными?

После этого инцидента команда Big Data совместно с мобильной разработкой и операционным бизнесом выстроила отдельный контур контроля качества данных. На входе проверяется полнота: сколько записей ожидалось и сколько поступило. Результаты сопоставляются со среднестатистическими значениями по магазину. Если фиксируется аномалия — превышение порога отклонений, — конвейер задач останавливается до ручного разбора. Дополнительно внедрили мониторинг потоков: трекинг задержек, разрывов и нестыковок между слоями. Цель — свести вероятность повторения подобного сценария к нулю, а не просто реагировать постфактум.

Волны, feedback loops и продукт, который менялся на ходу

Внедрение разделили на пять волн, и это было осознанным инженерно-процессным решением, а не просто осторожностью.

Первая волна — пилотные магазины, директора которых вошли в рабочую группу. Они не просто тестировали продукт, а участвовали в согласовании технического задания, экранных форм и пользовательских сценариев. Обратная связь приходила быстро, и решение дорабатывалось уже в процессе раскатки.

Циклы обратной связи (feedback loops) работали следующим образом: магазин фиксирует проблему, операционная служба передает ее в проектную команду, разработка вносит изменение, следующая волна получает обновленную версию. Между этими этапами проводится анализ метрик дисциплины и качества отработки задач. Если магазины первой волны показывали низкие результаты, разбирались: проблема в инструменте или в процессе?

Обучение тоже выстраивалось итерационно. Изначально подготовили короткие видеоролики, объясняющие конкретные операции — как разметить палету, как зафиксировать изъятие, как работать со списком задач. По результатам внутреннего опроса удовлетворенности этот формат получил высокую оценку.

Важно отметить: два крупных проекта, требующих перестройки операционных процессов, невозможно вести на одном магазине одновременно. Команда столкнулась с этим ограничением и была вынуждена пропускать вперед параллельные инициативы, которые шли по графику. Это добавило к срокам проекта — вместо запланированных 12 месяцев реализация заняла 17.

Что показал проект

Дополнительная прибыль за 2025 год превысила целевые показатели на 7%. Но, помимо финансовых результатов, проектная группа вынесла несколько важных инженерных и процессных выводов.

Большие ретейл-технологические проекты — это всегда про процессы, а не только про код. Можно написать идеальный backend, но если магазин не размечает палеты, система бесполезна.

Качество данных — фундамент, а не надстройка. Контроль нужно закладывать с первого дня, а не встраивать после первого крупного инцидента.

Архитектура должна учитывать реальную работу людей. Каждый лишний клик — это деньги, и инженерное решение обязано проходить через фильтр продуктового мышления.

И наконец: метрики эффективности нужно проектировать заранее. Проектная команда начала разрабатывать инструменты замера дисциплины уже в процессе внедрения и потратила на это дополнительное время. Без них невозможно отличить ситуацию «гипотеза не работает» от ситуации «магазин не выполняет то, что должен». Именно кроссфункциональный состав команды — инженеры, аналитики данных и операционный бизнес за одним столом — позволил в итоге выстроить эти метрики так, чтобы они отвечали на вопросы каждой из сторон.

Под «оптимизацию» попали разработчики, аналитики, тестировщики и инженеры — от новичков до тимлидов. По данным источников CNews и профсоюза работников IT, под сокращение может попасть до 25% IT-команды, то есть более 5000 человек.

Официально увольнения объясняют внедрением искусственного интеллекта и автоматизацией процессов:

Топ-менеджеры называют это оптимизацией, а не сокращением.

При этом, по словам работников, реального эффекта от внедрения ИИ нет:

На деле — гонка ради отчетности, а не улучшений.

Три волны и «мягкие» увольнения

По информации профсоюза, запланированы три волны сокращений: первая прошла летом, вторая идет сейчас, третья ожидается к концу года.

Некоторым сотрудникам предлагают уйти «по соглашению сторон» с выплатой двух-трех окладов и сохранением годовой премии.

Тем, кто отказывается, могут предложить перевод в дочерние структуры — но, как утверждают источники, эти собеседования чаще всего заканчиваются отказом.

Позиция банка

В Сбербанке отрицают наличие массовых увольнений. «Мы не сокращаем команду, а пересматриваем функции и автоматизируем процессы», — заявили в пресс-службе.

По данным банка, сейчас открыто около 4000 вакансий, преимущественно в сфере ИИ и автоматизации.

Последствия для рынка

Эксперты предупреждают: волна увольнений может существенно ударить по IT-рынку. Уже сейчас средний разработчик получает меньше приглашений на собеседования, а конкуренция растет.

По словам аналитиков, крупные корпорации переходят от найма «на вырост» к осознанной автоматизации. Однако спрос на специалистов по ИИ, Big Data и кибербезопасности при этом продолжает расти.

Пожар произошёл 26 сентября 2025 года и, по данным издания DCD, был вызван возгоранием аккумуляторных батарей. Инцидент парализовал работу ряда государственных ведомств, включая цифровые сервисы, кадровые системы и хранилища документов.

Уничтожен сервер G-Drive — без резервной копии

Наиболее серьёзной потерей может стать гибель правительственного G-Drive — внутреннего облачного сервиса хранения документов, который использовался всеми госслужащими.

«Система G-Drive не имела резервного копирования из-за колоссального объёма данных», — сообщил источник из правительства в интервью The Chosun.

«Остальные 95 систем имели резервные копии — онлайн или офлайн, но этот диск был уязвим».

Всего, по официальным данным, в огне были полностью уничтожены 96 систем.

Правительственные службы — фактически в стоп-режиме

По информации Министерства управления персоналом, многие отделы не могут выполнять ежедневные операции:

«Сотрудники хранили все рабочие материалы на G-Drive. Сейчас работа практически остановлена».

На момент 5 октября восстановлено 115 из 647 сетей, что составляет лишь 17,8%.

Полное восстановление инфраструктуры может занять до одного месяца.

Правительство планирует временно развернуть альтернативные сервисы для критически важных ведомств, но эксперты уже называют этот инцидент самой масштабной цифровой катастрофой в истории корейского госсектора.

Полиция Южной Кореи арестовала четырёх человек, предположительно связанных с профессиональной халатностью, которая могла привести к возгоранию.

Расследование продолжается, в том числе изучаются условия хранения аккумуляторов и системы пожаротушения.

Трагедия на фоне восстановления

Как сообщает The Dong-A Ilbo, 3 октября трагически погиб 56-летний сотрудник Министерства цифровых инноваций, курировавший восстановление сетей NIRS.

Мужчину нашли в состоянии остановки сердца у здания правительства в Седжонге; по предварительным данным, он покончил с собой.

Министерство внутренних дел и безопасности уточнило, что погибший не участвовал в уголовном расследовании, однако проверяется версия переутомления и профессионального выгорания.

Разработчики на передовой всё реже запускают новые сервисы на «тяжёлой в эксплуатации» связке сервисов Hadoop и предпочитают формат «всё в одном» — унифицированный подход, объединяющий хранение и аналитику. Если раньше архитектуру больших данных приходилось «собирать из кубиков», то теперь она всё чаще становится более монолитной архитектурой (all‑in‑one).

Кроме того, с быстрым развитием ИИ изменились и объёмы, и типы данных, поэтому на стороне вычислительных движков были проведены соответствующие оптимизации и обновления: например, для OLAP‑аналитики векторизация де‑факто стала стандартной возможностью, а форматы озёр данных эволюционируют к поддержке мультимодальности (о мультимодальном хранении — ниже).

В этой статье разберём архитектуры популярных сегодня распределённых вычислительных движков и их плюсы/минусы. Проанализировав их, мы лучше поймём, какой движок уместнее использовать в тех или иных бизнес‑сценариях.

Реализации распределённых вычислительных движков обычно состоят из компонентов «Server» и «Worker». Узлы Worker, как правило, распределяются по множеству хостов и под координацией Server выполняют параллельные вычисления. Хотя логика вычислений и оптимизации у разных движков реализована по‑разному, базовые этапы похожи.

Базовые этапы выполнения запроса

1. Parsing — разбор: SQL‑запрос разбирается в синтаксическое дерево для валидации структуры и выявления задействованных таблиц.
2. Planning — планирование: формируется логический план, описывающий необходимые операции (например, фильтры, соединения) и их порядок.
3. Optimization — оптимизация: логический план преобразуется в эффективный физический план с помощью стоимостной (CBO) или правил‑ориентированной оптимизации.
4. Compilation — компиляция: физический план компилируется в низкоуровневые операции, байт‑код или аппаратно‑специфичные инструкции, подготавливаясь к исполнению.
5. Execution — исполнение: план распределяется узлам Worker, которые параллельно сканируют данные, применяют преобразования и обмениваются данными; промежуточные данные/метаданные возвращаются в главный процесс.
6. Result Serving — формирование и отдача результатов: результаты агрегируются, форматируются и возвращаются пользователю или нижестоящим системам (downstream).

Классификация движков по назначению

• Универсальные вычислительные движки: например, Spark, Flink, MR (MapReduce), поддерживающие пакетные и сложные вычислительные задачи, различные типы данных и множество источников.
• Интерактивные движки запросов: например, Presto, Trino — для ad hoc‑запросов, где важно быстро получать результаты и применять оптимизации, обеспечивая высокую скорость выполнения и интерактивность анализа.
• OLAP‑движки: например, ClickHouse, StarRocks, Doris и др. — для быстрого анализа постоянно меняющихся данных. Поддерживают аналитику в реальном времени, субсекундную латентность запросов и серьёзные оптимизации в оптимизаторе выполнения.

Универсальные вычислительные движки

Среди универсальных движков наиболее широко используется Apache Spark: он поддерживает офлайн‑вычисления, обработку, близкую к реальному времени (near real time), и интеграцию с фреймворками машинного обучения. Spark изначально создавался для преодоления ограничений Hadoop MapReduce. Spark Driver — центральный координатор Spark‑приложения: он управляет использованием CPU и памяти, широковещательными переменными (broadcast variables, для эффективного совместного использования данных между узлами Worker) и создаёт наборы данных RDD.

Ниже — схема архитектуры Apache Spark.

Интерактивные движки запросов

PrestoDB был создан в 2012 году в Facebook (Meta)* для предоставления быстрых распределённых возможностей SQL поверх различных источников (включая HDFS, S3, MySQL и Cassandra) без перемещения или преобразования данных. Trino появился в 2019 году как форк Presto, созданный его оригинальными авторами, с фокусом на улучшении производительности и добавлении поддержки облачных и современных Lakehouse‑архитектур. Эти движки остаются очень похожими и после форка различаются лишь в деталях.

*Компания Meta признана экстремистской на территории РФ и запрещена

На следующей схеме показана архитектура Presto/Trino. В Presto и Trino координатор парсит и планирует запрос, затем создаёт набор задач и сплитов (splits) базовых внешних хранилищ; каждый сплит передаётся рабочим узлам для чтения соответствующих данных.

OLAP‑движки для работы в реальном времени

StarRocks — высокопроизводительное аналитическое хранилище данных (DWH), реализующее многомерную аналитику, аналитику в реальном времени и высокую конкурентность за счёт векторизации, MPP‑архитектуры, CBO, умных материализованных представлений и колоночного движка с возможностью оперативных обновлений.

Архитектура StarRocks поддерживает две модели: Shared‑nothing и Shared‑Data. В Shared‑nothing данные загружаются в формат StarRocks и хранятся непосредственно в локальном хранилище узлов StarRocks Backend. Shared‑Data позволяет напрямую запрашивать внешние источники данных без копирования их в кластер StarRocks — аналогично Presto/Trino/Spark.

Используются два типа узлов: Frontend (FE) и Backend (BE)/Compute (CN). Узлы FE отвечают за управление метаданными и построение плана выполнения. Узлы BE исполняют план и хранят данные, ускоряя запросы за счёт локального хранения и обеспечивая высокую доступность посредством репликации. В конфигурации с общими данными (Shared‑Data) вместо BE используются вычислительные узлы (CN), которые выполняют те же функции, но не хранят данные.

ClickHouse был разработан в 2009 году, изначально для сервиса Yandex.Metrica — высоконагруженной веб‑аналитической платформы, обрабатывающей миллиарды событий в день с низкой задержкой. Существующие базы данных не справлялись с таким масштабом для аналитики в реальном времени с высокой конкурентностью, особенно на сложных фильтрах, агрегациях и соединениях. В ответ появился ClickHouse — быстрая OLAP‑СУБД для решения этих задач.

Архитектура ClickHouse использует колоночное хранение; операции выполняются над векторами (колоночными блоками), а данные векторов размещаются в реплицируемых шардах ClickHouse, что обеспечивает быстрое выполнение запросов и отказоустойчивость. Кроме того, ClickHouse позволяет запрашивать данные из облачных хранилищ, аналогично внешним таблицам в традиционных DWH.

Каждый распределённый исполнительный движок имеет свои сильные стороны: хотя почти все исполняют один и тот же SQL, детали реализации заметно различаются — исполнительные подсистемы, подходы к оптимизациям, обработка shuffle, кэширование, уровни векторизации и т. п.

В сводной таблице ниже (по мотивам сравнения на сайте Onehouse и описанных в тексте критериев) каждому движку присваивается оценка: A = лучший вариант; B = хороший вариант; C = ниже среднего. Каждой оценке соответствует балл: A = 3, B = 2, C = 1. metascore — нормализованная сумма баллов по всем категориям.

Сводная таблица сравнения (оценки A/B/C и metascore)

Примечания:

• A = 3 балла, B = 2 балла, C = 1 балл.
• metascore рассчитан как сумма баллов по 5 категориям, нормализованная к максимуму 15 (деление на 15 и умножение на 100%).
• Таблица отражает выводы текста: «лучший/худший» в классе по каждой категории и качественные комментарии по архитектуре.

Рейтинг по metascore

1. StarRocks — 73%
2. ClickHouse — 73%
3. Presto — 67%
4. Apache Spark — 60%
5. Trino — 60%

Сравнение по ключевым критериям

Скорость выполнения. Одним из ключевых критериев качества вычислительного движка выступает время ответа на запрос; также важны пропускная способность, отказоустойчивость и ресурсоёмкость.

Оптимизации на базе SIMD (Single Instruction, Multiple Data), позволяющие одной инструкции CPU обрабатывать сразу несколько элементов данных, дают заметное преимущество над поэлементной обработкой.

— 🏆 Лучший в классе: StarRocks, ClickHouse

— ❌ Худший в классе: Spark

Масштабируемость. Способность масштабировать кластер вверх/вниз на старте и по завершении запроса — важная составляющая отличной производительности и оптимизации затрат. Архитектуры с разделением хранения и вычислений упрощают масштабирование. Presto обеспечивает наиболее простую операционную модель на больших масштабах. Локальное хранение у StarRocks/ClickHouse усложняет масштабирование. Spark чаще используется для крупномасштабных ETL‑заданий и менее удобен для эластики интерактивных нагрузок.

— 🏆 Лучший в классе: Presto

— ❌ Худший в классе: Apache Spark

Конкурентное чтение/запись. Нужна эффективная обработка больших объёмов одновременных запросов с приоритизацией, чтобы важные запросы не блокировались. ClickHouse предоставляет самый тонкий и гибкий контроль над исполнением запросов. В отношении транзакций большинство движков ориентированы на OLAP и уступают типичным OLTP/онлайн‑БД.

— 🏆 Лучший в классе: ClickHouse

— ❌ Худший в классе: Apache Spark

Поддержка хранения. В эпоху открытых табличных форматов (Data Lake) по стратегии Lakehouse важно уметь читать/писать множество форматов. Spark поддерживает самый широкий спектр: через источники данных — Parquet, JSON, ORC, Avro, CSV и др.

— 🏆 Лучший в классе: Apache Spark

— ❌ Худший в классе: ClickHouse

Поддержка языков запросов. В эпоху ИИ и аналитики главные способы работы — SQL и Python. Apache Spark с PySpark обеспечивает лучший опыт работы с Python и позволяет выражать бизнес‑логику в Python‑функциях; другие движки обычно требуют определять логику на SQL через клиентские обёртки. Spark можно бесшовно использовать как Python‑библиотеку и как распределённый SQL‑движок.

— 🏆 Лучший в классе: Apache Spark

— ❌ Худший в классе: Trino, Presto

Выводы

Выбор оптимального движка для решения бизнес‑задач не ограничивается желаемыми техническими целями — он должен учитывать будущие потребности бизнеса и направление эволюции архитектуры.

Каждый движок имеет свои сильные стороны:

1. Apache Spark обладает самой широкой поддержкой хранилищ и языков; он может подключаться к практически любым типам данных и работать с ними.
2. Trino — отличный интерактивный SQL‑движок для ad hoc‑аналитики.
3. Presto имеет общую историю с Trino, предоставляет превосходный интерактивный SQL и эффективно масштабируется.
4. StarRocks предлагает сверхбыстрый векторизованный движок, но поддержка форматов файлов у него не так широка.
5. ClickHouse также даёт сверхбыстрый векторизованный движок для ускорения OLAP, но ему не хватает эластичности масштабирования.

Независимо от выбора движка, настоящая сила — в умении комбинировать движки, масштабировать их и интегрировать с другими компонентами экосистемы под задачи бизнеса, не заковываясь в единственную архитектурную парадигму.

Чтобы сэкономить вам время и нервы, мы разобрали рынок и собрали подборку облачных платформ. В ней — топовые провайдеры с примерами, ценами и плюсами. Поможет выбрать решение под вашу задачу и бюджет, без длинных ресёрчей и сомнительных форумов.

1. H3LLO.CLOUD: для быстрого старта

Если вы запускаете стартап, делаете MVP или просто не хотите платить больше за инфраструктуру — у H3LLO.CLOUD есть стартовый набор на 12 месяцев, который бесплатно выдается при создании аккаунта.

Специально собрали предложения под запросы небольших команд и стартапов: 2 базовые ВМ Capsule.S (1vCPU/2GB RAM/12,5 NVMe), 5GB Network SSD, 5GB Object Storage, 1 Basic LoadBalancer, 1 IPv4, мониторинг.

Этого набора более чем хватит, даже для довольно посещаемых проектов. А тем, кому нужно больше, в ассортименте полный набор IaaS и PaaS решений и дружелюбная команда, которая помогает с их внедрением.

Облако H3LLO CLOUD подойдет тем, кто:

• запускает MVP и хочет минимизировать издержки на старте;
• работает с Big Data и аналитикой;
• использует Kubernetes или контейнеризацию;
• разворачивает inference-серверы под ИИ-модели;
• делает бэкапы и настраивает восстановление после сбоев.

H3LLO CLOUD работает с посекундной тарификацией: платите только за то, чем действительно пользуетесь. Можно выставлять счета на юрлицо, есть постоплата. Обещают добавить Cloud API, шаблоны деплоя, маркетплейс SaaS-решений и serverless — но даже сейчас по функциональности всё покрыто: базы управляемые, биллинг гибкий, интерфейс понятный.

Техподдержка отвечает быстро — от пары минут до пары часов. Для крупных клиентов — приоритетный канал связи.

2. L1veStack: полный контроль бюджетов

Если вы только запускаете проект и хотите чётко контролировать, за что платите — L1veStack делает ставку на полную прозрачность. Никаких округлений, скрытых тарифов и загадочного биллинга. Всё просто: используете ресурсы — платите посекундно, не используете — не платите вообще.

Что вы получаете на старте:

• На этапе беты L1veStack можно запустить до 3 проектов, каждый из которых может использовать до 1 vCPU и 4 ГБ RAM.
• У них есть уникальный вариант тарификации: существует нетарифицируемый пороговый уровень для небольших проектов, и оплата начинается только при превышении этих значений. Идеально для пет-проектов и стартапов, когда вы еще не знаете точных потребностей в мощности.

L1veStack построен как платформа, которая растёт вместе с вами:

• Этап 1: Пет-проекты и небольшие стартапы. Здесь вы используете нетарифицируемый порог.
• Этап 2: Команды и фрилансеры. Сервис выгодно использовать для управления Dev и Stage окружениями.
• Этап 3: Инструмент разработки для команд внутри enterprise. Предлагаются выгодные тарифы для dev/stage окружений и возможность переводить продакшен на собственные сервера под контроль ваших DevOps специалистов.

Из дополнительного и про биллинг:

В целом, всё удобно, гибко, прозрачно — есть все необходимые функции: GitHub wizard, автоматический SSL-сертификат (авто-SSL) и понятные объяснения для переменных.

Плата только за фактические минуты использования CPU и RAM. Есть поминутный счетчик и предиктивная симуляция затрат, чтобы прогнозировать расходы до того, как они возникнут.

Сервис предоставляет Live-индикаторы, который отслеживает нагрузку в реальном времени, human-friendly ошибки и мгновенный preview изменений.

3. Облачная платформа Selectel: Масштаб, безопасность и опытная поддержка

Selectel предлагает более 50 продуктов — от виртуальных и выделенных серверов до готовых к работе баз данных, кластеров Kubernetes, объектного хранилища, CDN и решений для безопасности. Всё запускается за пару кликов через удобную панель управления, API или Terraform.

Для стартапов действует акция: Кешбэк до 1 000 000 бонусов. Каждый месяц Selectel возвращает 30% бонусами от расходов на инфраструктуру. Кешбэк начисляется в течение 12 месяцев.

Selectel подходит под задачи любой сложности:

1. Разворачивать MVP и первые версии приложений — настраивать среды разработки и тестирования.
2. Запускать приложение в продакшен и масштабироваться под нагрузкой.
3. Хранить и обрабатывать данные — платформа позволяет хранить большие объемы данных на дисках объемом до 10 ТБ и более.
4. Защитить данные от сетевых атак — есть готовые инструменты защиты от DDoS-атак и инструменты резервного копирования ,
5. Соответствовать требованиям безопасности — платформа хранит персональные данные до 1 уровня защищенности и следует требованиям 152-ФЗ, 21 приказа ФСТЭК, PCI DSS, ISO 27001, ГОСТ Р 57580.

Насколько удобно работать

Инфраструктура строится как конструктор: 50+ продуктов и сервисов можно объединить через глобальный роутер, связать с собственной инфраструктурой (настраивать гибридные решения), масштабироваться в несколько кликов. Не нужно разбираться со сложными настройками — запустить сервис можно в несколько кликов из панели управления или с помощью Terraform. Есть IAM-система для разграничения доступов и определения ролей пользователей, чтобы настроить федерации удостоверений через SSO и соответствовать требованиям корпоративной безопасности.

Биллинг и поддержка

Биллинг облачной платформы работает по модели pay-as-you-go: платите только за то, что реально используется. При этом можно сэкономить до 75%, с прерываемыми ВМ и функцией заморозки — удобно, если нужно приостановить проект или снизить расходы ночью.

Техподдержка работает 24/7, специалисты помогают с подбором необходимой инфраструктуры и решений, настройками и функциональностью. Берут полную ответственность за работу инфраструктуры и быстро решают любые возникающие вопросы. Для сложных задач, например, миграции на инфраструктуру Selectel можно подключить услугу Администрирования.

4. RTCLOUD: Гибридное облако для стартапов с масштабом и безопасностью

RTCLOUD — это гибридное облако, объединяющее локальные ресурсы с публичным облаком провайдера для создания гибкой, масштабируемой и безопасной ИТ-инфраструктуры. Подходит стартапам, которым нужно быстро адаптироваться к нагрузкам без крупных затрат.

RTCLOUD предлагает гибридное облако, объединяющее частное и публичное облако:

• Единый каталог приложений: Доступ к приложениям в обоих облаках без разделения.
• Единое адресное пространство: Перемещение виртуальных машин и приложений без изменения сетевых настроек.
• Унифицированное управление: Просмотр, копирование и перемещение нагрузок (виртуальные машины, vApp, шаблоны) между облаками.
• Инструменты мировых лидеров: Veeam Backup & Replication для репликации и управления восстановлением, vCloud Availability для миграции и Disaster Recovery (DR).

Поддерживаются сценарии:

• Уменьшение нагрузки на локальные ресурсы.
• Запуск сервисов с непроверенной нагрузкой.
• Организация тестовой площадки.
• Резервирование инфраструктуры.

Дополнительные возможности

• Облачный ЦОД: Инфраструктура без капитальных затрат, высокая надёжность, масштабирование.
• Резервный ЦОД: Быстрое восстановление с минимальным RTO.
• Объектное хранилище S3: Хранение архивов, резервных копий и медиа-контента.
• Kubernetes-as-a-Service: Готовая контейнерная инфраструктура с контролируемым периметром безопасности.
• Облачный десктоп (VDI и VDI GPU): Доступ к рабочим местам, включая производительные для конструкторов.
• Backup as a Service (BaaS): Управление копиями и расписанием для надёжного хранения.
• Размещение оборудования: Дата-центры TIER III с интеграцией облачных сервисов.

Биллинг и поддержка

• Гибкая оплата: Pay-as-you-go, без инсталляционных платежей, платите только за потреблённые ресурсы.
• Экономия: Нет затрат на покупку или модернизацию оборудования, масштабирование по потребностям.
• Техподдержка: 24/7, помощь с настройкой инфраструктуры, миграцией и решением задач.

На что ориентироваться при выборе облака

Выбирайте облако, которое соответствует вашим задачам: гибкость для тестов, прозрачность для контроля бюджета или мощная инфраструктура для продакшена.

H3LLO.CLOUD делает ставку на доступность, предлагая стартовый набор за 5 000 рублей с виртуальными машинами, базами данных и объектным хранилищем, что идеально для небольших команд, работающих с Big Data или ИИ.

L1veStack выделяется прозрачным биллингом и нетарифицируемым порогом, помогая стартапам с ограниченным бюджетом точно прогнозировать расходы.

Selectel обеспечивает масштабируемость и безопасность, с инструментами для защиты данных, что важно для проектов с высокими требованиями к соответствию 152-ФЗ.

RTCLOUD предлагает гибридное облако, которое объединяет локальные и публичные ресурсы, позволяя масштабироваться под пиковые нагрузки и минимизировать расходы благодаря модели pay-as-you-go без инсталляционных платежей.

Разработчики оказались на передовой этой битвы. Каждая строчка вашего кода может как защитить пользователей, так и подвергнуть их риску. Но не стоит воспринимать это как проблему, скорее как вызов — грамотная работа с данными открывает новые возможности для создания надёжных и востребованных цифровых продуктов.

Что изменилось в законодательстве: главные обновления 2025 года

С 30 мая 2025 года в России вступили в силу поправки к Федеральному закону №152-ФЗ «О персональных данных». Эти изменения стали самыми значительными за последнее десятилетие и затронули все компании, работающие с пользовательской информацией. Разработчиков эти нововведения касаются самым непосредственным образом.

Теперь даже сбор данных о поведении пользователей на сайте (клики, время просмотра) требует отдельного согласия. Файлы cookie, которые раньше работали по умолчанию, теперь нужно настраивать так, чтобы пользователь мог выбирать, какие данные он разрешает сайту о себе собирать.

Штрафы за нарушения выросли в разы. Например, за обработку данных без согласия теперь можно получить штраф до 700 тысяч рублей для юридических лиц. Повторные нарушения могут привести к штрафу в 3% от годового оборота компании — изменения вступили в силу в конце мая.

Новый закон уже работает. В антирейтинге главных нарушителей 2025 года лидируют компании телекоммуникационной отрасли — на их долю приходится 55% всех расследований по статье 272 УК РФ о неправомерном доступе к информации. Следом за телекомом идут госструктуры (16% расследований) и финансовый сектор (15% случаев).

Для разработчиков это важный сигнал: при создании решений для этих отраслей необходимо уделять особое внимание встроенным механизмам защиты данных.

Особенно важно:

• реализовывать строгие протоколы аудита доступа для госсистем;
• внедрять дополнительные уровни шифрования в банковских приложениях;
• разрабатывать специализированные инструменты мониторинга для телеком-операторов.

Такая отраслевая специфика требует от разрабов глубокого понимания не только общих принципов защиты данных, но и особых требований конкретных секторов экономики.

В 2025 году 152 ФЗ о Персональных данных уже получил несколько существенных поправок, и, похоже, скоро получит еще несколько. И это, в общем, хорошо: персональные данные — вещь серьезная, и мне бы очень хотелось, чтобы компании относились к их сбору, обработке и передаче соответствующе. Пусть даже из-под палки. Разделение труда предполагает, что в компаниях, особенно крупных, за compliance и связанные с ним практики отвечает менеджмент, а разработчик просто пишет код, но мой опыт показывает, что этого недостаточно. Ответственность и базовую цифровую гигиену необходимо развивать всем — программистам в том числе.

Какие данные считаются персональными в 2025 году

Для разработчиков в 2025 году понимание классификации персональных данных — это основа проектирования архитектуры любого приложения. Закон четко разделяет информацию на три категории, и каждая требует особого подхода:

1. Биометрические данные — отпечатки пальцев, сканы сетчатки глаза, голосовые образцы. Для них требуется письменное согласие человека.
2. Специальные — информация о здоровье, политических взглядах, религиозных убеждениях. Такие данные, как правило, требуют обезличивания.
3. Обычные — имя, телефон, email, адрес. Их можно обрабатывать после получения согласия через договор или специальную форму.

Разработчикам важно понимать: комбинация из имени и номера телефона уже считается персональными данными. А IP-адрес вместе с геолокацией — тем более. Даже хешированные данные могут считаться персональными, если возможна деанонимизация.

При проектировании API и баз данных разработчикам важно учитывать:

• раздельное хранение разных категорий данных;
• механизмы автоматического удаления по истечении срока;
• разграничение доступа на уровне кода (например, @Secured аннотации)

Совет: создавайте карту данных (data mapping) на этапе проектирования системы — это поможет избежать проблем с соответствием требованиям. Современные IDE предлагают плагины для автоматического анализа кода на предмет обработки персональных данных.

Обязательные шаги для легальной работы с данными

Если ваш проект собирает любую информацию о пользователях, разработчикам нужно учесть ряд юридических требований. Пропуск любого из этих пунктов может привести к серьезным штрафам:

1. Публикация политики обработки данных — это не просто формальность. Документ должен чётко объяснять, какие данные вы собираете, зачем и как будете их защищать. Роскомнадзор рекомендует включать в политику несколько обязательных разделов: цели обработки, категории данных, порядок их уничтожения и т.д..
2. Согласие на обработку данных теперь нельзя прятать в общих условиях использования. Это должна быть отдельная форма с понятным интерфейсом.
3. Регистрация в Роскомнадзоре обязательна для всех, кто работает с персональными данными. На подачу уведомления даётся 30 дней с момента начала обработки данных. Штраф за отсутствие регистрации — до 300 тысяч рублей.

Технические аспекты защиты данных: что должен знать разработчик в 2025 году

Для разработчиков в 2025 году работа с персональными данными начинается с архитектурных решений. Современные требования предполагают не просто формальное соблюдение норм, а глубокую интеграцию принципов безопасности в код. Рассмотрим ключевые технические аспекты, которые нельзя игнорировать.

Локализация данных стала строгим требованием. При выборе облачных провайдеров убедитесь, что их дата-центры физически расположены в России. Проверьте не только основное хранилище, но и резервные копии — они тоже должны находиться на территории РФ. Для веб-аналитики переходите на российские аналоги Google Analytics, такие как Яндекс.Метрика с опцией хранения данных в России или аналогичные решения от Mail.ru Group.

Шифрование данных требует особого внимания:

• TLS 1.3 стал минимальным стандартом для передачи данных;
• для хранения используйте алгоритмы, сертифицированные ФСТЭК (ГОСТ Р 34.10-2021, ГОСТ Р 34.11-2021);
• биометрические данные требуют дополнительного уровня защиты — рассмотрите использование специализированных HSM-модулей;
• реализуйте ротацию ключей шифрования не реже чем раз в 90 дней.

Системы контроля доступа должны быть:

• ролевыми (RBAC) с минимальными необходимыми правами;
• с обязательной двухфакторной аутентификацией для доступа к персданным;
• с сессионным контролем (автоматический выход при бездействии);
• с детальным логированием всех операций (кто, когда, какие данные просматривал/изменял).

Дополнительные меры:

• автоматическое маскирование данных в интерфейсах;
• настройка алертов на подозрительную активность (множественные запросы, экспорт данных);
• механизмы предотвращения SQL-инъекций и других уязвимостей из списка OWASP Top 10;
• для мобильных приложений обязательна защита от перехвата трафика — внедрение SSL сертификата (certificate pinning).

Разработчикам стоит обратить внимание на новые инструменты — например, фреймворки для автоматического обнаружения персональных данных в коде и их защиты. Также появились решения для автоматического составления Data Flow Diagrams, помогающие визуализировать пути движения данных в системе.

Петр Емельянов, СЕО компании Bloomtech, отмечает: «Есть принцип Privacy by Design. Раньше, когда мы разрабатывали информационные системы, о конфиденциальности данных думали, скажем так, во вторую очередь. Из-за это часто приходилось действовать реактивно: что-то случилось, и мы вкорячивали "хот-фикс", ставили костыль. Архитертура набухала, расползалась, становилсь уродливой и рыхлой. Privacy by Design ставит конфиденциальность в один ряд с отказоустойчивостью, надежностью и производительностью. Конфиденциальность больше не какая-то там неинтересная деталь, которую можно отложить на потом, – это один из основных принципов программной архитектуры».

Как правильно собирать согласия пользователей

Корректная реализация механизма получения согласий — важная архитектурная задача для разработчиков. Рассмотрим ключевые технические аспекты, которые нужно учитывать.

Форма согласия должна быть:

• отдельным API-эндпоинтом или микросервисом, а не частью основного функционала;
• конкретной — каждый тип данных требует отдельного пункта согласия;
• информированной — используйте понятные технические термины с пояснениями;
• легко отзываемой — реализуйте метод DELETE в API для отзыва согласий.

При реализации механизмов работы с cookie разработчикам необходимо учитывать несколько аспектов. Во-первых, создать гибкую систему приоритетов для различных категорий данных, чтобы пользователи могли осознанно выбирать, какие типы информации разрешают собирать. Во-вторых, важно предусмотреть механизм частичного согласия, позволяющий давать разрешение на отдельные виды обработки данных.

Особое внимание следует уделить синхронизации между клиентской и серверной частями приложения — любые изменения в предпочтениях пользователя должны мгновенно отражаться во всех компонентах системы.

Не менее важен надёжный механизм хранения истории изменений, который фиксирует все действия пользователя относительно его куки-настроек. С технической точки зрения это подразумевает создание отдельной таблицы в базе данных специально для хранения информации о согласиях. Обязательным требованием стало версионирование политик конфиденциальности — при их обновлении система должна запрашивать подтверждение новых условий.

Отдельный технический вызов — реализация автоматической очистки данных при отзыве согласия. Система должна не просто помечать информацию как неактивную, а полностью удалять соответствующие записи из всех хранилищ. Особенно важно отметить новое требование 2025 года: API должно поддерживать возможность массового отзыва согласий, когда пользователь может одной операцией отозвать все ранее выданные разрешения.

Действия разработчика при утечке данных: алгоритм реагирования в 2025 году

Для технических специалистов утечка данных требует не только юридического, но и технического реагирования:

1. Первые сутки критически важны — необходимо зафиксировать время и способ утечки через системные логи, оперативно изолировать уязвимый компонент системы (например, отключить проблемный API или заблокировать доступ к скомпрометированной базе данных), а также подготовить детальный технический отчет для регуляторов с указанием типов утекших данных, версий используемого ПО и примененных механизмов защиты.
2. Далее начинается этап технического расследования. Разработчикам необходимо провести forensic-анализ кода, изучить историю изменений в системе контроля версий и тщательно проанализировать логи доступа за последний месяц. Эти данные помогут не только понять причины инцидента, но и предотвратить подобные ситуации в будущем.
3. На этапе исправлений важно не просто устранить уязвимость, но и пересмотреть архитектурные решения. Для критических систем стоит реализовать механизм принудительной смены учетных данных, обновить библиотеки шифрования и пересмотреть политики доступа. Особое внимание следует уделить системам, обрабатывающим биометрические или специальные категории данных — к ним применяются наиболее строгие требования.

При крупных утечках (более 100 тысяч записей) разработчикам следует быть готовыми к детальному аудиту кода со стороны контролирующих органов. В 2025 году особое внимание проверяющие уделяют реализации принципа минимальных привилегий, качеству журналирования операций и использованию сертифицированных алгоритмов шифрования.

Лучшая профилактика — внедрение проверок безопасности в процесс непрерывной интеграции и доставки (CI/CD), включая автоматизированное тестирование на распространенные уязвимости и регулярные аудиты кода.

Инструменты и практики для разработчиков: как внедрить приватность в повседневную работу

Работа с приватностью в 2025 году вышла далеко за рамки простого соблюдения законодательных требований. Сегодня это комплексный подход к проектированию систем. Пользователи все чаще выбирают сервисы, которые не только функциональны, но и прозрачно обращаются с их личной информацией. Как разработчик, вы можете превратить требования к приватности в возможность создать по-настоящему качественный продукт.

Privacy by Design: защита данных с первого дня проекта

Концепция Privacy by Design пережила серьезную эволюцию за последние годы. Если раньше она рассматривалась как дополнительная опция, то в 2025 году стала обязательным стандартом для любого серьезного проекта. Суть подхода проста — вопросы приватности должны решаться на этапе проектирования архитектуры, а не добавляться постфактум.

На практике это означает несколько важных принципов:

• Минимизация данных: собирайте только ту информацию, которая действительно необходима для работы сервиса. Например, если для регистрации достаточно email, не запрашивайте номер телефона «на будущее».
• Сквозное шифрование: защищайте данные на всех этапах — при передаче, обработке и хранении. Особенно это важно для биометрической информации и медицинских данных.
• Децентрализованное хранение: там, где это возможно, избегайте создания единых баз данных. Современные решения позволяют хранить информацию распределенно, снижая риски массовых утечек.

Хороший пример — банковские приложения, которые теперь часто используют локальное хранение биометрических данных на устройстве пользователя вместо централизованных серверов.

Петр Емельянов, СЕО компании Bloomtech, отмечает: «Раньше, когда мы разрабатывали информационные системы, о конфиденциальности данных думали, скажем так, во вторую очередь. Из-за этого часто приходилось действовать реактивно: что-то случилось, и мы вкорячивали хот-фикс, ставили костыль. Архитертура набухала, расползалась, становилсь уродливой и рыхлой. Privacy by Design ставит конфиденциальность в один ряд с отказоустойчивостью, надежностью и производительностью. Конфиденциальность больше не какая-то там неинтересная деталь, которую можно отложить на потом, — это один из основных принципов программной архитектуры».

С технической точки зрения, по словам Петра, это значит:

1. Минимизация данных. Меньше собрали, меньше рисков создали.

2. Персональные данные граждан Российской Федерации нужно хранить в Российской Федерации, так что лучше не разворачиваться в забугорных облаках (даже если это дешевле) и не использовать инструменты вроде Google Sheets (даже если это удобно).

3. Разделение и токенизация данных. Не надо хранить все данные в одной условной плоской табличке, из которой кто угодно с минимальным знанием SQL получит ваши ФИОДР, телефон, адрес, номер паспорта и размер ноги впридачу.

4. Инвентаризация и классификация персональных данных. Нужно точно знать все места, где у вас хранятся ПДн, внедрять соответствующие политики доступа и журналировать все запросы и попытки запросов.

5. Хранение полных логов согласий с датой действия и привязкой к пользователю (но не с его ПДн) там, где их трудно будет потереть или удалить.

7. Развитие регламнентов реагирования на инциденты. Например, сейчас есть всего 24 часа, чтобы уведомить РКН об утечке. Так что, если вы поняли, что беда случилась, или считаете, что она вот-вот случится, не молчите.

8. Обязательное шифрование при хранении и передаче ПДн. Лучше сразу по ГОСТ, хотя закон этого напрямую не требует.

9. Рекомендуемые РКН методы обезличивания данных. Особенно важно в контексте поправок в 142 ФЗ, которые, вероятно, начнут действовать с сентября 2025.

10. Изучение новых технологий и способов защиты данных. Конфиденциальные вычисления, дифференциальная приватность, разные виды федеративного обучения — технологии защиты данных во время использования востребованы, их много, они развиваются. Рекомендую если не изучать, то послеживать.

Анонимизация и псевдонимизация: технические нюансы

Разработчикам важно понимать разницу между этими двумя подходами к защите данных, так как юридические последствия их применения существенно отличаются.

Анонимизация означает необратимое удаление связи между данными и конкретным человеком. После такой обработки восстановить персональные данные невозможно. Этот метод идеально подходит для аналитических систем, где важны общие тенденции, а не индивидуальные поведенческие паттерны.

Псевдонимизация — замена прямых идентификаторов (например, имени) на условные коды. Такой подход позволяет работать с данными, сохраняя возможность (при необходимости) установить связь с конкретным пользователем.

Важно: псевдонимизированные данные по-прежнему считаются персональными и требуют соответствующей защиты.

В 2025 году появились новые инструменты для работы с анонимизированными данными. Например, библиотеки дифференциальной приватности позволяют получать точную аналитику, не раскрывая информацию об отдельных пользователях.

Регулярные аудиты и инвентаризация данных

Практика показывает, что даже хорошо спроектированные системы со временем обрастают избыточными механизмами сбора данных. Регулярные проверки помогают выявить такие «накопления» и снизить связанные с ними риски.

Проводите аудит по следующему алгоритму:

1. Картирование данных: составьте полный перечень всех типов собираемой информации, мест ее хранения и путей передачи.
2. Оценка необходимости: для каждого типа данных задайте вопрос — зачем мы его собираем и что будет, если перестанем?
3. Анализ рисков: определите, какие данные требуют особой защиты и соответствуют ли текущие меры их важности.
4. Планирование улучшений: разработайте дорожную карту по устранению выявленных проблем.

Современные системы мониторинга данных (например, Data Protection Officer SaaS-решения) позволяют автоматизировать большую часть этого процесса.

Инструментарий разработчика: что использовать в 2025 году

Рынок инструментов для обеспечения приватности значительно расширился. Вот несколько категорий решений, которые стоит рассмотреть для своих проектов:

Фреймворки для Privacy by Design:

• OpenGDPR Framework — набор библиотек для встраивания принципов приватности в архитектуру приложений.
• Microsoft Privacy Development Kit — инструменты для реализации сквозного шифрования.
• Google’s Differential Privacy Library — решение для работы с анонимизированными данными.

Средства мониторинга и аудита:

• OneTrust Data Mapping — облачное решение для инвентаризации данных.
• TrustArc Privacy Intelligence — платформа для оценки рисков.
• Osano Consent Management — система управления согласиями пользователей.

Инфраструктурные решения:

• российские сертифицированные криптографические библиотеки;
• облачные хранилища с российскими серверами и обязательным шифрованием;
• Middleware для автоматического обезличивания данных перед их попаданием в аналитические системы.

Важно помнить: выбор инструментов должен основываться на конкретных требованиях проекта и типах обрабатываемых данных. Слепая установка всех доступных решений защиты может только усложнить систему без реального повышения безопасности.

Эксперт Евгений Кокуйкин (Head of Raft Security) рекомендует:

- Убедитесь, что в обучающих данных нет персональной информации.

- Для анонимизации используйте специализированные инструменты, такие как Microsoft Presidio.

Если ваше ИИ-приложение включает пользовательские данные в системные промпты, убедитесь, что оно защищено от промпт-атак:

- Ориентируйтесь на рекомендации OWASP AI Security and Privacy Guide и OWASP Top 10 for LLM Applications.

Итоги: приватность как конкурентное преимущество

В 2025 году забота о приватности — не просто соблюдение закона, а способ выделиться среди конкурентов. Пользователи стали более осознанно относиться к своим данным, и они выбирают сервисы, которые уважают их приватность.

Как разработчик, вы можете превратить эти требования в возможности:

• создавайте понятные интерфейсы для управления согласиями;
• разрабатывайте системы, которые собирают только необходимый минимум данных;
• используйте современные методы защиты информации;
• будьте прозрачны в том, как используете данные пользователей.

При правильном подходе работа с приватностью перестаёт быть головной болью и становится частью качественного пользовательского опыта. А в эпоху, когда данные стали новой валютой, такое отношение ценится особенно высоко.

Этот диссонанс — не исключительно российская проблема. В Германии 20% взрослых функционально неграмотны, а в США 37% выпускников колледжей отрицают теорию эволюции и другие базовые научные парадигмы. Чем больше дипломов получает население, тем меньше оно знает. Почему?

Главная причина — подмена целей. Образование превратилось в формальность: школы натаскивают на ЕГЭ, вузы штампуют «корочки», а студенты учатся не думать, а запоминать. Даже преподаватели признают: современные программы развивают память, но не критическое мышление.

Из статьи вы узнаете, почему диплом перестал быть гарантией знаний, как интернет, соцсети и ИИ усугубляют кризис, какие решения нужно принять, пока проблема не переросла в катастрофу.

Дипломы есть у всех. А где знания?

Кажется, мы живем в эпоху всеобщей образованности. Цифры выглядят впечатляюще: почти половина молодежи в мире (48% в возрасте 25–34 лет) сегодня заканчивает вузы — против 27% в 2000-м. В Южной Корее и Канаде дипломы есть у двух третей взрослого населения, а Китай за 30 лет увеличил число студентов в 10 раз — с 3,8 млн до 50 млн. В России почти каждый третий взрослый человек имеет «вышку».

Но вот вопрос: если дипломов стало больше, почему мир не превратился в цитадель просвещенных эрудитов? Почему вместо этого мы получаем армии «специалистов», которые не могут отличить ДНК от РНК, путают Гражданскую войну с Отечественной и верят, что Земля плоская?

Глобальный бум высшего образования

Тренд очевиден — мир массово учится. В OECD (Организации экономического развития) подсчитали, что среди 25–34-летних женщин и мужчин дипломы об образовании есть у 50%. Лидеры — Южная Корея (69%) и Канада (66,4%), но даже отстающие страны вроде Турции или Мексики показывают рост. Европа к 2030 году планирует довести долю людей с высшим образованием до 45%, а Китай уже сейчас значительно превысил этот показатель.

В России цифры скромнее, но динамика похожая: если в 2000-х вузы заканчивали 25% работающих, то сейчас — 31%. В Москве и Питере дипломы среди молодежи 25–34 лет есть у 41%. Однако наличие «корочки» еще не гарантирует реальных знаний.

На этом графике показан процент сотрудников с высшим образованием:

Почему все рвутся в вузы

Ответ прост: рынок требует. В развитых странах ручной труд и низкоквалифицированные работы вытесняются автоматизацией, а в развивающихся образование стало социальным лифтом. Китай, например, делает ставку на массовую подготовку инженеров и IT-специалистов, чтобы удержать экономический рост.

Но есть и обратная сторона. Когда диплом превращается в формальность (нужен «для галочки» при приеме на работу), его ценность падает. В России, например, 45% трудоспособного населения имеют среднее профобразование — то есть фактически «отсидели» в колледжах, но не получили глубоких знаний. С вузовскими дипломами ситуация не лучше.

Парадокс: больше дипломов — меньше грамотности

Казалось бы, если образование доступно, люди должны становиться умнее. Но данные PISA и TIMSS (центры международных исследований и оценки компетенций) показывают обратное: школьники в развитых странах стабильно теряют навыки чтения, математики и науки.

В причинах подобной ситуации мы будем подробно разбираться в одном из следующих разделов, но основные факторы нужно указать сразу. Современная система образования во многих странах нацелена на «прохождение» программ, а не на понимание. Тесты вроде ЕГЭ учат запоминать и угадывать, а не мыслить.

Перекос в сторону STEM-образования (то есть естественных и технических дисциплин) снижает значимость гуманитарных знаний (история, философия, логика). В итоге прогер умеет писать сложный код, но не отличает пропаганду от фактов.

Важный фактор — инфошум. Соцсети и алгоритмы заменяют глубокий анализ кликбейтом. Зачем учить историю, если «все и всех» уже разоблачили в Ютубе или ТикТоке?

Пока система не перестанет штамповать «корочки» и не начнет учить думать, парадокс будет только усугубляться.

Образованный — не значит умный

По данным Росстата, за последние 20 лет доля людей с дипломами среди трудоспособного населения выросла с 25% до 35%. В Москве и Санкт-Петербурге показатели еще выше — здесь вузы заканчивают около половины жителей. Казалось бы, перед нами общество образованных граждан.

Но реальность разбивает этот стереотип:

• 30% россиян не могут назвать точные годы ВОВ.
• Каждый пятый уверен, что Солнце вращается вокруг Земли.
• 15% считают, что радиоактивное молоко становится безопасным после кипячения.

Эти цифры — не статистические погрешности. Они отражают системный кризис, когда формальное образование перестало гарантировать реальные знания.

К слову, многие американцы уверены, что шоколадное молоко дают коричневые коровы, не говоря уже о том, что более 40% населения в Штатах с трудом умеют читать и писать.

Глобальная картина: образованные, но неграмотные

Проблема носит мировой характер. В Германии, некогда известной своей качественной системой образования, пятая часть взрослых испытывают трудности с пониманием инструкций к лекарствам. Во Франции 40% выпускников школ не могут объяснить, что собой представляют молекулы и атомы.

В США, где 38% населения имеют степень бакалавра, ситуация еще тревожнее:

• треть американцев не могут назвать три ветви власти;
• 37% отрицают теорию эволюции;
• 41% не знают исторического значения Освенцима.

Особенно удручает ситуация с исторической памятью. В Европе 40% молодежи не могут объяснить, что такое Холокост. В России, по данным статистических агентств, около половины респондентов путаются в исторических событиях XX века. При этом подавляющее большинство этих людей имеют как минимум среднее образование.

Информационный хаос vs. знания

Социальные сети окончательно подорвали традиционные образовательные парадигмы. Алгоритмы TikTok и YouTube сознательно продвигают контент, который вызывает эмоции, а не формирует фундаментальные знания.

Последствия:

• около половины молодых россиян получают новости из Telegram-каналов сомнительной достоверности;
• каждый третий выпускник вуза верит хотя бы в одну теорию заговора;
• 60% студентов не проверяют информацию, если она выглядит правдоподобно.

Причины: почему образованные люди становятся невежественными

Дипломы перестали быть гарантией эрудиции — сегодня даже выпускники престижных вузов могут верить в плоскую Землю или отрицать эволюцию. В чем корень проблемы?

Образование, которое не учит думать

Система обучения все чаще работает на количественные показатели, а не на качество знаний. В России за последнее десятилетие число часов на историю и литературу в школах сократилось на 20%, тогда как технические дисциплины сохранили свои позиции. Школьникам с раннего возраста внушают, что единственная цель образования — получить навыки и дипломы, которые помогут им заработать деньги во взрослой жизни

Это не значит, что STEM-науки не важны — проблема в дисбалансе. Когда из программы исчезают философия, логика и анализ источников, даже талантливый инженер может стать жертвой манипуляций.

ЕГЭ и аналогичные системы оценивания усугубляют ситуацию. Школы натаскивают на тесты, а не учат работать с информацией. Результат:выпускники не могут отличить научную публикацию от псевдонаучного текста. Они запоминают формулы, но не понимают, как применять знания в реальной жизни.

Информационный потоп: когда правда тонет в шуме

Алгоритмы поощряют контент, который вызывает эмоции, а не размышления:

• видео с теориями заговора набирают втрое больше просмотров, чем научно-популярные ролики;
• множество пользователей соцсетей никогда не проверяют факты, если заголовок соответствует их убеждениям.

Эксперты называют это «эффектом обратного отбора»: чем громче и увереннее звучит заявление, тем больше у него шансов распространиться. В результате блогер-дилетант с миллионной аудиторией становится для многих авторитетнее профессора. Упадок экспертного сообщества — довольно значимая причина нашего невежества.

Культура быстрых ответов

Раньше образование было инвестицией в себя. Сегодня большинство студентов рассматривают вуз как «пункт выдачи дипломов» для работодателя.

Это меняет мотивацию:

• вместо глубокого изучения предмета — стратегия «сдать и забыть»;
• вместо чтения первоисточников — поиск кратких конспектов в интернете;
• вместо дискуссий с преподавателями — готовые ответы от ИИ.

Книги проигрывают клиповому контенту: за 10 лет среднее время чтения у россиян сократилось до нескольких часов в неделю. Когда человек привыкает получать информацию порциями по 15 секунд, он теряет способность анализировать сложные тексты.

Эти тенденции не фатальны. В следующих разделах мы разберем, какие решения предлагают ученые — от реформы образования до цифровой гигиены. Пока же ясно одно: диплом больше не защищает от невежества. В мире, где правду приходится фильтровать вручную, критическое мышление становится важнее любых корочек.

Эволюция ИТ и уровень знаний: почему доступ к информации не сделал нас умнее

За последние 20 лет информационные технологии радикально изменили способ получения знаний. В 2005 году только 25% россиян имели постоянный доступ к интернету, сегодня — около 90%. Казалось бы, это должно было привести к взрывному росту образованности. Но парадокс в том, что, получив неограниченный доступ к информации, люди разучились ей пользоваться.

Доступ к информации и девальвация знаний

Интернет устранил географические барьеры: студент из провинции может слушать лекции МГУ, а школьник — изучать квантовую физику по YouTube. В России за последнее десятилетие число онлайн-курсов выросло в десятки раз, а дистанционное обучение стало нормой даже в традиционных вузах. Однако большинство студентов использует эти ресурсы для поверхностного изучения темы, а не системного образования.

Проблема не в отсутствии информации, а в ее избытке. Когда Google выдает 400 тысяч ссылок по запросу «информационные технологии в экономике», лишь 5% из них содержат достоверные данные.

Цифровой разрыв: когда технологии не помогают, а мешают

ИТ создал новый тип неравенства — доступ к информации есть у всех, но лишь единицы способны ее обрабатывать и критически оценивать

При этом:

• Школы до сих пор делают акцент на запоминании, а не анализе. Хотя 90% учебных заведений оснащены компьютерами, лишь 15% учителей используют их для развития критического мышления.
• Университеты внедряют ИТ формально. Например, 70% преподавателей применяют PowerPoint, но только 10% — интерактивные симуляторы или виртуальные лаборатории.

Особенно тревожит «эффект Google»: студенты запоминают не факты, а пути к ним. Значительная часть пользователей не может воспроизвести информацию, найденную в сети, уже через неделю после прочтения.

ИТ vs. фундаментальные навыки

Технологии изменили не только способы обучения, но и содержание. В России за 10 лет вдвое сократилось количество часов на историю и литературу, зато программирование ввели даже в начальной школе.

Это создало перекос:

• Технические навыки растут. Каждый третий студент IT-специальностей к выпуску имеет опыт коммерческой разработки.
• Гуманитарная грамотность падает. Треть молодых специалистов не может написать отчет без шаблонов, многие путают Гражданскую войну с Отечественной.

При этом сами ИТ-компании жалуются на дефицит soft skills. Но даже сильный программист не справится с проектом, если не понимает логики исторических процессов или не видит причинно-следственных связей.

ИТ — это инструмент, который усиливает существующие тенденции. Если система образования продолжит делать акцент на тестах и «корочках», технологии лишь ускорят деградацию знаний. Но если пересмотреть подходы — например, заменить зубрежку анализом Big Data или дискуссиями в виртуальных лабораториях — у следующего поколения есть шанс стать по-настоящему образованным.

Последствия: чем это грозит обществу

Когда дипломы перестают гарантировать компетентность, а критическое мышление становится роскошью, страдает вся общественная система. Последствия этого кризиса уже видны в политике, науке и экономике.

Политика: эпоха манипуляций

Недостаток базовых знаний делает избирателей уязвимыми для популизма. В Великобритании уровень образования оказался ключевым фактором в голосовании за Brexit — менее образованные граждане в основном поддерживали выход из ЕС, даже не понимая экономических последствий. В России лишь единицы способны объяснить, как санкции реально влияют на экономику.

Проблема глубже, чем кажется. Когда люди не разбираются в механизмах власти или не знают содержание Конституции, они голосуют не за программы, а за эмоции. В результате политики тратят ресурсы не на решения, а на пиар-кампании, где громкий лозунг важнее, чем факты.

Наука: война с фактами

Антивакцинное движение, отрицание эволюции и вера в плоскую Землю — это не просто курьезы. Если 25% населения сомневается в шарообразности планеты, такие заблуждения напрямую угрожают прогрессу:

• Медицина. Неверие в науку тормозит внедрение генетических технологий, хотя именно они, по прогнозам, к 2030 году позволят лечить рак и наследственные заболевания. Уже сейчас значительная часть населения не доверяет вакцинам — определенные основания для опасений есть, но полное отрицание вакцинации повышает риски эпидемий.
• Технологии. В США более трети выпускников вузов отрицают, что люди произошли от других видов. Если будущие инженеры не понимают базовых принципов биологии, как они создадут биосенсоры или отредактируют геном?

Особенно тревожит рост «альтернативных экспертов». Блогеры без образования обсуждают квантовую физику или эпидемиологию, собирая миллионы просмотров, а профессиональные ученые теряют авторитет. В результате общество делится на два лагеря: те, кто верит в «тайные знания», и те, кто устал спорить.

Экономика: дипломы без навыков

Российские компании уже сталкиваются с дефицитом квалифицированных кадров. Многие работники не умеют грамотно пользоваться компьютерами в профессиональной деятельности, при этом работодатели жалуются, что сотрудники не умеют решать нестандартные задачи.

Вузы продолжают выпускать специалистов, чьи знания не соответствуют рынку:

• Производительность труда в РФ ниже чем в КНР и ряде развитых стран. Одна из причин — образовательная система не учит применять знания на практике. Вместо анализа кейсов студенты зубрят теорию для экзаменов.
• Инновации. Российские компании неохотно инвестируют в разработки, хотя уровень образования — не единственная причина такого состояния. Однако факт налицо — без критического мышления сотрудники не способны генерировать новые идеи, а бизнес предпочитает копировать успешные западные модели.

Формально образованных людей больше, чем когда-либо, но экономика страдает от нехватки реальных компетенций. Закрыть этот разрыв можно только пересмотром подходов к обучению — но система продолжает штамповать «корочки».

Общество, где дипломы есть у многих, а знания — у единиц, рискует скатиться в эпоху «нового средневековья». Уже сейчас мы видим последствия: наука теряет доверие, уступая место теориям заговора., а экономика тормозит из-за кадрового кризиса.

Исправить ситуацию можно, только вернув в образование главный критерий — не количество дипломов, а качество мышления. Пока же тренд обратный: хотя в 2025 году россияне среди ключевых навыков будущего назвали «умение адаптироваться» (27%) и «критическое мышление» (22%), школ и вузов, которые действительно учат этому, — единицы.

Как вернуть знаниям ценность: инструкция по спасению образования

Кризис, при котором дипломы перестали гарантировать компетентность, требует системных решений. Ситуация парадоксальна: вузы выпускают рекордное число специалистов, но работодатели жалуются на дефицит квалифицированных кадров. Исправить это можно, если пересмотреть три ключевых аспекта: содержание образования, методы работы с информацией и роль технологий.

Перезагрузка школы: от тестов к мышлению

Финская модель давно доказала: зубрежка уступает анализу. В России тоже начинают понимать эту необходимость. С 2024 года в школах внедряют учебники по искусственному интеллекту для 5–9 классов, где учат не просто запоминать алгоритмы, а понимать принципы их работы. Однако этого недостаточно.

Основная проблема — ЕГЭ в том виде, в котором эта институция существует в настоящий момент. Система, созданная для объективности, превратилась в «натаскивание на варианты». Учителя тратят больше половины учебного времени на подготовку к тестам, сокращая часы на дискуссии и анализ источников.

Альтернатива — постепенный отказ от формата «единственно верного ответа». Пилотные проекты в Москве и Казани уже экспериментируют с заданиями, где нужно сопоставлять точки зрения или находить скрытые логические ошибки.

Гуманитарные дисциплины — второй фронт борьбы за знания. Сокращение часов на историю и литературу привело к тому, что студенты технических вузов не могут аргументированно поддержать беседу о классической культуре. Возвращение логики и философии в программы — не ностальгия по СССР, а необходимость. Как показывает практика, студенты, изучавшие основы критического мышления, гораздо реже попадаются на фейки в соцсетях.

Медиагигиена: прививка от дезинформации

В 2025 году в российских школах запустили проект «Медиаритм». Ученики создают контент, разбирают кейсы фейков и учатся работать с нейросетями. Важный акцент — не просто технические навыки, а этика: как не стать распространителем дезинформации даже случайно. Первые результаты обнадеживают: участники программы реже репостят непроверенные новости.

Но одних курсов мало. Нужна «цифровая гигиена» на уровне привычек:

• Проверка источников. Простой лайфхак: если новость не публикуют минимум три крупных СМИ, ей нельзя доверять.
• Критика алгоритмов. Видеохостинги показывают то, что вызывает эмоции, а не то, что соответствует истине. Об этом стоит напоминать чаще.
• Практика дискуссий. В том же «Медиаритме» школьники проводят дебаты, где учатся аргументировать позицию без перехода на личности.

Технологии как инструмент, а не замена знаниям

ИИ — не враг образования, если использовать его правильно. Студенты применяют нейросети для учебы, но лишь некоторые из них делают это осознанно: задают уточняющие вопросы, проверяют факты. Остальные просто копируют ответы.

Перспективное решение — интеграция ИИ в учебный процесс как «собеседника». В некоторых вузах уже тестируют систему, где нейросеть не дает готовых решений, а задает наводящие вопросы, помогая студенту прийти к выводу самостоятельно. Например, вместо «Вот формула дискриминанта» — «Как ты думаешь, почему в этом уравнении нельзя просто извлечь корень?».

Виртуальная реальность — еще один инструмент. Вместо сухих параграфов о Древнем Риме школьники надевают VR-очки и гуляют по Форуму, видя, как работали законы и общество. Пилотные проекты в Москве показали: такой материал запоминается гораздо лучше.

Изменения уже начинаются. В 2025 году большая часть педагогов поддержала идею внедрения ИИ в обучение, а многие вузы разрабатывают курсы по медиаграмотности. Но скорость реформ отстает от вызовов времени.

Чтобы диплом снова стал символом знаний, а не формальностью, нужно:

• пересмотреть приоритеты ЕГЭ, заменив тесты на задачи с анализом;
• вернуть в школы философию и логику — не как «лишние предметы», а как основу мышления;
• сделать медиаграмотность таким же обязательным навыком, как чтение.

Как показали проекты типа Skillbox или «ТопБЛОГ», молодежь готова учиться — если давать не абстрактные теории, а практические инструменты. Осталось сделать этот запрос системным.

Главный вывод прост: образование должно готовить не к экзаменам, а к реальной жизни. Когда диплом перестанет быть самоцелью, а станет подтверждением навыков, мы наконец преодолеем разрыв между количеством «образованных» и качеством их знаний. Пока же каждый может начать с себя — развивать привычку проверять информацию и учиться не для галочки, а для понимания мира.

Сейчас рынок облачных сервисов — крайне перспективная отрасль. В России процент проникновения облачных услуг по данным провайдера — всего 28%, поэтому возможности для роста очень большие.10 апреля компания провела масштабную конференцию, которую посетили более 5500 айтишников онлайн и офлайн. На открытии GoCloud 2025 топ-менеджеры представили новую платформу для работы с данными, AI-решения, заявили о внедрении AI-агентов в свои платформы, а также рассказали, что такое гибридное облако, почему искусственный интеллект нужен почти всем компаниям, а главное — какие релизы Cloud.ru готовит в будущем.

На конференции было три трека:

1. Инфраструктура и сервисы — здесь спикеры Cloud.ru рассказывали о новых сервисах и платформах, особенно про публичное облако Cloud.ru Evolution
2. AI&ML — был посвящен новым AI-фичам и работе с ML-моделями, которые улучшат клиентский опыт и упростят жизнь разработчикам и пользователям
3. Сценарии работы в облаке — здесь выступали спикеры из крупных компаний и делились своим опытом использования облаков.

В статье рассказываем о главных анонсах Cloud.ru и итогах конференции.

Что нового в Cloud.ru Evolution

Cloud.ru Evolution — публичное облако, построенное на собственных разработках и open source, где интегрированы самые необходимые разработчикам сервисы.

На прошлой конференции в 2024 году Cloud.ru уже успели представить много новых компонентов в платформе — тогда в ней было доступно 20 сервисов. За год ей воспользовались 39 тыс. человек, а число сервисов выросло в 2 раза.

В мае этого года пользователям будут доступны новые платформенные сервисы для работы с большими данными в облаке. Они работают по модели PaaS, используют контейнерную архитектуру и предлагают автомасштабирование, гибкость и безопасность. Сервисы упрощают обработку и анализ данных, подходят для AI/ML-задач, интегрируются с S3, Artifactory Registry и Evolution DBaaS.

Некоторые из них можно попробовать уже сейчас:

• Evolution Managed Arenadata DB — это управляемая PaaS-база на Greenplum для хранения и обработки до 50 ТБ данных. Подходит для аналитики, AI/ML, отчетности, а оплата проходит по модели pay-as-you-go.
• Evolution Data Platform — это платформа от Cloud.ru для работы с большими данными. Уже можно протестировать: Evolution Managed Trino — SQL-движок для работы с разными источниками данных, Evolution Managed Metastore — хранилище метаданных, Evolution Managed Spark — сервис для распределенной обработки данных.

Evolution Managed Trino и Metastore выйдут в коммерческий доступ во втором квартале 2025, а Evolution Managed Airflow и Evolution Managed BI станут доступны для тестирования.

Также в Cloud.ru Evolution появится AI-помощник, который будет закрывать базовые задачи.

Помощник должен автоматизировать рутинные задачи и максимально снизить порог входа в облака и работу с ними, в перспективе значительно упростит работу DevOps. Всю ответственность за то, что он делает, будем нести мы, как провайдер. Помощник будет эволюционировать и закрывать все больше рутинных задач: реагировать на alert и monitoring, следить за автоматизацией, а в будущем поможет управлять эффективностью облачной инфраструктуры, ее масштабированием и стабильностью. С момента запуска помощники будут доступны в публичных, гибридных и частных облаках Cloud.ru.

Cloud.ru Evolution Stack + AI — один из главных анонсов конференции

В марте Cloud.ru выпустили на рынок Cloud.ru Evolution Stack — платформу для создания частных и гибридных облаков. Решение рассчитано на крупный бизнес, госсектор, финтех, ритейл и промышленность. Платформу можно развернуть в собственном ЦОДе или объединить с публичным облаком Cloud.ru Evolution. Внутри — всё, что нужно: виртуализация, инструменты для работы с ML, PaaS- и IaaS-сервисы, управляемый Kubernetes, S3-хранилище, очереди сообщений и даже витрина приложений в формате маркетплейса.

Для удобства администрирования есть Multicloud Manager и VM Manager — с их помощью проще управлять виртуальными машинами, следить за инфраструктурой, учитывать ресурсы и подключать SIEM-системы для безопасности.

Cloud.ru Evolution Stack — наше самое большое достижение за год. Мы создавали его из одной кодовой базы с публичным облаком Cloud.ru Evolution, но пришлось серьезно перестроить процессы. Циклы разработки каждой из платформ отличаются. В публичном облаке можно деплоить непрерывно: если в одном из сервисов появилась ошибка, ее можно сразу же исправить. А в гибриде, релиз которого мы делаем два раза в год, так не получится, поскольку на первый план выходят качество сборки, unit-тесты, интеграционные и нагрузочные тестирования. Процесс разработки усложнился, но мы максимально автоматизировали его. Это серьезная нагрузка, но без серьезного влияния на наш time-to-market.

При разработке Cloud.ru Evolution Stack главным вызовом была смена подхода. Cloud.ru создает софт для одного публичного облака, а здесь нужен продукт, который можно ставить многократно у разных заказчиков — это радикально меняет процессы и мышление команды. Однако понимая запросы рынка на гибрид и потребности клиентов, компания начала разработку этой платформы еще на ранней стадии Cloud.ru Evolution. Если бы решение было старше, переход на дистрибутив съел бы гораздо больше времени и ресурсов.

Многие пользователи уже успели протестировать Cloud.ru Evolution Stack. Вот положительные фидбек:

• Платформа предлагает не только виртуализацию и контейнеризацию, но и полный набор сервисов — аудит, IAM, логирование, мониторинг. Это позволяет сразу запускать частное облако для внутренних подразделений без необходимости настраивать личные кабинеты или доступы.
• Платформа легко интегрируется с системами мониторинга, кибербезопасности и авторизации заказчика, выступая как подчинённый компонент, что упрощает внедрение.
• Интерфейс Cloud.ru Evolution Stack полностью кастомизируется — можно красить во всевозможные цвета, поставить свой логотип и так далее.

Cloud.ru Evolution Stack — мощная платформа со множеством функций, которые расширяют возможности собственной IT-инфраструктуры компаний за счет сервисов публичного облака. Решение может сначала озадачить, но мы всегда рядом: помогаем заказчикам разобраться, обеспечиваем эксплуатацию и полное сопровождение.

Приступая к работе над Cloud.ru Evolution Stack, поменялись и подходы к продуктовой разработке. Главное — начали сертификацию процесса безопасной разработки по стандарту РБПО, чтобы соответствовать требованиям к надежности и безопасности ПО для критически важных систем. Это ускорит сертификацию Cloud.ru Evolution Stack для крупных заказчиков с полугода-года до квартала.

На GoCloud Cloud.ru анонсировали Evolution Stack AI-bundle — новую платформу для локального запуска AI-сервисов. Платформа упрощает разработку и масштабирование AI-продуктов, сохраняя полный контроль над данными. По сути, это первое в России гибридное облако с поддержкой AI.

Что внутри:

• Jupyter Lab для дата-сайентистов;
• инструменты для обучения, дообучения и инференса моделей;
• инфраструктура — Managed Kubernetes с GPU, реестр артефактов, виртуалки с GPU, S3-хранилище и файловая система для ML.

Платформа гибкая: можно обучать модели в публичном облаке, а инференс запускать в закрытом контуре on-prem или переключаться при нагрузках. Она поддерживает мультитенантность, мониторинг и управление доступом. Плюс, её можно дополнить другими сервисами Cloud.ru для комплексных решений.

Cloud.ru Evolution Stack AI-bundle входит в реестр российского ПО, соответствует требованиям импортозамещения и будет доступна как софт или программно-аппаратный комплекс по подписке.

AI, ML и облака (не роботы)

Из других больших анонсов — Cloud.ru Evolution AI Factory. Это новая платформа для создания приложений и AI-агентов в облаке, запускать планируют этим летом.

По своей сути, это цифровая «фабрика», которая объединяет инструменты для работы с искусственным интеллектом — от обучения моделей до запуска сложных мультиагентных систем. Вот, что внутри:

• Evolution ML Inference — с помощью нее можно запускать ML-модели (Hugging Face, Docker-образы) на GPU с поддержкой vLLM, TGI, Ollama, Diffusers, Transformers. Использует Shared GPU, то есть использует столько ресурсов, сколько нужно, для запуска модели.
• Foundation Models — доступ к популярным моделям, вроде GigaChat и Gemma, плюс среда AI Playground для тестирования идей.
• AI Assistants — создание агентов с подключением к внешним системам и автоматизацией задач.
• Cloud.ru ML Space — платформа для глубокого обучения, работает в облаке и on-premise.

Платформа делает работу с AI проще и доступнее. Не нужно быть экспертом в программировании или тратить кучу денег на серверы — всё уже готово в облаке. Она помогает компаниям быстрее создавать свои AI-продукты: агентов, аналитические системы или что-то совсем кастомное. Внутри будут встроенные ассистенты — новички могут легко собрать целое приложение, а профи — все кастомизировать. Это экономит время, снижает затраты на инфраструктуру и ускоряет запуск новых идей на рынок.

Ещё одно преимущество — гибкость. Платформа подходит для самых разных задач: от проверки гипотез до создания сложных корпоративных решений — и все в одном месте.

В Cloud.ru считают, что за нейронками — будущее. И компания уже видит эффект: разработчики активно используют AI-инструменты в задачах, которые не требуют креатива и разработки критических сервисов. Правда, измерить этот эффект пока непросто — слишком уж разные задачи и технологии.

Я точно знаю, что AI помогает в разработке: используют code assistant, применяют CoPilot. Разработчики уже не представляют работу без него — это как Google лет 15 назад, когда им еще не все широко пользовались, а сейчас он у всех в смартфоне. AI помогает развиваться, ускоряет выполнение ежедневных задач. То, что раньше делали месяц, теперь можно уложить в две недели.

Что будет дальше: планы Cloud.ru

В 2025 году Cloud.ru продолжат развивать собственные облачные платформыи PaaS . Сейчас запросы российского бизнеса, особенно крупных B2B-клиентов, часто совпадают с западными стандартами, так как многие из них уже работали с крупнейшими облачными провайдерами. Помимо базовых требований к надежности и безопасности, заказчики ждут продвинутых решений.

Три четверти нашего бэклога — это запросы заказчиков, а четверть — инновации и создание трендов. У нас в России требовательные клиенты, особенно крупные B2B-компании, и они знают, что такое хорошее облако. Помимо надежности и кибербезопасности им нужны продвинутые инструменты — AI, Big Data, высокая производительность. Cloud.ru AI Factory — наш главный фокус, до конца года мы выпустим много новых сервисов. Cloud.ru Evolution Stack будем тиражировать в продакшен, чтобы помогать бизнесу.

А ещё Cloud.ru продолжит прокачивать AI-комьюнити — компания предоставляет открытую экосистему для вендорских продуктов. В ней можно создавать конкурентные решения, например, fully-managed сервисы в Cloud.ru Evolution с помощью Partner API. Так вход в облачные технологии становится еще проще и удобнее.

Реклама. Рекламодатель: ООО «Облачные технологии», ИНН 7736279160, erid: 2W5zFJ5hRC4.

Julia получил признание благодаря универсальности, скорости, понятному синтаксису и множеству других достоинств, о которых мы расскажем в статье. Этот идеальный вариант для научных вычислений в любых отраслях — от анализа огромных массивов данных до расчетов прочности архитектурных объектов.

Узнаем, каковы особенности и преимущества языка программирования Julia, почему он популярен в научных вычислениях, чем отличается от других топовых языков и где применяется.

Основные особенности языка Julia

Язык программирования с романтическим женским именем был создан в 2012 году профессором Массачусетского технологического института Аланом Эдельманом в сотрудничестве с группой студентов. Инструмент изначально разрабатывался с прицелом на использование в научных вычислениях. По замыслу команды, язык должен был занять нишу, в которой находились MATLAB с его многочисленными клонами и R, а также совместить удобство и простоту Python с производительностью С++ и Fortran.

Растущая популярность Julia демонстрирует, что планы разработчиков были по большей части реализованы. И хотя этот язык еще продолжает развиваться и совершенствоваться, уже сейчас его возможности широко используются для сложных математических вычислений, анализа данных и машинного обучения. Последнее направление приобретает все большую актуальность, поскольку нейросети и технологии на основе ИИ внедряются во все нашей сферы жизни и нуждаются в корректном, эффективном и быстром обучении.

Julia действительно устраняет разрыв между высокоуровневыми интерпретируемыми и низкоуровневыми компилируемыми языками, демонстрируя высокую производительность без утраты простоты применения и продуктивности. В числе других достоинств языка — поддержка многопоточности и параллелизма.

Рассмотрим более подробно главные плюсы Julia.

Скорость и производительность

Скорость, которая напрямую определяет производительность, входит в число ключевых преимуществ языка. Показатель в первую очередь обусловлен наличием компилятора, работающего в формате Just-In-Time. Это позволяет создавать эффективный нативный код, который обеспечивает работу сложных алгоритмов на реальном оборудовании.

Как это реализуется на практике? Представьте, что вам нужно перемножить две огромные матрицы или промоделировать климат в Московской области на 50 лет вперед. На Python это может занять часы, на C — требует тонн низкоуровневого кода. Julia справляется с такими задачами почти так же быстро, как C, но с лаконичностью Python.

Julia не интерпретирует код построчно, как Python, а сразу компилирует его в эффективный машинный код, как это делает C. Это дает ускорение в 10–100 раз в сравнении с чисто интерпретируемыми языками.

Скорость особенно актуальна в машинном и глубоком обучении. Ускоренная обработка обширных массивов данных и такие же быстрые сложные вычисления существенно ускоряют разработку инструментов на основе нейросетей.

Вот несколько фактов, чтобы вы не сомневались в производительности Julia:

• NASA использует Julia для моделирования полетов — код работает в 15 раз быстрее, чем предыдущая версия на Python + Cython.
• В тестах линейной алгебры Julia обгоняет Python (NumPy) в 2–3 раза, а с нативными типами — почти догоняет C.
• Пакет DifferentialEquations.jl решает сложные уравнения в 100 раз быстрее SciPy (Python).

• Обучение нейросетей (Flux.jl) ускоряется в 3–5 раз против Python + TensorFlow/PyTorch.
• Анализ геномов в биоинформатике занимает минуты вместо часов.

При этом скорость Julia не наносит ущерба удобству применения.

Гибкость

Качество языка, которое часто называют «дружелюбием», позволяет юзерам без особых проблем осваивать и использовать Julia для решения самого широкого круга задач. Тем, кто знаком с Python или MATLAB, перейти на Джулию еще проще.

При этом высокоуровневый синтаксис позволяет выражать сложные алгоритмы минимальными средствами. Лаконичность языка делает его предельно доступным для изучения.

В Julia можно присваивать переменные, не объявляя их тип, при этом язык поддерживает все широко используемые алгоритмические структуры и способы хранения данных (словари, матрицы). Для работы со сложными типа данных есть бесплатные библиотеки.

Мощная экосистема пакетов

Для Julia создано огромное количество библиотек и фреймворков, существенно расширяющих ее функциональность.

Обратите внимание на эти инструменты:

• Flux, MLJ и Knet — написанные на Julia пакеты для глубокого обучения. Позволяют создавать многослойные нейросети и модели непосредственно на этом языке.
• DataFrames.jl — набор фреймворков для работы с данными. Выполняет те же задачи, что и Pandas для Python. Включает полезные и высокоэффективные инструменты для управления данными и их анализа.
• JuliaImages — пакет библиотек для работы с изображениями. Включает инструменты для загрузки, обработки и трансформации картинок.
• Jump.jl — специализированный язык моделирования, интегрированный в Julia. Предназначен для математической оптимизации с использованием линейного, нелинейного и комбинированного программирования.

Это лишь несколько примеров специальных пакетов. На практике можно найти десятки других инструментов в зависимости от поставленных задач.

Поддержка многопоточности и параллельных вычислений

Многопоточность обеспечивает языку Julia мощность без сложностей. Если требуется выполнить масштабные вычисления, можно задействовать все ядра процессора одновременно. Julia делает это настолько просто, что даже новичок сможет ускорить свой код в разы.

В отличие от Python, где многопоточность требует сложных библиотек, в Julia она встроена в сам язык. Чтобы запустить этот процесс, достаточно одной строки:

Что дает языку многопоточность «из коробки»:

• Ускорение в N раз (где N — число ядер). Например, на 8-ядерном процессоре тяжелый цикл выполнится почти в 8 раз быстрее.
• Никаких заморочек с разделением памяти — Julia сама позаботится о корректности.

Кроме того, Julia умеет распределять задачи даже между несколькими серверами. Это полезно в машинном обучении для параллельной обработки датасетов, в физическом моделировании, в финансовой сфере — обеспечивает моментальный анализ рисков для тысяч инвестиционных портфелей.

Благодаря параллелизму Джулия существенно опережает в скорости R/MATLAB. Даже в специализированных математических пакетах параллельные вычисления часто требуют сложной настройки. В Julia это 2–3 строки кода.

Развитое сообщество

Когда вы только начинаете работать с новым языком, важно знать, что у вас есть поддержка — и тут Julia выигрывает у многих конкурентов. За последние 10 лет вокруг языка сформировалось активное сообщество ученых, инженеров и разработчиков, которые не только пишут код, но и помогают новичкам.

Вот почему это важно:

• Быстрая помощь. На официальном форуме и в чатах вам ответят даже на базовые вопросы — без снисходительности, характерной для некоторых других языков.
• Готовые решения. В реестре пакетов уже есть 7 000+ библиотек для всего — от машинного обучения до астрофизики.
• Открытость. Создатели Julia сами участвуют в обсуждениях, а многие пакеты разрабатываются университетами (MIT, Stanford) и компаниями (NASA, IBM).

Пример: если вы застряли с дифференциальными уравнениями, просто спросите в чате — и с вероятностью 90% вам ответит либо автор пакета DifferentialEquations.jl, либо кто-то, кто уже решил такую же проблему.

Сообщество Julia — это редкий случай, когда «экспертность» не означает «закрытость». Здесь ценят и новичков, потому что каждый когда-то начинал с “Hello World”.

Почему Julia популярен в научных вычислениях

Представьте язык, который понимает ваши математические формулы буквально с полуслова. Julia родился именно таким — как универсальный инструмент для ученых, уставших выбирать между «понятно» и «быстро».

Вот что делает его особенным:

• пишете, почти как в тетради: 2x + 3y вместо 2*x + 3*y;
• получаете скорость как у Фортрана, без головной боли с компиляцией;
• матричные операции летают в разы быстрее, чем в Python;
• сложные дифференциальные уравнения решаются за пару секунд.

Секрет успеха — в продуманной начинке:

• встроенные суперспособности для математики;
• может растягивать вычисления на все ядра процессора;
• легко подключает библиотеки Python, R и даже C.

При этом Julia универсален: подходит биологам для анализа ДНК, физикам, моделирующим квантовые системы, архитекторам, вычисляющим прочностные параметры конструкций. Библиотека Flux.jl строит нейросети быстрее PyTorch, а DataFrames.jl обрабатывает гигабайты данных без тормозов.

Это не просто язык — это турбодвигатель для научных открытий. Хотите говорить с компьютером на языке математики? Julia станет вашим переводчиком.

Сравнение Julia с другими языками

Чтобы в полной мере оценить особенности языка Julia, сравним его с ближайшими конкурентами.

Julia vs Python

Python по праву считается универсальным языком программирования — он прост в освоении, обладает огромным количеством библиотек и поддерживается многомиллионным сообществом разработчиков. Однако когда речь заходит о сложных численных расчетах и высокопроизводительных вычислениях, Julia предлагает ряд неоспоримых преимуществ.

Главное достоинство Julia — его фокусировка на научных задачах. Этот язык создавался специально для работы с большими объемами данных и сложными математическими операциями. Хотя комьюнити Julia пока меньше python-сообщества, оно состоит преимущественно из специалистов в области Data science, физики и математического моделирования.

При этом Julia не исключает использование Python. Напротив, благодаря встроенным инструментам взаимодействия — таким как PyCall, разработчики могут комбинировать сильные стороны обоих языков. Использовать Julia для ресурсоемких вычислений, а Python — для других компонентов системы. Такой симбиоз позволяет достичь максимальной эффективности в научных проектах.

При этом Julia превосходит Python в скорости, имеет более удобный для математиков синтаксис. Параллелизм в Джулия встроенный — для Питона придется использовать сторонние библиотеки.

Julia vs R

R уже много лет остается верным помощником статистиков — его создавали специально для работы с данными, и в этом он действительно хорош. Но сегодня на сцену выходит Julia — современный язык, который сочетает удобство R с невероятной скоростью работы.

Те же операции с таблицами данных Julia выполняет в несколько раз быстрее. Если R справляется с задачей за минуту, Julia сделает это за 15-30 секунд. А когда дело доходит до сложных расчетов — разница становится еще заметнее.

Что действительно выделяет Julia:

• Это не просто язык для статистики, а полноценная платформа для научных вычислений.
• Можно работать с искусственным интеллектом, физическими моделями и даже квантовыми вычислениями.
• При этом сохраняется доступ ко всем привычным R-библиотекам.

Для тех, кто только начинает погружаться в анализ данных, Julia — отличный выбор. Вам не придется сначала осваивать R для простых задач, а потом переучиваться на другие языки для сложных вычислений. Все есть в одном месте — от базовой статистики до работы с большими данными.

Julia vs MATLAB

MATLAB долгие годы был как дорогой швейцарский нож для ученых и инженеров — удобный, но привязанный к лицензии. А теперь представьте, что появился инструмент с теми же возможностями, но бесплатный и который можно модифицировать под свои нужды. Это Julia.

Скорость работы — первое, что замечают при переходе. Типичные расчеты в Julia идут на пятую-треть быстрее. А когда дело доходит до сложных проектов, разница становится еще заметнее.

Но главная магия — в экосистеме:

• 7000+ бесплатных пакетов вместо платных тулбоксов;
• возможность заглянуть «под капот» любого алгоритма;
• сообщество, которое постоянно добавляет что-то новое.

Синтаксис намеренно сделали похожим на MATLAB — переход ощущается как смена автомобиля той же марки на новую модель. Все знакомо, но едет быстрее и без ограничений по пробегу.

Для студентов это просто подарок — мощный инструмент без дорогой подписки. А для научных групп — возможность делиться кодом без оглядки на лицензии. Julia не просто догоняет MATLAB, она задает новые стандарты в научных вычислениях.

Julia vs C++

Если снова воспользоваться сравнением из автомобильной тематики, то C++ — это ручная коробка передач в мире программирования. Можно выжать максимум скорости, но каждая строчка кода требует ювелирной работы с памятью и указателями. Julia предлагает другой подход — это автоматическая трансмиссия, которая разгоняется почти так же быстро, но без головной боли.

Секрет Julia — умный переводчик (JIT-компилятор), который:

• в реальном времени превращает ваш код в машинные инструкции;
• сам решает, как оптимально использовать память;
• не заставляет вас ковыряться в низкоуровневых деталях.

Разница особенно заметна в математических задачах. В Джулии не нужно приписывать все детали реализации в отличие от C++.

Примеры кода на Julia

Эти примеры демонстрируют все преимущества Julia в сфере математических вычислений.

Вычисление факториала

Это действительно просто:

Для больших чисел (n > 20) стоит использовать factorial(big(n)), что автоматически переключает вычисления на длинную арифметику.

Матричные операции

Julia создан для работы с матрицами и линейной алгеброй. Вот несколько примеров, демонстрирующих его выразительность и производительность.

Базовые операции с матрицами:

Решение системы линейных уравнений:

Julia предоставляет удобные инструменты для параллельных вычислений. Вот как можно легко распараллелить задачи:

Где применяется Julia

Сферы использования Julia в науке, бизнесе, ИТ и других отраслях практически не ограничены. Рассмотрим наиболее актуальные направления.

Научные исследования

Julia активно используется в фундаментальных и прикладных науках благодаря своей скорости и удобству для математических расчетов:

• В физике с его помощью моделируют квантовые системы (например, в пакете QuantumOptics.jl) и решают дифференциальные уравнения (DifferentialEquations.jl).
• В биоинформатике Julia применяют для анализа ДНК и белковых структур.
• В астрономии — для обработки данных телескопов и симуляции галактик. Например, NASA использует Julia для расчета траекторий космических аппаратов.

Финансовые вычисления

В финансах Julia ценят за высокую производительность при работе с большими массивами данных. Банки и брокеры применяют его для:

• Алгоритмического трейдинга — быстрого тестирования стратегий.
• Риск-анализа — моделирования кризисных сценариев.
• Оптимизации портфелей — решения задач линейной алгебры с миллионами переменных.

Пакеты вроде JuliaQuant и Temporal.jl делают его отличной альтернативой Python (Pandas) и R.

Искусственный интеллект и машинное обучение

Хотя Python все еще доминирует в ML, Julia набирает популярность в этой сфере благодаря:

• скорости — обучение моделей в Flux.jl (аналог PyTorch) иногда в 2–3 раза быстрее;
• гибкости — можно легко комбинировать нейросети с численными методами.

Например, Julia используют для обработки изображений в реальном времени. Пакет MLJ объединяет сотни алгоритмов в едином интерфейсе.

Анализ данных и обработка больших массивов информации

Julia идеален для работы с Big Data:

• DataFrames.jl предоставляет инструменты, знакомые пользователям Pandas/R, но работает быстрее.
• Поддержка многопоточности и распределенных вычислений (через интерфейс DistributedArrays.jl) позволяет обрабатывать терабайты данных.

Компании используют Julia для анализа страховых рисков, а ученые — для обработки огромного количества данных, полученных в процессе исследований.

Итоги

Julia — это не просто язык для академиков. Он уже используется в реальной сфере везде, где важны скорость, точность и масштабируемость. Уже сейчас мы наблюдаем, как MATLAB-разработчики массово переходят на Julia, устав от закрытой экосистемы, а научные группы выбирают Julia для сложных вычислений там, где Python слишком медленный.

Тренд только набирает обороты. Добавляются новые функции типа встроенной поддержка GPU, а количество вакансий для разработчиков на Julia, особенно в сфере машинного обучения, постоянно растет.

Ты точно программист, если читаешь это! Больше мемов, инсайтов и боли кодеров тут.

Вместе с Никитой Егоровым, ведущим аналитиком в МТС Диджитал и автором тг-канала Дата аналитикс, разберем, чем отличаются Pandas, Polars и PySpark, какие у них сильные и слабые стороны, и какой инструмент выбрать в зависимости от задач.

P.s. Если не видели первую часть из нашей дата-серии, самое время исправить. Там рассказываем про партиционирование.

Почему важно выбрать правильный инструмент для работы с данными?

От выбора инструмента зависит не только удобство работы, но и производительность системы. Вот краткое сравнение трех решений:

• Pandas — идеален для небольших данных (до 1-3 ГБ). Простой, удобный, но начинает «задыхаться» на больших объемах.
• Polars — работает в 1.5–10 раз быстрее Pandas за счет многопоточности и использования Rust. Отлично справляется с 7-25 ГБ, но требует больше памяти.
• PySpark — создан для работы с огромными объемами данных (30+ ГБ). Позволяет распределять вычисления по кластерам, но сложнее в настройке.

Как понять, что ваш инструмент больше не справляется?

Если ваш скрипт выполняется дольше, чем вы пьете кофе, или падает с ошибкой MemoryError, пора задуматься о переходе на Polars или PySpark.

Pandas: золотой стандарт для аналитиков

Почему Pandas остается первым выбором?

Pandas — это удобство, простота и огромное количество готовых решений. Он идеально подходит для:

• Разведочного анализа данных (EDA) — позволяет понять структуру данных, выявить пропуски, выбросы и тренды.
• Обработки файлов CSV/Excel до 1-3 ГБ.
• Интеграции с библиотеками визуализации (Matplotlib, Seaborn).

Ограничения Pandas

• Проблемы с памятью. Например, датафрейм весом ~20 ГБ уже вызовет MemoryError.

• Скорость обработки. Данные объемом 1 ГБ при 32 ГБ ОЗУ и процессоре Intel Core i7 11800H обрабатываются за 12.4 секунды на синтетических данных.

• Нагрузка на систему. При обработке 2-5 ГБ ваш ноутбук может начать перегреваться и замедлять работу.

Polars: быстрая и оптимизированная альтернатива Pandas

Почему Polars быстрее?

Polars написан на Rust, а это компилируемый язык без накладных расходов, который выполняется в 10-100 раз быстрее, чем интерпретируемый Python. Полностью поддерживает многопоточность, что делает его значительно быстрее Pandas.

Когда использовать Polars?

• При обработке данных 5-30 ГБ (например, логи, транзакции).
• Когда Pandas уже не справляется, но PySpark кажется избыточным.
• Для SQL-подобных операций (group_by, join).

Недостатки Polars

• Меньше документации и примеров — интеграция с Seaborn и Matplotlib отсутствует.
• Некоторые методы работают иначе. Например, фильтрация в Pandas и Polars:

Polars — это как Pandas, но после курса энергетиков — синтаксис похож, но под капотом всё оптимизировано и разогнано

PySpark: для работы с огромными объемами данных

Когда использовать PySpark?

• Если объем данных превышает 30 ГБ;
• Если нужны распределенные вычисления (кластеры, облака);
• Для потоковой обработки данных (например, Kafka + Spark).

Какие сложности у PySpark?

1. Требует JVM (Java), правильных версий Spark/Hadoop, совместимости Python-библиотек.
2. Нужно настраивать spark-defaults.conf, выделять память (spark.driver.memory, spark.executor.memory). Это особенно критично для больших данных.
3. Частые проблемы с путями, отсутствием классов Java (ClassNotFoundException), конфликтами версий.
4. Локальный режим ≠ продакшен. Локальный Spark (например, local[*]) не всегда корректно эмулирует кластер, что маскирует проблемы масштабирования.

Нужно ли аналитикам учить PySpark, если они не работают с Big Data? Если ваши данные умещаются в Excel — нет. Но если планируете работать с большими объемами или в BigTech, лучше изучить хотя бы основы.

Какой инструмент выбрать аналитику?

Исходя из сводной таблички, делаем вывод, какой минимальный набор инструментов должен знать аналитик в 2025 году:

• Pandas — обязательно.
• Polars — желательно.
• PySpark — если работаете с большими данными.

Таким образом, выбирайте инструмент под задачу, а не под моду:

• Pandas — для разведочного анализа и небольших данных.
• Polars — когда нужны скорость и многопоточность.
• PySpark — для распределенных вычислений и огромных объемов данных.

Понимание этих инструментов поможет работать эффективнее и выбирать правильные решения для каждой задачи.

Совместно с экспертами Kursfinder я проанализировала более 80 предложений, чтобы отобрать 56 лучших курсов по Big Data. В начале статьи представлены 10 самых лучших, нам мой взгляд, учебных программ. Далее идет список из 19 курсов по Data Science, за ним следуют 11 курсов Power BI и 7 курсов по машинному обучению. В конце статьи вы найдете подборку бесплатных вариантов по изучению аналитики и дополнительную информацию о профессии специалиста по работе с большими данными. Полный список курсов по Big Data вы найдете в каталоге Kursfinder.

ТОП-10 лучших курсов по Big Data в 2026 году

1. Python, BI и BigData от ProductStar — программа для изучения инструментов аналитики с нуля при поддержке ИИ-помощника.
2. Менеджмент AI- и BigData-продуктов от ProductStar — быстрый старт в профессии.
3. Большие данные (Big Data) и интернет вещей (IoT) от МИПО — обучение в рамках профессиональной переподготовки специалистов.
4. Большие данные (Big Data) и интернет вещей (IoT) от Профессионального стандарта — востребованная специальность в сжатые сроки.
5. Аналитик данных от Eduson Academy — обучение у топовых экспертов.
6. Программирование для анализа данных от Skypro — углубленный курс по бизнес-аналитике.
7. Профессия Data Analyst от GeekBrains — бесплатные консультации для успешного развития карьеры.
8. Аналитик данных от Яндекс Практикум — курс с возможностью стажировки в компаниях-партнерах.
9. Аналитик данных от Skypro — комплексная программа с содействием в трудоустройстве.
10. Машинное обучение от Skillfactory — магистратура с престижным дипломом МФТИ.

Курсы адресованы тем, кто стремится освоить современные технологии обработки данных, машинное обучение, методы аналитики и визуализации. Big Data обучение подойдет как новичкам, желающим начать карьеру в Data Science, так и действующим аналитикам, разработчикам и специалистам смежных профессий для улучшения навыков и расширения компетенций.

Онлайн-курсы по Big Data

1. Python, BI и BigData | ProductStar

Онлайн-курс технологии Big Data не требует специальной подготовки и адресован широкой аудитории слушателей. Вы освоите высокоуровневый язык программирования Python, научитесь использовать язык запросов SQL и нейросети для работы с данными, сможете разрабатывать рекомендательные системы и визуализировать данные с помощью популярных инструментов Power BI и Tableau. В конце обучения выполняется финальный проект, который пополнит ваше профессиональное портфолио.

• Стоимость: 109 451 рублей
• Длительность: 6 месяцев
• Формат обучения: видеолекции, текстовые материалы, практические задания, работа над итоговым проектом
• Сертификат: электронный диплом о прохождении обучения

Кому подойдет: новичкам для старта в аналитике, специалистам для систематизации знаний или перехода на новый карьерный уровень.

Преимущества:

• доступна оплата в рассрочку;
• постоянно обновляемые учебные материалы;
• обширная библиотека знаний по профессии;
• отработка практических навыков составляет 70% учебного времени;
• бонусные курсы по программированию, английскому языку, Google Sheets и Excel;
• ИИ-помощник для эффективной учебы;
• бесплатные консультации по развитию карьеры.

Недостатки:

• без гарантии трудоустройства.

Программа обучения:

• Введение в Python
• Системы контроля версий
• Разработка API
• Анализ и визуализация с Yandex DataLens
• Работа с Power BI и Tableau
• SQL для анализа данных
• Python и создание ML-моделей
• Нейросети, NLP, рекомендательные системы

Ознакомиться с полной программой >>>

2. Менеджмент AI- и BigData-продуктов | ProductStar

Онлайн-курс в интенсивном формате поможет за короткий срок освоить методы внедрения ML-задач и создания AI-стратегий, а также познакомит со спецификой взаимодействия с командами аналитиков, маркетологов и разработчиков. Участники научатся работать с большими данными, рассмотрят способы создания датасетов и их применением в машинном обучении. Отработка практических навыков выполняется на реальных кейсах IT-компаний.

• Стоимость: 45 540 рублей
• Длительность: 2 месяца
• Формат обучения: видеолекции, текстовые материалы, практические задания, работа над итоговым проектом
• Сертификат: электронный диплом о прохождении обучения

Кому подойдет: для желающих точечно прокачать навыки работы с данными.

Преимущества:

• возможность быстрого старта в профессии;
• обучение в индивидуальном темпе;
• помощь ментора на весь период учебы;
• наполнение портфолио выполненными проектами;
• карьерные консультации.

Недостатки:

• обратная связь от ментора может быть с задержкой.

Программа обучения:

• Возможности ML для оптимизации бизнеса
• Машинное обучение и ИИ-продукты
• Внедрение задач машинного обучения
• Создание и запуск датасетов, работа с моделями
• Введение в SQL
• Нейронные сети и рекомендательные системы
• Методы анализа Big Data
• Хранение, обработка и масштабирование данных

Ознакомиться с полной программой >>>

3. Большие данные (Big Data) и интернет вещей (IoT) | МИПО

Содержательный курс в рамках профессиональной переподготовки подойдет специалистам любого уровня, включая новичков. К обучению приглашаются слушатели со средним профессиональным или высшим образованием. Под руководством российских и зарубежных экспертов с многолетним опытом студенты научатся обрабатывать и анализировать большие объемы информации, работать с базами данных и интернетом вещей, познакомятся с digital-экономикой и методами цифровой трансформации. Выпускники могут претендовать на позиции аналитика Big Data или IoT-аналитика.

• Стоимость: 58 249 рублей
• Длительность: 4 месяца
• Формат обучения: лекции, онлайн-вебинары, текстовые материалы, упражнения, тесты
• Сертификат: официальный диплом о переподготовке

Кому подойдет: начинающим специалистам любого профиля со средним профессиональным или высшим образованием, инженерам и тем, кто планирует сменить сферу деятельности.

Преимущества:

• учебная программа соответствует актуальным требованиям рынка;
• доступна оплата в рассрочку;
• можно обучаться в ускоренном темпе;
• кураторская поддержка с обратной связью;
• отработка практических навыков на реальных кейсах.

Недостатки:

• нужно дождаться старта очередного потока обучения.

Программа обучения:

• Работа с базами данных
• Обработка и интерпретация данных
• Цифровая экономика
• Технологическое обновление бизнеса
• Big Data

Ознакомиться с полной программой >>>

4. Большие данные (Big Data) и интернет вещей (IoT) | Профессиональный стандарт

Big Data обучение с нуля подойдет для освоения востребованной профессии в сжатые сроки. Занятия в дистанционном формате охватывают современные технологии и методы работы с большими данными. Вы изучите особенности анализа и хранения информации, познакомитесь с инструментами визуализации данных, системного администрирования и возможностями их применения в бизнесе.

• Стоимость: 18 000 рублей
• Длительность: 3 месяца
• Формат обучения: предзаписанные видеоуроки, учебники, дополнительные материалы, практические задания, тесты
• Сертификат: диплом установленного образца о профессиональной переподготовке

Кому подойдет: желающим освоить новую инженерию в сфере Big Data.

Преимущества:

• доступная стоимость при высоком качестве обучения;
• есть рассрочка оплаты;
• соответствует требованиям профессиональных стандартов;
• обучение без отрыва от работы;
• помощь персонального куратора во время учебы.

Недостатки:

• только для участников, имеющих среднее профессиональное или высшее образование.

Программа обучения:

• Введение в профессию
• Цифровая экономика и цифровая трансформация
• Методы и системы обработки Big Data
• Оборудование для хранения больших данных
• Инструменты визуализации и презентация результатов
• Аналитика и управление данными

Ознакомиться с полной программой >>>

5. Аналитик данных | Eduson Academy

Качественный курс, разработанный топовыми аналитиками. Предназначен для освоения профессии с нуля. Для прохождения обучения достаточно школьных знаний математики. Изучаются основные инструменты анализа, обработки и визуализации Big Data, прогнозирование с помощью Python, создание базы данных, работа с SQL-запросами и применение различных видов аналитики. Также вы освоите методологию Agile и принципы командной работы, научитесь создавать информативные презентации, закрепите практические навыки на интерактивном тренажере.

• Стоимость: 98 200 рублей
• Длительность: 6 месяцев
• Формат обучения: лекции, тренажеры, решение кейсов, домашние задания
• Сертификат: удостоверение государственного образца о повышении квалификации, диплом о прохождении курса

Кому подойдет: новичкам без опыта в IT.

Преимущества:

• обучение в комфортном темпе;
• более 70% учебы — практика на реальных задачах;
• 8 проектов для портфолио;
• материалы курса и обновления доступны всегда;
• годовая кураторская поддержка;
• подготовка к собеседованиям;
• гарантированное трудоустройство или возврат денег.

Недостатки:

• набор группы под конкретную дату.

Программа обучения:

• Задачи и сферы работы аналитика
• Возможности Excel для обработки данных
• Автоматизация работы
• Анализ данных для бизнеса
• Юнит-экономика и создание системы метрик
• Описательная, диагностическая и маркетинговая аналитика
• Проведение А/В-тестирования
• SQL и Python для аналитика

Ознакомиться с полной программой >>>

6. Программирование для анализа данных | Skypro

Курс ориентирован на новичков, желающих освоить популярные инструменты для работы с данными, включая Python и SQL. В программу включено изучение программирования, математической статистики, логики и бизнес-процессов. С помощью экспертов-аналитиков студенты научатся обрабатывать и анализировать большие массивы данных, работать с бизнес-метриками, отслеживать динамику рынка и тренды, проводить статистические тесты, формулировать и проверять гипотезы.

• Стоимость: от 191 988 рублей
• Длительность: определяется индивидуально
• Формат обучения: уроки в видеоформате, онлайн-вебинары, упражнения
• Сертификат: диплом о профпереподготовке

Кому подойдет: для обучающихся с нуля, независимо от предыдущего опыта работы.

Преимущества:

• стандартный или индивидуальный тариф;
• возможно обучение в мобильном браузере;
• общение с экспертами в формате Q&A;
• домашние задания с проверкой;
• доступ к учебным материалам без ограничений по времени;
• бесплатный годовой курс разговорного английского языка;
• обучение работе с нейросетями — в подарок;
• бесплатные консультации по старту и развитию карьеры;
• помощь с трудоустройством.

Недостатки:

• набор группы под конкретную дату;
• гарантия трудоустройства только при обучении на индивидуальном тарифе.

Программа обучения:

• Инструменты аналитики
• Основы математической статистики
• Обработка данных
• Автоматизация работы с Big Data
• Методы прогнозирования экономических показателей
• Формулирование гипотез на основе данных

Ознакомиться с полной программой >>>

7. Профессия Data Analyst | GeekBrains

Углубленный курс, предназначенный для стартующих в аналитике данных с нуля. Под руководством опытных преподавателей вы научитесь применять продвинутые инструменты для сбора и обработки информации из различных источников, работать с Big Data, проверять гипотезы, проводить сплит-тестирование, визуализировать результаты анализа данных. После каждого теоретического занятия выполняются практические упражнения, а выполненный во время обучения проект пополнит ваше профессиональное портфолио.

• Стоимость: 133 416 рублей
• Длительность: 12 месяцев
• Формат обучения: онлайн-занятия, уроки в записи, практические упражнения, тесты, проектная работа
• Сертификат: официальный сертификат о прохождении обучения

Кому подойдет: новичкам без специальных знаний.

Преимущества:

• беспроцентная рассрочка;
• живое общение с преподавателями;
• обратная связь от кураторов по результатам домашних заданий;
• проекты для портфолио;
• более 500 часов практики;
• дополнительные курсы по основам математики и статистики;
• помощь карьерных специалистов в подготовке к трудоустройству.

Недостатки:

• обучение рассчитано на длительный период.

Программа обучения:

• Знакомство с Data Science
• Возможности Python для работы с данными
• Язык запросов SQL
• Методы прогнозирования
• A/B-тестирование
• Маркетинговая и продуктовая аналитика
• Алгоритмы и структуры данных
• BI-инструменты

Ознакомиться с полной программой >>>

8. Аналитик данных | Яндекс Практикум

Онлайн-курс с регулярно обновляемой программой и специалистами Яндекса в качестве наставников. Участники подробно узнают о профессии, освоят ключевые инструменты аналитики, включая Python, SQL и BI, изучат методы тестирования и способы визуализации данных, пройдут основы линейной алгебры, познакомятся с алгоритмами и машинным обучением. Предусмотрены стажировки у партнеров, выполнение проектов для портфолио, прохождение технических собеседований.

• Стоимость: от 102 820 рублей
• Длительность: от 7 месяцев
• Формат обучения: интерактивный учебник, воркшопы, практические задания, работа над проектами
• Сертификат: диплом о профессиональной переподготовке

Кому подойдет: начинающим с нуля и Junior-специалистам.

Преимущества:

• базовый или расширенный курс;
• обучение можно совмещать с работой;
• первые занятия доступны без оплаты;
• актуальная учебная программа;
• более 70% программы отводится практике;
• онлайн-консультации с экспертами;
• возможно пройти стажировку в компаниях-партнерах;
• бесплатный курс по нейросетям для аналитиков;
• содействие в трудоустройстве.

Недостатки:

• нужно дождаться старта очередного потока обучения.

Программа обучения:

• Функции и задачи аналитика данных
• SQL и BI для работы с данными
• Возможности Python для обработки и анализа данных
• Продвинутая аналитика для бизнес-задач
• Специализация по продуктовой или BI-аналитике

Ознакомиться с полной программой >>>

9. Аналитик данных | Skypro

Онлайн-курс для желающих освоить профессию с нуля. Студенты учатся работать с данными, осваивают SQL, Python, Excel и Power BI. Программа предполагает выполнение практических заданий, мастер-классы с реальными кейсами, поддержку наставников, помощь в подготовке резюме и портфолио специалиста. Выпускники получают диплом о профессиональной переподготовке и содействие в трудоустройстве.

• Стоимость: 169 596 рублей
• Длительность: определяется индивидуально
• Формат обучения: уроки в видеоформате, онлайн-вебинары, упражнения
• Сертификат: диплом о профпереподготовке

Кому подойдет: новичкам без IT-образования и независимо от предыдущего опыта работы.

Преимущества:

• выбор из 2 тарифных планов;
• живое общение с экспертами;
• можно учиться с мобильного устройства;
• проверка домашних заданий с ревью от преподавателей;
• бессрочный доступ к материалам программы;
• курсы по визуализации данных и английскому языку в подарок;
• консультации со специалистами по развитию карьеры;
• гарантия устройства на работу.

Недостатки:

• набор группы под определенную дату;
• трудоустройство гарантируется при обучении на более дорогом тарифе.

Программа обучения:

• Введение в профессию
• Инструменты и технологии для аналитики данных
• Работа с данными и автоматизация процессов
• Обработка больших массивов данных
• Методы прогнозирования
• Проверка гипотез
• Виды тестирования

Ознакомиться с полной программой >>>

10. Машинное обучение | Skillfactory

Онлайн-программа в рамках магистратуры МИФИ по направлению «‎Прикладная математика и информатика»‎ поможет с азов освоить работу с данными и ML-моделями. Вы научитесь разрабатывать системы прогнозирования и принятия решений, исследовать гипотезы, автоматизировать процессы с помощью технологий машинного обучения, собирать, обрабатывать и анализировать большие данные, проводить е A/B-тестов, применять инструменты маркетинговой аналитики и многое другое. Фундаментальный курс помимо содержательной теоретической базы включает интенсивное практическое обучение, которое позволит наработать опыт и создать профессиональное портфолио.

• Стоимость: 198 000 рублей за семестр
• Длительность: 2 года
• Формат обучения: предзаписанные материалы, онлайн-лекции, семинары, тесты, проекты, хакатоны, тренажеры
• Сертификат: диплом магистра

Кому подойдет: специалистам без опыта в IT, выпускникам и действующим специалистам технических направлений.

Преимущества:

• удобное расписание;
• обучение с нуля до продвинутого уровня;
• актуальные учебные материалы;
• преподаватели — эксперты в области Data Science и ML;
• реальные кейсы от партнеров в качестве проектов для портфолио;
• диплом престижного вуза;

Недостатки:

• для поступления требуется диплом бакалавра или специалиста по любому направлению;
• старт программы раз в год.

Программа обучения:

• Программирование на Python
• Математика для анализа данных
• Сплит-тестирование
• Машинное обучение
• Внедрение ML-моделей
• SQL для работы с базами данных
• Big Data и рекомендательные системы

Ознакомиться с полной программой >>>

Еще 19 курсов по Data Science

Предлагаю ознакомиться с подборкой курсов, охватывающих изучение современных технологий и аналитических методов для работы с данными.

1. BIG DATA для менеджеров от Product Live — онлайн-курс научит применять ИИ, большие данные и машинное обучение для оптимизации бизнес-процессов и повышения прибыли. Программа длится 6 месяцев и ориентирована на владельцев компаний, руководителей отделов и направлений. Участники научатся работать с фреймворками и датасетами, организовывать работу с DS-командой и планировать BD-проекты, решат 18 бизнес-кейсов, разберут внедрение искусственного интеллекта на реальном примере. Проводятся индивидуальные консультации с ментором.
2. Введение в Data Science от Skillbox — авторский курс от экспертов Сбера рассчитан на полгода. Подходит новичкам и начинающим аналитикам. Вы с нуля изучите инструменты дата-сайентиста, подтянете математику, статистику и теорию вероятностей, научитесь писать код, работать с данными, разрабатывать ML-модели, выполнять когортный и разведочный анализ, формулировать гипотезы и прогнозировать результаты. Практическая часть включает 50 заданий и выполнение итогового проекта, который войдет в ваше портфолио.
3. Библиотеки Python для Data Science: Numpy, Matplotlib, Scikit-learn от GeekBrains — практико-ориентированный курс содержит более 400 часов упражнений для отработки навыков. Эксперты объяснят, как извлекать необходимую информацию из API, баз данных и файлов, как эффективно работать с большими массивами данных, проводить анализ, формулировать и проверять гипотезы. Дополнительно изучаются основы математики и статистики. Предоставляется бесплатный доступ к облачной платформе Yandex для практики во время учебы. Проводятся карьерные консультации.
4. Data Science: быстрый старт от ProductStar — интенсивная программа поможет всего за пару месяцев освоить Python, писать чистый код, работать с ML-инструментами, создавать рекомендательные системы. Обучение можно проходить в индивидуальном темпе и совмещать с работой. После каждого урока проводится разбор кейсов и выполнение практических заданий. После завершения учебы выдается сертификат, а в поиске работы помогают специалисты Карьерного центра.
5. Data Science в медицине от GeekBrains — специализированный курс фокусируется на применении аналитики в медицине, использовании машинного обучения и статистики для работы с Big Data. Подходит для обучения с нуля. Занятия рассчитаны на 9 месяцев и включают знакомство с языками программирования и базами данных, изучение финансовой математики, статистических методов, сплит-тестирования и юнит-экономики. Предусмотрена бесплатная консультация перед началом обучения, отработка практических навыков на интерактивных тренажерах, проверка работ с ревью от преподавателей, выполнение командных проектов.
6. Математика + Machine Learning для Data Science от Skillfactory — объединенный онлайн-курс длится 5,5 месяцев, за которые участники разберутся в применении математических и статистических закономерностей в ML и нейросетях. Программа ориентирована на новичков. Студенты разбирают практические кейсы и участвуют в хакатонах, решают задачи по машинному обучению, предобработке данных, линейной и логистической регрессии, изучают принципы работы с алгоритмами и методы построения рекомендательных систем. Выдается сертификат о завершении обучения, предоставляется бесплатная консультация по развитию карьеры.
7. Data Science в медицине от Skillfactory — совместная программа с Сеченовским университетом адресована специалистам в сфере исследований, медицины, фармакологии, биологии. Обучение можно совмещать с работой. Участники освоят Python и его библиотеки, научатся обрабатывать и визуализировать данные, применять DS-инструменты и ML-алгоритмы для решения задач в своих сферах деятельности, получат доступ к цифровой платформе больших медицинских данных и опыт работы над реальным проектом. Выпускникам выдается диплом о переподготовке.
8. Профессия Специалист по Data Science плюс от Яндекс Практикума — углубленное обучение займет 15 месяцев, в течение которых вы научитесь анализировать Big Data, строить ML-модели для принятия решений и прогнозирования, создавать рекомендательные системы, а также выполните более 20 проектов. Курс подойдет как новичкам без технического образования или опыта в IT, так и специалистам по работе с данными. Первые занятия доступны для бесплатного изучения.
9. Data Science: введение в машинное обучение от Слёрма — программа для начинающих DS-специалистов, владеющих Python, поможет разобраться в алгоритмах и задачах ML. Эксперты курса расскажут о ключевых подходах к созданию нейросетей и форматах работы с данными, объяснят, как использовать библиотеки для анализа данных и применять машинное обучение для решения задач бизнеса. На отработку практических навыков отводится более 130 часов. Обучение без углубления в математику, выполнение итогового проекта, отработка вопросов с собеседования.
10. Data Science для Маркетинг Директора от Digital Business School — курс для собственников бизнеса, маркетологов, product-менеджеров и других специалистов, которые хотели бы использовать аналитику данных для повышения эффективности маркетинга и бизнеса в целом. Состоит из 3 уроков и 3 практикумов. Вы узнаете, как собирать и обрабатывать информацию, использовать метрики для решения маркетинговых задач и внедрить DS в своей компании. Есть бесплатное вводное занятие. Доступ к остальным учебным материалам открывается сразу после оплаты.
11. Онлайн-курсы Python для аналитиков от Международной школы профессий — двухнедельное обучение для тех, кто хочет освоить программирование с нуля и получить практический опыт работы с популярным языком. Курс охватывает такие темы, как основы синтаксиса и структуры данных, работу с файлами и библиотеками, расчет метрик и визуализацию данных. Вы также освоите Selenium WebDriver для автоматизации задач и системой контроля версий. В ходе обучения слушатели создадут три полноценных проекта, которые можно добавить в портфолио. Обучение проходит в онлайн-формате и длится два месяца, что дает возможность совмещать занятия с работой.
12. Специалист по Data Science от Яндекс Практикума — содержательный курс предназначен для тех, кто хочет освоить профессию аналитика данных с нуля. В течение 8 месяцев студенты изучают Python, библиотеки для анализа данных, SQL, методы машинного обучения, а также выполняют практические проекты для портфолио. Программа включает содействие в трудоустройстве, по окончании выдается диплом о профессиональной переподготовке.
13. Data-инженер от Слёрма — онлайн-занятия адресованы разработчикам, аналитикам данных, специалистам по управлению базами данных. За 4 месяца студенты изучат автоматизацию ETL-задач, инструменты для визуализации и отчетности, для обработки, интеграции и хранения данных. Проводятся регулярные встречи с практикующими экспертами. Для ознакомления с форматом обучения предоставляется трехдневный бесплатный доступ к курсу.
14. Data Scientist с нуля от Брунояма — углубленный курс для начинающих рассчитан на 8 месяцев. За это время освоите программирование на Python, работу с SQL и базами данных, изучите методы машинного обучения, обработки и визуализации данных, рассмотрите этапы проведения A/B-тестирования, познакомитесь с возможностями применения нейронных сетей. Удобный график обучения, акцент на практику, поддержка наставника, индивидуальная помощь с трудоустройством.
15. Аналитик PRO от Changellenge Education — комплексный курс посвящен изучению ключевых инструментов аналитики данных и адресован тем, кто только начинает карьеру в этом направлении, Junior-специалистам и представителям смежных профессий. Опытные преподаватели научат использовать Python, SQL и Excel, создавать продвинутые финансовые модели, тестировать бизнес-гипотезы, работать с маркетинговой и продуктовой аналитикой, Tableau и BI-системами. Вас ждет более 300 часов практики, встречи с экспертами, командная и самостоятельная работа над проектами.
16. Курс DP-100: Проектирование и реализация решений Data Science в Azure от Эврики — трехдневный семинар по использованию служб Azure для различных целей машинного обучения. Программа, состоящая из 10 модулей, ориентирована на дата-сайентистов со знанием Python. С помощью эксперта вы научитесь применять инструменты Azure Machine Learning Tools, тренировать модели в ML Designer, создавать хранилища данных, взаимодействовать с вычислительной средой, создавать и запускать конвейеры. По окончании выдается сертификат.
17. Программирование на Python. Уровень 4. Анализ и визуализация данных: Pandas, Numpy, Matplotlib от Специалист.ru — интенсивная программа для аналитиков, программистов, представителей научных специальностей. Вы познакомитесь с возможностями популярного высокоуровневого языка, применяемыми для анализа и визуализации данных, освоите работу с библиотеками, различные способы построения диаграмм и графиков. Занятия построены на реальных кейсах из сферы обработки данных. Предусмотрено тестирование, выдается удостоверение о повышении квалификации.
18. Data Science проекты от New Professions Lab — экспресс-курс для менеджеров и дата-сайентистов включает 4 видеоурока и 2 тестовых задания. Участники рассмотрят, из каких этапов состоит анализ данных, как определиться с метрикой для оценки ML-модели и оценить эффективность ее внедрения, каким образом проводится сплит-тестирование и как визуализировать результаты DS-проекта. Учебные материалы доступны бессрочно, после прохождения обучения выдается сертификат.
19. Большие данные с BigData Team от BigDataTeam — аналитика big data обучение подойдет разработчикам, аналитикам и другим специалистам по работе с данными. За 10 занятий общей длительностью 80 часов участники научатся взаимодействовать с распределенными файловыми системами, освоят такие инструменты Hadoop, MapReduce, Hive, Spark, Kafka и Cassandra, научатся эффективно обрабатывать и анализировать большие данные, готовить отчеты на основе больших массивов информации. Практические задания выполняются студентами на реальном кластере, что позволяет получить опыт работы в реальных условиях.

Еще 11 дополнительных курсов Power BI

Power BI представляет собой комплексное программное решение для анализа и визуализации данных. В этом разделе представлены специализированные курсы, которые помогут улучшить навыки аналитики, автоматизации отчетности и построения эффективных дашбордов.

• Профессия Data-аналитик от Skillbox.ru — углубленное обучение в течение 12 месяцев предназначено для желающих с нуля освоить новую профессию в сфере аналитики данных. Программа включает изучение математических основ анализа и статистики, программирование на Python, применение SQL для работы с базами данных, а также визуализацию с помощью Power BI. Слушатели научатся извлекать, очищать и анализировать данные, строить аналитические отчеты и дашборды, проводить сплит-тесты и формулировать гипотезы. Выпускники смогут претендовать на должности маркетингового, продуктового или финансового аналитика, специалиста по Data Science или BI-аналитика.
• Excel и Google-таблицы: от новичка до эксперта от Eduson Academy — двухнедельный онлайн-курс адресован пользователям, желающим освоить все функции Excel и Google-таблиц для эффективной работы с данными. Программа охватывает темы от работы с формулами и функциями до анализа данных и создания сложных отчетов. Участники научатся обрабатывать большие объемы информации, использовать сводные таблицы и графики, а также автоматизировать задачи с помощью макросов. Обучение проводится на интерактивных тренажерах.
• Power BI и Power Query от SF Education — интенсивная программа продолжительностью 1 месяц подходит широкой аудитории слушателей и нацелена на изучение инструментов для сбора, обработки и анализа данных. Участники научатся собирать информацию из различных источников и подготавливать ее для анализа, интегрировать BI c различными приложениями, использовать возможности BI-системы для аналитических задач и визуализации данных. По окончании выдается диплом международного образца.
• BI-аналитик от Eduson Academy — онлайн-курс предназначен для тех, кто хочет пройти big data обучение и стать специалистом в области бизнес-анализа, работать с большими объемами данных. Обучение длится 4 месяца. Участники освоят навыки работы с Power BI и Tableau, научатся создавать отчеты, дашборды и анализировать данные для принятия стратегических решений. Программа курса включает темы по основам статистики, прогнозированию, построению аналитических моделей и визуализации данных, а также предполагает выполнение практических заданий, что помогает закрепить теорию на реальных примерах.
• Профессия BI-аналитик от GeekBrains — обучение продолжительностью 8 месяцев поможет вам стать востребованным специалистом в области бизнес-анализа. Занятия включают изучение таких инструментов для работы с данными, как Python, SQL, Power BI, Power Query и другими. Вы освоите методы обработки информации, формирования аналитических отчетов и создания дашбордов. Предусмотрены практические задания, в том числе на реальных кейсах, индивидуальные консультации с наставниками и помощь в трудоустройстве.
• «BI-аналитик» с нуля от Skypro — программа в рамках профессиональной переподготовки. Участники изучат основы Python, научатся писать запросы на SQL, собирать из разных источников и преобразовывать, использовать функционал BI-систем для аналитики, визуализировать данные в виде графиков, диаграмм и презентовать результаты своей работы. Занятия проводятся на собственной образовательной платформе онлайн-школы, предоставляется кураторская поддержка и помощь в трудоустройстве.
• BI-аналитика от OTUS — онлайн-обучение для аналитиков данных, продуктовых и маркетинговых аналитиков, product- и project-менеджеров, стремящихся углубить свои знания в области бизнес-аналитики. Продолжительность курса составляет 4 месяца. Вы научитесь работать с большими данными и применять решения с открытым исходным кодом, визуализировать метрики с помощью Power BI, Tableau и отечественной системы Analytic Workspace, создавать интерактивные дашборды с использованием Python и его библиотек. Особенностью курса является акцент на практическом применении знаний и погружение в решение реальных кейсов.
• Аналитик Power BI c 0 от IQBI — практико-ориентированная программа для изучения аналитики с применением Power BI. Подойдет как новичкам, так и действующим аналитикам, желающим систематизировать свои знания. Рассматриваются инструменты Power Query, DAX и M, автоматизация процессов, работа с базами данных и визуализация сведений. Длительность варьируется от 5 недель при обучении на базовом уровне и до 5 месяцев при выборе тарифа PRO. Важной особенностью курса является получение сертификата от партнеров Microsoft.
• Анализ данных в Power BI от Специалист.ru — экспресс-курс знакомит с функционалом программных решений для бизнес-анализа. Освоите основные операции в BI и инструменты визуализации, научитесь обрабатывать информацию и создавать модели данных, писать запросы и сценарии на языке DAX, передавать данные в облачную платформу Power BI и вести там совместную работу над отчетами. Выдается удостоверение о повышении квалификации и диплом международного образца. Можно учиться очно.
• Power BI для бизнес-аналитики от Stepik — комплексное обучение для всех, кто хочет овладеть инструментами Power BI и научиться преобразовывать сырые данные в интерактивные и визуально привлекательные отчеты. Вы научитесь подключать различные источники информации, работать с Power Query для преобразования и очистки данных, создавать сложные модели с использованием DAX-функций, разрабатывать и публиковать отчеты для различных пользователей и устройств. Более 80 уроков, домашние задания, тесты, доступ к электронному учебнику и файлам проекта, персональная поддержка преподавателя.
• Power BI: от новичка до уверенного бизнес-пользователя от Udemy — авторский курс для начинающих пользователей, желающих быстро освоить функциональные возможности Power BI. Состоит из 128 лекций общей продолжительностью 15,5 часов. В рамках обучения вы научитесь импортировать сведения из различных источников (Excel, PDF, Web, CRM и ERP системы), очищать и трансформировать ее, создавать модели данных, визуализировать информацию в понятных отчетах и настраивать дашборды. Доступ к лекциям остается навсегда. По окончании программы выдается сертификат.

Еще 7 дополнительных курсов по машинному обучению

В этой подборке собраны курсы, которые охватывают специализированные темы по ML, такие как нейронные сети, работа с большими данными и продвинутые методы анализа. Эти курсы подойдут как для тех, кто уже знаком с основами машинного обучения, так и для начинающих.

• Машинное обучение от Нетологии — углубленный курс создан для разработчиков, аналитиков и Junior-специалистов в сфере машинного обучения. Программа длится 10 месяцев. Участники познакомятся с возможностями нейронных сетей, научатся грамотно формулировать задачи для проектов Data Science, определять алгоритмы и метрики, разрабатывать ML-модели, составлять отчеты об исследованиях и создавать рекомендательные системы. Выпускникам выдается диплом о профессиональной переподготовке, и предоставляется помощь в трудоустройстве.
• Профессия Machine Learning Engineer от Skillbox — годовое обучение востребованной профессии с нуля по обновленной программе. Научитесь уверенно работать с Python и SQL, извлекать и обрабатывать информацию из различных источников, включая файлы, API и базы данных. Получите опыт в проведении EDA, d создании ML-моделей, включая нейросети и трансформеры. Сможете решать задачи прогнозирования, внедрять решения в бизнес-процессы с использованием Big Data и алгоритмов машинного обучения. Выполните более 80 практических заданий и 3 проекта, которые пополнят ваше портфолио.
• Machine Learning и Deep Learning от Skillfactory — углубленная программа рассчитана на 20 недель и разработана для новичков, программистов и аналитиков со знанием Python. Студенты учатся применять этот язык для обработки и анализа данных, полученных из разных источников. Также изучаются ML-модели и алгоритмы, построение рекомендательных систем, разработка и оптимизация нейросетей. Выпускникам предоставляется помощь с поиском стажировки и работы.
• Программирование Python и машинное обучение от Coddy School — занятия для школьников 12-16 лет, желающих научится программировать и познакомиться с базовыми концепциями машинного обучения. Ребята изучат популярные библиотеки Python и научатся применять их для решения практических задач, разберут принципы Machine Learning и методы анализа данных. Курс занимает от 7 месяцев, включает разработку простых ML-моделей и их применение на практике. Программа адаптирована для юной аудитории, что позволяет эффективно усваивать сложные темы в доступной форме.
• Machine Learning. Advanced от Otus — дистанционный курс продолжительностью 6 месяцев адресован аналитикам, программистам, дата-сайентистам и инженерам машинного обучения. Вы познакомитесь с продвинутыми методами ML, сможете настраивать окружение и писать код, применять инструменты автоматизации, решать сложные кейсы с временными рядами, обучением с подкреплением и системами рекомендаций. Живые вебинары с опытными преподавателями, активная практика и работа над проектами. После окончания курса можно претендовать на позицию дата-сайентиста уровня Middle+.
• Онлайн-курс по машинному обучению от Irs.academy — 9 онлайн-уроков для новичков, программистов и аналитиков. Студенты изучат методы предобработки данных, освоят работу с линейной и логической регрессией, получат навыки работы с алгоритмами, построения рекомендательных систем и визуализации полученных данных. 3 тарифа обучения, комфортный график занятий, новые уроки открываются при условии выполнения домашних заданий, которые проверяются экспертами. После защиты проекта выпускники получают сертификат.
• Python: анализ данных и машинное обучение от LoftSchool — интенсивный курс для начинающих поможет за 7 недель освоить популярный язык программирования Python и его библиотеки, применяемые для аналитики. Также вы научитесь использовать возможности нейросетей, работать с Machine Learning, подбирать метрики для оценки качества алгоритмов и выполните проект для портфолио. Отработаете навыки на практических воркшопах, поработаете в команде, получите экспертное ревью вашего проекта.

Бесплатные курсы по теме

Освоить методы работы с большими данными можно без затрат на обучение. Бесплатные курсы отлично подходят тем, кто начинает карьеру в сфере Data Science и ML.

1. Введение в аналитику — Skillbox

Занятия для всех, кто хочет изучить основы аналитики данных и выбрать подходящую профессию в этой области. Программа рассчитана на 1 месяц, за который вы узнаете о различных специализациях, выявите свои сильные стороны, определитесь с дальнейшим обучением и получите представление о своей будущей карьере.

Главное о курсе:

• обзор 11 направлений, включая BI и продуктовую аналитику;
• интерактивный разбор с реальными примерами;
• содержит профориентационный тест;
• предоставляется бессрочный доступ к материалам.

2. Введение в Data Science‎ и машинное обучение — Stepik

Вводный курс для широкой аудитории. Вы познакомитесь с методами машинного обучения, включая деревья решений и нейронные сети, научитесь использовать популярные библиотеки Python, работать с базами данных, удаленными серверами и системой контроля версий.

Главное о курсе:

• подходит для начального уровня;
• 30 уроков, тесты, практические упражнения;
• рекомендации от ведущих специалистов в области DS и ML;
• выдается сертификат о прохождении обучения.

3. Введение в дата-аналитику — Хекслет

Мини-курс для начинающих, который знакомит с профессией и задачами аналитика данных. Участники узнают, чем такой специалист может помочь бизнесу и какие существуют направления в аналитике, как применяется Python для анализа данных. В практической части вы научитесь работать с электронными таблицами Google, писать запросы к базе данных на SQL, выполнять визуализацию.

Главное о курсе:

• обновленная учебная программа;
• обучение в комфортном темпе;
• практика на интерактивных тренажерах;

4. Нейронные сети — Stepik

Онлайн-занятия для школьников старших классов, студентов, научных работников. Для успешной учебы необходимо знать математику на школьном уровне и уметь программировать на Python. Участники ознакомятся с алгоритмами, применяемыми для обучения различных нейросетей, научатся проводить анализ данных и визуализировать результаты исследований.

Главное о курсе:

• для обучения достаточно школьного уровня математики;
• 24 видеоурока, тесты, задачи;
• доступ к материалам открывается сразу после регистрации на сайте;
• предоставляется сертификат Института биоинформатики.

5. Анализ данных в R‎ — Stepik

Программа подходит для студентов, научных работников и старшеклассников. Охватывает основные этапы статистического анализа с помощью языка программирования R, включая обработку данных, применение статистических методов и визуализацию данных.

Главное о курсе:

• длительность — 3 недели, по 4–5 часов в неделю;
• основы статистического анализа в R;
• работа с данными и библиотеками;
• инструменты визуализации результатов.

6. Основы Python и анализа данных — Яндекс.Практикум

Курс для желающих освоить профессию аналитика данных с нуля. Студенты изучат основы анализа данных с помощью SQL, Python и инструментов BI, что поможет получить востребованные навыки для работы в различных сферах аналитики.

Главное о курсе:

• более 70% обучения отведено практике;
• работа с SQL, Python, PostgreSQL и DataLens;
• проекты на основе реальных кейсов.

7. Hadoop. Система для обработки больших объемов данных — Stepik

Занятия подготовлены для студентов старших курсов и разработчиков начального или среднего уровня. Учащиеся познакомятся с методами обработки и хранения больших данных с использованием платформы Hadoop.

Главное о курсе:

• актуальные учебные материалы;
• 33 урока, 12,5 часов видео;
• более 200 тестов и 29 интерактивных задач;
• занятость — 3 часа в неделю.

8. Основы программирования и анализа данных на Python — teach-in

Видеоурок по основам работы с Python с нуля. Рассматриваются возможности этого языка, области его применения, базовые принципы программирования, такие как работа с циклами, условиями, рекурсией и автоматизацией. Обучение сопровождается практическими примерами.

Главное о курсе:

• длительность — 1,5 часа;
• введение в Python и его применение в различных сферах;
• основы программирования;
• ответы на вопросы студентов.

9. Курс лекций по Big Data — Sergey Petrovich

10 уроков на платформе YouTube посвящены основам работы с большими данными и машинному обучению. Big Data обучение ориентировано на студентов, начинающих специалистов в сфере Data Science, а также всех, кто хочет разобраться в принципах анализа, хранения и обработки больших объемов информации. Рассматриваются ключевые концепции больших данных, алгоритмы машинного обучения, регрессия, глубокое обучение и другие актуальные темы.

Главное о курсе:

• введение в машинное обучение;
• Python для анализа данных;
• взаимосвязь Интернета вещей (IoT) и Big Data;
• регрессия и методы прогнозирования.
• технологии хранения и анализа данных;
• основы глубокого обучения.

Профессия аналитика больших данных

Сфера Big Data стремительно набирает популярность в мире, поскольку данные становятся основой для принятия решений в бизнесе, медицине, финансах и других отраслях.

Чем занимается аналитик больших данных?

Аналитик больших данных (или специалист по Big Data) — это профессионал, который занимается обработкой и анализом массивов данных, которые невозможно эффективно обрабатывать с помощью традиционных инструментов. Его работа заключается в создании и оптимизации алгоритмов, которые позволяют извлекать полезную информацию из больших объемов данных, чтобы сделать бизнес-процессы более эффективными и прибыльными. Это включает в себя работу с различными источниками данных, их очистку, а также создание моделей, которые помогают в принятии обоснованных решений.

Навыки специалиста по Big Data

Успешный аналитик больших данных обладает следующими знаниями и навыками:

• знание языков программирования, например, Python, R;
• опыт работы с SQL, NoSQL, Hadoop, Hive;
• уверенное владение рабочими программами Excel и Power BI;
• умение применять алгоритмы машинного обучения для прогнозирования и анализа данных;
• математическое и статистическое мышление, внимательность, способность анализировать данные и выявлять закономерности;
• знание бизнес-анализа и отчетности, понимание того, как данные могут помочь в принятии бизнес-решений;
• умение работать в команде;
• навыки презентации для представления результатов исследований.

Где учиться на аналитика больших данных?

Фундаментальное образование по этой специальности можно получить в высших учебных заведениях. Например, в Санкт-Петербургском государственном университете есть очная программа бакалавриата Искусственный интеллект и наука о данных, которая займет 4 года. Пройти дистанционное обучение аналитик больших данных по двухлетней магистерской программе предлагает Высшая школа экономики.

Если вас интересует быстрый старт в профессии или точечное совершенствование знаний, имеет смысл обратить внимание на онлайн-курсы. При выборе такого формата обучения на освоение инструментов аналитики данных, Machine Learning и работы с Big Data вам понадобится от нескольких недель до 1 года. Самостоятельный поиск подходящего курса может занять много времени, поэтому предлагаю вам воспользоваться подборкой, представленной в этой статье.

Сколько зарабатывает аналитик больших данных?

Зарплата аналитиков больших данных зависит от опыта специалистов, региона и типа компании. Согласно данным hh.ru, крупного онлайн-портала по поиску работы и сотрудников, начинающие специалисты по Big Data могут рассчитывать на заработную плату от 60 0000 рублей до 100 000 рублей в месяц. Зарплата опытного специалиста составляет в среднем от 150 000 рублей в месяц и выше.

Заключение

Аналитика данных становится основой для принятия решений и развития бизнеса. Технологии обработки больших данных применяются во многих сферах, включая финансовые услуги, здравоохранение, маркетинг, науку, что создает постоянный спрос на высококвалифицированных специалистов. Если вы хотите стать экспертом в одной из самых перспективных областей, Big Data курсы станут первым шагом на пути к успешной карьере. Это отличный способ не только изучить теорию, но и развить практические навыки, освоить новейшие инструменты для работы с большими данными и повысить свою конкурентоспособность на рынке труда.

Подборки по схожим темам:

1. Лучшие курсы по анализу данных
2. Лучшие курсы для бизнес-аналитиков
3. Лучшие курсы по системной аналитике

Если вы обнаружили в статье устаревшую или некорректную информацию, сообщите, пожалуйста, об этом в комментариях. Там же вы можете поделиться информацией о проверенном вами онлайн-курсе, и я с удовольствием добавлю его в подборку.

Какого масштаба поток данных? Несколько лет назад мы прикинули: на каждого жителя Земли уже тогда приходилось по шесть Ленинских библиотек информации. А теперь умножьте это на два — каждый год. Гигабайты превращаются в терабайты, петабайты в зетабайты, а полезного в этом потоке — крохи. Львиная доля — шум: багованные логи, дубли, мемы и бесконечные тиктоки.

Но и нужных данных становится больше. Ещё недавно с корпоративной информацией работали в основном финансисты и риск-менеджеры. Сегодня же данные — фундамент всех бизнес-процессов. Без них не запустишь персонализированные продукты, не оптимизируешь расходы и не предскажешь спрос.

Задача на ближайшие годы — не просто накапливать информацию, а научиться управлять этим потоком так, чтобы он работал на бизнес, а не создавал хаос. Но как?

Цифровой профиль вместо личного визита: как банки превратились в дата-платформы

Еще десять лет назад банковское обслуживание выглядело совсем иначе: клиент приходил в отделение, садился напротив операциониста, показывал документы и так подтверждал свою личность. После чего совершал нужные операции. Сегодня всё решает смартфон — в приложении можно совершить большую часть финансовых операций, а банки повсеместно используют алгоритмы, чтобы сделать обслуживание еще более удобным и персонализированным. Эта эволюция не случилась за ночь. Сначала были «банк-клиенты», потом интернет-банки, затем мобильные приложения. Теперь банки становятся экосистемами, обменивающимися данными в реальном времени. А значит, объём собираемой информации растёт экспоненциально.

Как обуздать поток данных

Как же устроена работа с данными в крупных организациях? В ее основе — корпоративное хранилище данных (КХД), своего рода фундамент, где собирается информация из всех внутренних систем компании. Это может быть классическая реляционная база, озеро данных или другая технология — главное, чтобы существовала централизованная площадка для консолидации информации. Без такого фундамента невозможно выстроить эффективную систему управления.

Еще один ключевой элемент — системы класса MDM (Master Data Management), отвечающие за управление основными данными. Они собирают информацию из разных источников и устраняют несоответствия, создавая единое представление о каждом объекте: клиенте, продукте, сделке, контрагенте. В результате формируется так называемый «золотой профиль» — наиболее точная и полная версия данных.

Пример из жизни: клиентка выходит замуж и меняет фамилию, контактные данные, адрес. MDM-система анализирует изменения, понимает, что это все тот же человек, и сохраняет его историю взаимодействий с банком, включая информацию о счетах и сбережениях. При этом существуют разные типы MDM-систем: для работы с физическими и юридическими лицами, для учета сделок и контрактов, а также для управления справочными данными.

Данных в корпоративных хранилищах огромное количество — порой они исчисляются петабайтами. Однако без удобных инструментов остаются неструктурированным массивом, с которым сложно работать. Представьте, что атрибуты в системе названы по сложному шаблону (Naming Convention), и вам приходится разбираться с названиями вроде «CustActStatCD345x». Даже если они более-менее понятны, разобраться, какие именно данные скрываются за каждым атрибутом, все равно бывает непросто.

Чтобы упростить поиск и обработку информации, в организациях внедряются репозитории метаданных, каталоги и глоссарии. По сути, они работают как корпоративный аналог голосового помощника: сотрудник вводит запрос на понятном языке, а система подсказывает, где искать нужные сведения. Благодаря этому время на поиск информации сокращается в разы.

Но у каталогов и глоссариев есть еще одна важная функция — создание единого языка внутри компании. Например, слово «клиент» в разных отделах может означать совершенно разные вещи. Для одних это любой человек, заключивший договор, для других — только активные заемщики, для третьих — все, у кого когда-либо был счет. В результате одно подразделение может считать, что у компании 5 миллионов клиентов, другое — что 10 миллионов, а третье — всего 2 миллиона. И все будут правы в рамках своих критериев.

Такие расхождения не просто усложняют подготовку отчетности, но и приводят к ошибкам в стратегическом планировании. Поэтому важно четко формализовать термины и их значения: «активные клиенты», «кредитные клиенты», «клиенты с открытыми счетами» и т. д. Это не просто вопрос удобства, а критически важный аспект для точности бизнес-аналитики и принятия решений.

Когда ошибок не избежать: темная сторона больших данных

Ошибки в данных неизбежны. Человеческий фактор никто не отменял: сотрудник может пропустить букву, перепутать цифры или случайно нажать не ту клавишу. Даже автоматические системы ввода, например, OCR для распознавания документов, тоже не дают 100% точности. Машины, конечно, ошибаются реже (для сравнения: у авиадиспетчеров всего одна ошибка на тысячу операций, а в автоматизированной системе ошибки возникают на порядки реже), но полностью исключить погрешности невозможно.

Однако настоящая угроза не в самих ошибках, а в том, как они распространяются. Одна неточность в первичных данных, попадая в систему, начинает размножаться как вирус — заражает новые массивы, реплицируется при каждом использовании информации и в итоге распространяется каскадом по всей организации.

Исправлять такие ошибки — адская работа. Нужно не просто найти источник сбоя, но и проследить весь путь ошибки: где она появилась, куда распространилась, какие данные уже испорчены. Например, исправление всего одной неточности в персональных данных может занять до двух часов. Теперь умножьте это на тысячи подобных случаев — и получите астрономические затраты.

Бороться с ошибками проще на этапе их предотвращения, чем потом выгребать последствия. Поэтому компании внедряют сотни и тысячи системных проверок, чтобы отсекать брак ещё на входе. Некоторая информация очевидна: например, серия паспорта РФ — это всегда четыре цифры, а номер — шесть. Подобные форматные проверки легко автоматизировать.

Но есть и более сложные кейсы. Если человек запрашивает кредит, его возраст явно не может быть 12 или 120 лет. Или, скажем, в анкете указано имя «Екатерина», а в графе «пол» значится «мужской» — это очевидная ошибка. Такие проверки интегрируются прямо в фронт-офисные системы, чтобы сотрудники физически не могли ввести неадекватные данные.

Разработка и внедрение этих механизмов требует времени и ресурсов. Но если посмотреть на цифры, становится понятно: это копейки по сравнению с теми суммами, которые пришлось бы тратить на армию корректировщиков, устраняющих миллионы ошибок.

Хранители цифрового будущего

Централизация данных — не просто тренд, а необходимость. Без консолидации информации не построить ни предиктивную аналитику, ни эффективные государственные системы. Конечно, можно мечтать о мире, где всё хранится в изолированных базах, но это так же бессмысленно, как пытаться заменить автомобили конной тягой.

Однако большие данные — большая ответственность. Мы все знаем, как часто звонят «следователи МВД» или «капитаны ФСБ» с предложением срочно перевести деньги. Основная угроза — не внешние кибератаки, а человеческий фактор. Большинство утечек персональных данных — не результат сложного взлома, а банальный «вынос» информации инсайдерами.

Хотя нас пока не уничтожает «Скайнет» из фильмов 90-х, бережное отношение к данным — уже не вопрос выбора, а необходимость. Три базовых принципа цифровой гигиены помогут снизить риски:

1. Минимум данных. Если сервису нужен только email, не указывайте номер телефона и адрес. Чем меньше информации вы раздаёте, тем сложнее её украсть.
2. Выбор надёжных сервисов. Крупные компании вкладываются в кибербезопасность, потому что их репутация на кону. У небольших организаций ресурсы на защиту ограничены, а контроль слабее.
3. Здравый смысл. Самые сложные системы защиты бесполезны, если пользователь игнорирует элементарные правила безопасности.

Сегодня мы лишь в общих чертах коснулись темы управления данными. За кадром остались вопросы технологий, контроля качества и информационной безопасности. Но ясно одно: способность эффективно работать с данными — ключевой фактор конкурентоспособности любой крупной компании, а специалисты в этой сфере сейчас необходимы.

Сегодня будем искать все простые числа до миллиарда с помощью кода на Python и C++. Если вы думаете, что результат совсем очевиден, то это не так.

Напоминание: простые числа — те, которые имеют два различных делителя. Простыми словами, они делятся только сами на себя и на единицу. Например: 2, 3, 5, 7 и так далее.

Для начала: быстро окунемся в математику

Есть несколько алгоритмов, которые помогут найти все простые числа до N. Это материал для отдельной статьи, поэтому пробежимся по основным.

Решето Эратосфена

Один из самых древних и известных алгоритмов, чтобы найти простые числа до N. Плюс он понятный, не занимает слишком много памяти (если речь не идет об очень больших N). Работает так:

1. Создается список чисел от 2 до N.
2. Все кратные числа кратные 2 (4, 6, 8, ...) помечаются как составные.
3. Переходим к 3 и вычеркиваем все числа, кратные ему.
4. То же самое повторяем со всеми числами из списка до N
5. Так до тех пор, пока не проверятся все числа до N.

Решето Сундарама

Этот алгоритм работает немного по другой логике:

1. Создается список чисел от 1 до (N-1)/2.
2. Исключаются числа типа i + j + 2ij, где i и j — натуральные числа, и i <= j.
3. Оставшиеся числа умножаются на 2 и увеличиваются на 1 — так получаем простые числа.

Этот алгоритм занимает меньше памяти, чем решето Эратосфена, поскольку работает только с половиной диапазона. Но при этом он сложнее в плане понимания и реализации.

Решето Аткина

Это уже современный алгоритм (появился в начале 21 веке). Он использует более сложные математические концепции и работает так:

1. Создается список чисел от 1 до N.
2. Используются квадратичные формы, чтобы предварительно отсеять составные числа.
3. Затем составные числа просеиваются финально для полного исключения.

Решето Аткина более эффективно, когда речь идет об огромных числах, по сравнению с первыми двумя алгоритмами. Оно тоже не простое в реализации, плюс может быть медленнее при работе с небольшим N.

Это три основных алгоритма для поиска простых чисел до N. Сейчас существуют различные оптимизации этих методов, например, колесная факторизация (оптимизированный алгоритм Эратосфена).

Ищем простые числа до миллиарда на Python и C++

Python — не самый быстрый язык для таких операций. Если не использовать библиотеки, то программа выдает ограничение и не может завершиться. Например, вот код на чистом Питоне с алгоритмом Эратосфена:

PyCharm с ограничением 1 000 000 000 не завершает программу. Если же поставить лимит = 100 000 000, то получим такой результат (почти 8 секунд!):

Теперь попробуем проделать то же самое с библиотекой numpy, которая как раз подходит для работы с большими числами:

Результат будет таким:

Давайте попробуем сделать то же самое на С++:

Эта программа будет выполняться больше минуты:

Чтобы оптимизировать программу, можно использовать сегментированное решето Эратосфена:

Время выполнения уменьшилось на 20 секунд:

Итоги

В нашей задачке numpy действительно может оказаться быстрее, чем обычная реализация на C++. На то есть несколько причин:

1. Если в NumPy используется эффективный векторизованный алгоритм — в нашем случае решето Эратосфена, — преимущества SIMD-операций (одновременное выполнение одной операции над множеством данных) могут сильно ускорить вычисления.
2. Неоптимизированная реализация решета на C++ с обычными циклами может быть медленнее оптимизированной векторизованной реализации в NumPy.
3. NumPy использует внутренне оптимизированные C/C++ библиотеки, в которых есть куча оптимизаций для работы с массивами.

Но эффективно оптимизированный код на C++ (например, с использованием SIMD-инструкций, оптимизации кэш-памяти, параллелизма) почти всегда будет быстрее любой реализации на Python/numpy. Правда, такой код будет занимать сотни строк.

Производительность зависит от конкретных алгоритмов, поэтому так себе метод на C++ проиграет хорошему на numpy. Во многих задачах по работе с большими данными плюсы будут более быстрыми, но для типичного пользования numpy — отличная альтернатива.

С чем я пришел в Школу

До поступления в школу я занимался программированием, сейчас учусь в университете на специальности «Робототехника и искусственный интеллект». У нас в программе, разумеется, есть курсы по машинному обучению и Python с практикой. В дополнение я проходил бесплатные курсы на Stepik и похожих платформах, был на митапах по Data Science, пробовал проходить стажировки. Плюсом делал небольшие pet-проекты, но коммерческих работ не было.

Год назад я наткнулся на лендинг Школы. Мне понравилось, как расписана программа, кем являются преподаватели — это и подкупило. Последним аргументом стала возможность попасть на стажировку в МТС.

В итоге я подал заявку, прошел вступительный экзамен (в форме теста), написал мотивационное письмо — и, наконец, попал на обучение. Из огромного числа заявок прошли отбор лишь 120 человек.

Много математики, много домашки и баллы за кофе с одногруппниками: как строилось обучение

Обучение началось через несколько дней после зачисления в Школу. Иногда я думал о том, что программа может оказаться такой же, как на курсах, которые проходил раньше: структура не очень, все в записи, часть материала потеряла актуальность и так далее. Но оказалось все наоборот.

Занятия были очень интенсивными: два раза в неделю мы слушали лекции, по три часа каждая (всего мы отучились 360 часов!). Весь материал читали преподаватели во время трансляции. Там же отвечали на вопросы студентов по теме лекции или о себе и работе. Живое общение очень мотивировало посещать трансляции, а не ждать записи и откладывать «на потом».

Программа состояла из нескольких блоков: SQL, Python, математическая статистика, оптимизация, классический ML, визуализация, временные ряды и A/B-тесты, Big Data, RecSys, NLP, кейсы в ML и System Design. Около половины программы заняла теория: математика, статистика, теория вероятности и прочее. Другая половина — это работа с данными, Python, машинное обучение.

За пятнадцать лет работы в DS я пришел к выводу, что с коллегами, которые ловко освоили хайповые либы и не обладают фундаментальными знаниями, работается как на минном поле — никогда не знаешь где рванет. Часто эти ошибки касаются базовой статистики, интервальных оценок, а еще чаще — работы алгоритмов. Строгие теоретические выкладки подменяются мифами, а давно преодоленные ограничения старых реализаций алгоритмов становятся догматами. Отсюда и идет целеполагание нашей программы. При этом учить одну лишь теорию скучно, и у студентов возникнут справедливые вопросы о применимости знаний. При создании программы я старался дать за весьма ограниченный срок (всего год) и базу, и практические навыки. Это нужно, чтобы специалист на выходе стал самостоятельным: мог построить end2end-приложение с ML — от скраппинга данных до деплоя и оценки эффективности решения в деньгах. Это действительно сложно: начать с занятий Python и SQL и за год дойти до Spark и PyTorch, параллельно двигаясь от алгебры, оптимизации и статистики до устройства трансформерных архитектур и проблем смещений (bias) в рекомендательных системах. При этом базовые блоки выступают фундаментом для дальнейших занятий, и курс с середины не пройти.

Многие преподаватели делили их на теорию и практику: изучили материал на лекции и сразу попробовали применить его при выполнении какой-то задачи.

Почти после каждого занятия мы получали домашнее задание на неделю — или более объемную итоговую работу, если закончили какой-то блок. Разумеется, все по теме лекции: от посчитать какую-то вероятность до написать бэкенд сайта для бронирования книг.

Что-то было довольно простым, например, все тот же сайт. Но иногда приходилось довольно долго думать.

Хороший пример — итоговая работа по Big Data. Нам дали файлы датасетов, по которым надо было выполнить четыре задачи:

1. Проанализировать данные, описать проблемы, которые в них содержатся (проблемы хранения тоже считаются), и предложить решения.
2. Реализовать поток данных из топика, который бы удовлетворял конкретные условия.
3. Реализовать batch-поток для обработки исторических данных и построить на его основе четыре отчета.
4. Спроектировать модель данных и таблицы для хранения информации из предыдущих задач. И протестировать эту модель на нескольких запросах.

Многие домашки были построены так, что их можно сразу класть в портфолио и подавать как пет-проекты. Например, домашкой по ML было близкое к реальному техническое задание от продакт-оунера: внедрить ML-модель в прод.

До начала курса я был знаком с основами математической статистики, SQL, Python и ML, и Школа аналитиков данных смогла дать мне главное — практический опыт, которого не хватало. С каждым месяцем обучение становилось интереснее: я начал узнавать вещи, о которых никогда не слышал.

А еще меня впечатлила сама организация. Спасибо Алине Веденской и Марии Теплинской за то, что регулярно постили анонсы и новости курса и всегда быстро давали обратную связь.

Еще нас мотивировали с помощью челленджей

Мы получали баллы за посещение лекций, домашки и внешнюю активность — те самые челленджи. Это могли быть пост про Школу в своих соцсетях или фотка, на которой ты пьешь кофе с другими студентами. За очки можно было купить мерч, плюс на их основе строился рейтинг студентов.

Хотя должен признать, что мне не хватило нетворкинга и живого общения: лекций, конференций, мероприятий в офлайне. Но большинство студентов живут в разных городах и учатся/работают параллельно со Школой аналитиков данных, так что вряд ли это вообще возможно реализовать.

Высокий рейтинг — возможность попасть на стажировку

У топ-5 студентов по учебному рейтингу была возможность пройти все этапы отбора на стажировку в упрощенном порядке: мы сразу выбирали отдел, в котором хотели бы работать, и попадали на интервью с руководителем команды.

У остальных студентов и других кандидатов все было сложнее: нужно пройти первичное интервью с рекрутером, дождаться его решения, и только потом, если оно окажется положительным, тебя пригласят на интервью с руководителем команды, в которую хочешь попасть.

А потом пошли стажировки и адаптация

Благодаря учебе у меня появилась хорошая теоретическая база, небольшие проекты в портфолио, навыки работы с конкретными инструментами и контакты с коллегами, которые раньше были нашими преподавателями. Но было все равно сложновато.

Все потому, что появился огромный объем информации: по процессам, по продуктам, по ролям — все, что скопилось у отдела за много лет работы. И этот объем надо было как-то усвоить в максимально сжатые сроки: изучать документацию, читать чужой код, разбираться, что этот код сделал и почему именно так.

Но я всегда мог написать вопрос в общий чат, и коллеги помогали разобраться с конкретной задачей.

Конечно, параллельно с первого дня стажировки я начал работать. Например, первой задачей было построить скоринговую ML-модель — по типу тех, которые делают коллеги. Делать нужно было все:

• сборку и расчет данных;
• препроцессинг;
• фильтрацию стабильных признаков во времени по PSI;
• построение и сохранение ансамбля моделей;
• расчет метрик качества;
• создание отчета по построенной модели.

И здесь помогло обучение в Школе аналитиков данных (особенно блок Big Data). Мы учились на тех инструментах, которыми я пользовался на стажировке и пользуюсь до сих пор. Например, когда я только попал на стажировку, уже очень хорошо разбирался в модуле Spark, успел позапускать на нем код — так что тратить время на изучение инструмента не пришлось.

Так, очень быстро и незаметно пробежали три месяца

Как такового перехода из стажировки в штат у меня не было — я закрывал спринты, постепенно брал на себя более сложные задачи (например, строил внешнюю модель для внешнего заказчика). Мне даже сложно прочертить четкую границу между работой стажера и на нынешней должности, потому что проекты остались теми же:

• реализовывать новые фичи для ML-моделей на основе данных телекома;
• сделать аналитику по продуктам финтеха;
• построить ML-модель для потока внешних клиентов и так далее.

Тем не менее появилось планирование и долгосрочные цели. Если раньше я был «на подхвате», и тимлид давал по задаче за раз, то теперь потихоньку начал формироваться бэклог на следующий квартал: мне начали ставить конкретные задачи с дедлайнами.

Как я узнал от HR, после завершения стажировки около 60% сотрудников переходят в штат компании. Это меня удивило и замотивировало — не хотелось попасть в оставшиеся 40%.

Что осталось рассказать

Я остался доволен учебой в Школе и дальнейшим треком по нескольким причинам:

• качественные и хорошо структурированные знания, которые вы либо не сможете найти в открытом доступе, либо потратите на это кучу времени;
• преподаватели — действующие сотрудники МТС, опытные специалисты с огромной экспертизой;
• классное, открытое общение: и менеджеры, и преподаватели всегда готовы помочь;
• домашки не были абстрактными и больше походили на пет-проекты — с такими точно можно собрать портфолио и стучаться в крупные IT-компании.

В целом, этот курс стал для меня отличным стартом в мире Data Science. Моей целью было получить навыки и знания, которые могут помочь мне попасть на стажировку в МТС — и я их получил. Заранее изучил теорию, с которой буду сталкиваться на работе, и отточил ее на домашних заданиях, выяснил, как все устроено в командах, и познакомился с будущими коллегами.

А тем, кто только поступает в Школу, я советую быть активными: ходить на лекции, выполнять домашки и получать баллы. Звучит просто и обыденно, но от этого действительно зависит, сможете ли вы попасть на стажировку и получить работу.

С Data Science в ИТ связан ряд профессий. Наиболее востребованные из них — дата-сайентист, дата-аналитик, инженер данных и ML-инженер (специалист по машинному обучению). Узнаем, чем занимаются представители этих профессий, сколько зарабатывают и каковы их перспективы на современном рынке труда.

Data Science — почему это направление ИТ актуально

Джунам, студентам и тем, кто только выбирает свое направление в ИТ, стоит обратить на Дата-сайенс самое пристальное внимание. Специалисты в этой нише востребованы уже сейчас и входят в число сотрудников с самыми высокими зарплатами. В ближайшее десятилетие, даже с учетом нестабильной экономической ситуации, спрос на профессионалов Data Science во всем мире будет только расти.

Периодически в этом сегменте возникают всплески популярности. Значимый скачок произошел в 2023 году после появления GPT-4. Компании принялись в спешном порядке осваивать технологии машинного обучения (machine learning, ML) для создания нейросетей для бизнеса и чат-ботов, использующих естественный язык. Количество вакансий в отрасли существенно возросло — в особенной степени это коснулось ML-инженеров.

Сложность профессий, связанных с Data Science, в том, что эта сфера стремительно прогрессирует. Специалистам приходится постоянно актуализировать свои знания и осваивать смежные области. При этом, глубокое знание языков программирования и умение кодить остаются базой для каждого сотрудника этого направления.

Компании хоть и предъявляют повышенные требования к уровню знаний и навыков, но предлагают специалистам достойный уровень оплаты. Медианная зарплата, согласно данным сайта Getmatch, составляет 205 тыс. руб. Джунам работодатели готовы платить от 100-110 тыс., а сеньорам — от 350 тыс. и выше.

На российском рынке труда количество вакансий в этой сфере в несколько раз превышает число опубликованных резюме. Дефицит кадров в 2024-25 годах достиг максимальных значений за весь период наблюдений. Несмотря на негласные стереотипы в ИТ-сегменте, востребованы кандидаты любых возрастов, в том числе из группы 35+. Для людей с техническим складом ума и опытом работы в ИТ это отличная возможность расширить свои компетенции или освоить новую профессию с нуля.

Какие направления Data Science наиболее популярны и почему, рассмотрим далее.

Дата-сайентист (Data Scientist)

Дата-сайентист — специалист по работе с данными, использующий статистику, программирование и машинное обучение для построения прогностических математических моделей и их тестирования.

Чем занимается Data Scientist

Data Scientist находит закономерности в больших массивах информации и прогнозирует будущие значения. Этот специалист — властелин больших данных. Он может найти работу в любых сферах — от розничных продаж и банков до молекулярной биологии. Модели дата-сайентисты создают при помощи алгоритмов machine learning, а для работы с базами данных используют SQL — структурированный язык запросов.

Методы аналитики универсальны, а одно из самых востребованных направлений сейчас — создание и обучение нейронных сетей, например, для исследований генома, прогнозирования уровня заболеваемости и т.д. В этих направлениях дата-сайентисты, как правило, работают в связке с ML-инженерами.

Перечислим основные задачи, которым занимается дата-сайентист:

• собирает большие объемы данных из разных источников;
• анализирует собранную информацию, используя математические модели и алгоритмы ML;
• визуализирует данные — превращает цифры в диаграммы и графики, делая информацию наглядной и более доступной для восприятия;
• строит модели прогнозирования — для предсказания поведения посетителей сайтов, выявления подозрительных операций в финансовой сфере и для других целей;
• тестирует модели и проводит их оптимизацию — выявляет ошибки, дорабатывает их с целью повышения точности прогнозов.

Простой пример. В розничной торговле дата-сайентист собирает обширные массивы данных о поведении пользователей, после чего создает модель оптимального ценообразования. Продажи увеличиваются, средний чек растет, компания получает больше прибыли.

Для онлайн-кинотеатров специалист разрабатывает модели ИИ, которые анализируют поведение конкретных пользователей и на основании личных интересов подбирают для них фильмы и сериалы.

В крупном бизнесе в работе дата-сайентиста заинтересованы все отделы. Логистам они помогают оптимизировать маршруты, используя данные с GPS-трекеров. На производстве рассчитывают нагрузку оборудования с учетом срока службы и текущего состояния.

Какие скиллы требуются:

• Программирование. Специалист должен знать Python и его основные библиотеки, SQL и другие языки программирования, включая скриптовые для оптимизации рабочих процессов.
• Математика и статистика. Линейная алгебра, теория вероятностей, статистический анализ.
• Навыки работы с Big Data и базами данных, а также инструментами для их обработки (Spark, Hadoop и другими).
• Моделирование, машинное обучение. Дата-сайентист создает модели для классификации, использует алгоритмы ML и технологии глубокого обучения.
• Визуализация данных. Построение графиков, диаграмм с помощью Matplotlib, Seaborn и прочих инструментов.
• Критическое мышление. Оно потребуется для формирования гипотез и тестирования созданных моделей.

Кроме того, дата-сайентист должен уметь коммуницировать, отстаивать свою точку зрения и грамотно презентовать свою работу.

Актуальность и перспективы профессии

Бизнес готов платить за ту пользу, которую приносят специалисты, поэтому зарплаты в этой сфере постоянно растут. Данных становится все больше, это значит, что дата-сайентисты требуются везде. Это одна из самых быстрорастущих профессий в ИТ — кратный рост количества вакансий наблюдается ежегодно.

На Хабр.Карьере медианная зарплата в этой сфере составляет 200 тыс. рублей. Стажеры и джуны получают от 55 до 100 тыс., мидлы с опытом работы от 3 лет — 250 тыс., сеньоры с обширным стеком технологий и стажем от 5 лет могут рассчитывать на 400-700 тыс.

Дата-аналитик (Data Analyst)

Дата-аналитик — специалист по анализу данных. Сырые факты, сведения и цифры он преобразует в полезную информацию.

Чем занимается дата-аналитик

Задача аналитика — не просто работать с данными, а делать на их основании важные для проекта выводы. Data Analyst выявляет тренды и паттерны, необходимые для принятия взвешенных и эффективных решений.

Прежде всего, такие специалисты востребованы в разных отраслях бизнеса. В отличие от дата-сайентиста, аналитик не создает модели для прогнозирования, он работает с уже случившимися событиями.

Пример. Компания провела масштабную маркетинговую кампанию. Дата-аналитик изучает полученные данные, находит инсайты, узнает причины, которые повлияли на результат, и предлагает меры по улучшению ситуации.

Перечислим основные задачи, которые выполняет дата-аналитик:

• Собирает данные. Подключает к интернет-ресурсам аналитические системы, работающие в автоматическом режиме, использует API для сбора информации из приложений и платформ.
• Выгружает эти данные, соединяет информационные блоки из разных систем в общую базу.
• Подготавливает данные — сортирует, фильтрует, разбивает на составляющие.
• Анализирует информацию. Для интерпретации данных дата-аналитик использует методы математики и статистики, самостоятельно созданное ПО, которое помогает находить закономерности и зависимости.
• Готовит отчеты, графики и дашборды с объективными выводами и методическими рекомендациями. Эти данные поступают руководству и сотрудникам.

Сверхзадача аналитика — выявить скрытые закономерности, которые нельзя распознать при поверхностном анализе, и извлечь пользу из полученной информации.

Какими навыками должен обладать дата-аналитик:

• Знание Python и библиотек (Pandas, NumPy, Scikit-Learn и других), языка запросов SQL.
• Умение работать с базами данных (PostgreSQL, MongoDB) и софтом для их обработки (Spark, Hadoop), программами для построения графиков (Matplotlib, Seaborn, Plotly), инструментами аналитики (Tableau, Power BI, Google Analytics).
• Знание математики, статистического анализа, теории вероятностей.
• Аналитическое мышление. Способность видеть в цифрах, показателях и фактах реальные проблемы или возможности для роста и развития.
• Внимательность и усидчивость. Несмотря на автоматизацию рабочих процессов, риск ошибки сохраняется, а малейшая неточность в отчетах может привести к некорректным выводам.

Востребованность специалистов на рынке труда

По данным портала Хабр.Карьера, медианная зарплата дата-аналитика составляет 175 тыс руб. Джунам платят от 60 до 100 тыс., мидлам — 140-170 тыс., сеньорам — 250-280 тыс.

Поскольку объем цифровых данных постоянно увеличивается, а компании поголовно переходят на автоматизацию бизнес-процессов, потребность в аналитиках постоянно растет. Компании готовы брать студентов без опыта, а также компетентных специалистов на удаленную работу.

Инженер данных (Data Engineer)

Такой специалист создает, тестирует и поддерживает архитектуру данных в конкретных проектах.

Чем занимается инженер данных

Дата-инженер имеет дело с обширными базами данных, хранилищами и системами обработки информации. Он работает с первичными данными, подготавливает их для прогнозистов и аналитиков, создает пайплайны — алгоритмы по обслуживанию информационных баз.

Data Engineer может выполнять обязанности архитектора или работать в связке с таким сотрудником. Компаниям выгоднее иметь универсала с более расширенными компетенциями, поэтому архитектура баз данных часто входит в круг обязанностей дата-инженера.

Какие задачи выполняет:

• Проектирует и создает хранилища и базы данных, занимается их обслуживанием, поддерживает производительность и обеспечивает масштабируемость.
• Разрабатывает процессы ETL — извлечение, преобразование и загрузку данных из разных источников.
• Создает системы автоматизации для сбора, обработки и анализа данных. Настраивает мониторинг и уведомления.
• Интегрирует в систему модели машинного обучения.

Какие скилы нужны дата-инженеру:

• Знание языков программирования — в первую очередь, это Python и Scala. Специалисту потребуются программные средства для автоматизации процессов.
• Навыки работы с базами данных различного типа, глубокие знания SQL — языка запросов.
• Опыт работы с облачными сервисами — AWS, GCP, Azure и другими платформами для управления данными и инфраструктурой.
• Знание технологий Big Data, опыт работы с Hadoop, Spark и подобными инструментами.
• Понимание практик DevOps — методологии автоматизации процессов сборки, тестирования и развертывания ПО.

Знание математики и умение писать код — базовые условия для входа в профессию. Наличие ИТ-бэкграунда существенно упростит освоение основных навыков.

Потребность в специалистах на рынке труда

Дата-инженеры выполняют сложные задачи и обладают глубокими компетенциями. По этой причине их медианная зарплата выше, чем у представителей других специальностей в Data Science, и составляет 220 тыс. руб. На такой оклад может рассчитывать мидл с опытом работы до 3 лет. Джунам платят от 100 тыс., сеньорам — в диапазоне от 350 до 700 тыс.

Поскольку данных становится только больше, компании вынуждены выискивать новые способы их хранения, обработки и использования. Для этого нужны мощные платформы и компетентные сотрудники, которые занимаются оптимизацией процессов. Дата-инженеры работают в тандеме с сайентистами, поставляя им подготовленные и структурированные массивы данных

ML Engineer (инженер машинного обучения)

Технологии машинного обучения охватывают все больше сфер нашей жизни. Боты воспринимают естественную речь и отвечают как люди, сайты предвидят музыкальные и кинематографические предпочтения пользователя, нейросети представлены в образовании и медицине. Разработкой и внедрением моделей Machine Learning занимаются ML-инженеры.

Что за профессия

Такой специалист разрабатывает алгоритмы и на их основе создает модели, способные к обучению. Материалом для ML служат различные данные, представленные в виде таблиц, текстов, картинок и других источников информации.

ML-инженер выявляет сложные закономерности в базах данных, которые помогают моделям максимально точно прогнозировать результаты каких-либо процессов и принимать решения. Машинное обучение — важнейший элемент в разработке нейросетей, выполняющих задачи в реальном времени.

Сферы использования машинного обучения и нейросетей многообразны:

• Финансовая отрасль. Помощь банкам в принятии решений о выдаче кредитов, виртуальное общение с клиентами.
• Транспорт. Управление беспилотными машинами, построение оптимальных маршрутов.
• Продажи. Планирование поставок, персонифицированные предложения клиентам, оптимизация ценообразования.
• Здравоохранение. Диагностика на основе сложных медицинских анализов, разработка наиболее эффективных протоколов терапии.
• Развлечения. Подбор музыки, фильмов и игр на основе поведения и предпочтений пользователя.

Кроме того, машинное обучение востребовано в промышленности, логистике, страховании и многих других сферах. Такие технологии используют крупнейшие мировые корпорации Google, Netflix, Apple, а также отечественные компании — Сбер, Т-Банк, МТС, Билайн и многие другие.

Чем занимается ML Engineer:

• Собирает данные, используя как можно больше релевантных источников информации.
• Подготавливает данные, очищает их, преобразует и структурирует.
• Разрабатывает модели. Для этого инженер использует специальные алгоритмы — линейную регрессию, деревья решений и т.д.
• Тестирует модели — проверяет их точность перед внедрением в реальные процессы.
• Интегрирует модели в системы, сайты и приложения для практического использования.
• Поддерживает работу алгоритмов, делает обновления.

Внутри профессии есть разные специализации — работа с глубокими нейронными сетями, обработка естественного языка, обучение моделей в робототехнике.

В ML-инженеры сложно прийти с нулевой подготовкой. Специалисту потребуется знание математики и статистики, алгоритмов машинного обучения, языков программирования Python и R. Кроме того, он должен обладать навыком тестирования моделей; уметь работать с Big Data с использованием таких инструментов, как SQL, Pandas, Scikit-learn и многих других.

Сотрудник должен быть в курсе свежих исследований в сфере ML и AI, осваивать и применять новые методики и технологии, делая это раньше конкурентов.

Нужны ли в ИТ ML-инженеры

Все больше сервисов, компаний и проектов заинтересованы в технологиях машинного обучения. Существенно увеличивается число чат-ботов, задействованных в клиентской поддержке. Неподготовленному пользователю уже сложно понять, с кем он разговаривает, когда звонит в тот или иной сервис — с живым человеком или моделью. Беспилотные средства уже работают в доставке, грузовых и пассажирских перевозках.

Это значит, что потребность в специалистах по машинному обучению будет только расти. В особенной степени это касается квалифицированных сотрудников с опытом.

Зарплаты джунов в ML-инженерии — 100-150 тыс. руб., мидлы могут рассчитывать на 250-300 тыс., сеньоры получают 350-500 тыс и больше.

Data Science — обширная область знаний, которая становится все более актуальной в бизнесе, науке, образовании. Для быстрого входа в ИТ с нуля это направление не подходит — нужны знания математики, теории вероятности и статистики, языков программирования. Однако потратив время на подготовку и освоение необходимых навыков, можно рассчитывать на зарплату от 100-150 тыс. уже в статусе джуна.

Если AI, ML, нейросети, аналитика — ваша тема, и вы уже задумались о профессиях, ждем в нашем тг-канале.

Вместе с экспертами Kursfinder я проанализировала более 60 предложений, чтобы составить рейтинг из 50 курсов по аналитике данных. В статье они распределены по подборкам для удобства навигации: в начале я собрала 10 самых лучших, по моему мнению, программ обучения. Далее идет дополнительный список, а в конце статьи вы найдете подборку бесплатного обучения. Полный список курсов по аналитике данных ищите в каталоге Kursfinder.

ТОП-10 лучших курсов по аналитике данных в 2026 году

1. Аналитик данных от Eduson Academy — лучшее обучение data analyst с личным куратором.
2. Профессия: Аналитик от ProductStar — отличное обучение профессии с помощью в трудоустройстве.
3. Аналитик данных от Skypro — самое быстрое обучение с азов.
4. Аналитика с 0: быстрый старт от ProductStar — лучшее обучение на аналитика данных с нуля.
5. Mini-MBA: Аналитик 2.0 от SF Education — лучший курс MBA по аналитике.
6. Программирование для анализа данных от Skypro — лучший курс по программированию для анализа данных.
7. Аналитик данных от SF Education — отличное повышение квалификации.
8. Аналитик данных с нуля от Нетологии — отличный вариант для отработки практики на реальных проектах.
9. Аналитик данных от Бруноям — живое общение с преподавателями.
10. Аналитик данных ISA от Skillfactory — возможность участия в стажировках.

Онлайн-обучение на аналитика данных может быть полезно новичкам, которые только начинают свой путь в этой области, и профессионалам, желающим расширить свои компетенции. Кроме того, программы могут быть интересны и тем, кто не планирует связывать свою карьеру с анализом данных, но хочет лучше понимать, как работают современные технологии и какие возможности они предоставляют.

Онлайн-курсы для аналитика данных

1. Аналитик данных | Eduson Academy

На программе от Eduson Academy студенты изучат методы сбора, обработки и анализа данных, а также научатся создавать дашборды для визуализации результатов. Они освоят SQL и NoSQL для работы с базами данных и познакомятся с инструментами, такими как Python, R и Tableau. Курс также поможет им решать бизнес-задачи, развивая критическое мышление и коммуникативные навыки.

• Стоимость: 136 464 рубля
• Длительность: 6 месяцев
• Формат обучения: видеолекции, скринкасты, тренажеры, тесты
• Сертификат: удостоверение о повышении квалификации + диплом

Кому подойдет:

• новичкам с нуля.

Преимущества:

• постоянная помощь от личного куратора;
• можно выбрать свой график обучения;
• содействие в поиске работы;
• первые уроки предоставляются бесплатно.

Недостатки:

• техническая поддержка отвечает с задержками.

Программа обучения:

• Анализ проблемы для принятия решения
• Системный подход в управлении
• Процесс анализа в компании
• Создание консолидированных таблиц
• Оптимизация процессов и повышение эффективности

Ознакомиться с полной программой >>>

2. Профессия: Аналитик | ProductStar

Освоите основы анализа данных. Научитесь изучать потенциальных клиентов, рынок и конкурентов, а также выявлять перспективы развития мобильных приложений. Познакомитесь с методами оптимизации процессов и применением технологий машинного обучения. Вы научитесь понимать смысл информации, используя математические методы. Сможете анализировать бизнес-процессы и представлять данные в виде удобных и информативных дашбордов.

• Стоимость: от 112 752 рублей
• Длительность: 10 месяцев
• Формат обучения: видеоуроки, вебинары, домашняя работа
• Сертификат: есть

Кому подойдет:

• новичкам с нуля.

Преимущества:

• крупные проекты для портфолио;
• без навыков кодинга;
• рассрочка без процентов;
• три мини-программы в подарок;
• стажировки в партнерских компаниях.

Недостатки:

• в первом тарифе нет доступа к смежным курсам.

Программа обучения:

• Цели и методы работы специалиста по анализу данных
• Место и функции аналитика в коллективе
• Разбивка показателей: система метрик и их структура
• Анализ метрик и работа с индивидуальными показателями
• Основные математические операции и алгоритмы
• Модификация, интеграция и исключение информации

Ознакомиться с полной программой >>>

3. Аналитик данных | Sky Pro

Программа обучает собирать и анализировать данные для нахождения ценных инсайтов и принятия обоснованных решений. Вы освоите инструменты и методы статистического анализа, машинного обучения и визуализации данных. Научитесь применять эти навыки для решения бизнес-задач, таких как прогнозирование и оптимизация. Познакомитесь с популярными инструментами, такими как Python, R и Tableau, и научитесь создавать отчеты и презентации для представления результатов.

• Стоимость: 178 956 рублей
• Длительность: 12 месяцев
• Формат обучения: вебинары, домашняя работа, тестирования
• Сертификат: удостоверение о повышении квалификации или диплом

Кому подойдет:

• новичкам с нуля.

Преимущества:

• множество способов оплатить обучение;
• проводятся регулярные групповые занятия;
• предусмотрены индивидуальные встречи с преподавателем;
• оплата производится через месяц.

Недостатки:

• ограниченное количество мест на программу.

Программа обучения:

• Работа с ячейками и таблицами в Excel
• Применение базовых формул в Excel
• Основные экономические индикаторы
• Чем отличаются разные типы расходов
• Как работают логические операторы
• Ключевые виды хранилищ информации

Ознакомиться с полной программой >>>

4. Аналитика с 0: быстрый старт | ProductStar

Программа обучает основам аналитики, сбору и анализу данных, работе с инструментами аналитики, статистике, машинному обучению, Data Science и визуализации данных. Участники узнают, как применять аналитику в бизнесе, работать с большими данными и базами данных. Освоите базовые показатели IT-продуктов и научитесь создавать их иерархию. Ментор контролирует ваш прогресс и помогает успешно пройти испытательный срок при приеме на работу.

• Стоимость: 59 232 рубля
• Длительность: 2 месяца
• Формат обучения: видеоуроки, вебинары, домашняя работа
• Сертификат: есть

Кому подойдет:

• новичкам с нуля.

Преимущества:

• рассрочка без процентов;
• три мини-программы в подарок;
• комфортный темп работы;
• стажировки в партнерских компаниях.

Недостатки:

• маловато времени для обучения.

Программа обучения:

• Цели специалиста по анализу данных
• Инструменты для работы
• Образ идеального аналитика
• Как формулировать корректные вопросы
• Что представляет собой HADI
• Как функционирует HADI
• Все стадии процесса дизайн-мышления
• Как оптимизировать работу с метриками

Ознакомиться с полной программой >>>

5. Mini-MBA: Аналитик 2.0 | SF Education

Курс обучает анализу данных и принятию обоснованных решений. Вы освоите методы сбора, обработки и визуализации данных, научитесь работать с большими массивами и разрабатывать стратегии. Курс поможет вам выявлять проблемные места в бизнес-процессах, оптимизировать работу компаний и управлять рисками. Вы научитесь представлять данные наглядно и эффективно работать в команде.

• Стоимость: 166 248 рублей
• Длительность: 9 месяцев
• Формат обучения: видеоуроки, практика, домашняя работа
• Сертификат: диплом

Кому подойдет:

• новичкам с нуля;
• начинающим специалистам.

Преимущества:

• три дня обучения бесплатно;
• курс в подарок;
• экономия до 75%;
• помощь с устройством на работу.

Недостатки:

• иногда происходят технические сбои.

Программа обучения:

• Основные умения работы в Excel
• Углубленные навыки работы в Excel
• Разработка программ на языке Python
• Выступления для специалистов
• Знакомство с основами бизнес-анализа
• Работа с разработчиками
• Освоение основ финансового учета и анализа

Ознакомиться с полной программой >>>

6. Программирование для анализа данных | Skypro

На программе вы освоите основные языки программирования: Python, SQL и R. Научитесь обрабатывать и анализировать большие массивы данных, используя библиотеки и фреймворки для ускорения разработки. Получите навыки решения практических задач, таких как прогнозирование и классификация. Освоите создание отчетов и презентаций для визуализации результатов анализа.

• Стоимость: 169 596 рублей
• Длительность: по запросу
• Формат обучения: вебинары, домашняя работа, тестирования
• Сертификат: удостоверение о повышении квалификации или диплом

Кому подойдет:

• новичкам с нуля.

Преимущества:

• множество способов оплатить обучение;
• проводятся регулярные групповые занятия;
• предусмотрены индивидуальные встречи с преподавателем;
• оплата производится через месяц.

Недостатки:

• не указана длительность обучения.

Программа обучения:

• Знакомство с программированием
• Основы работы с Python
• Графики и визуализация данных
• Основы работы с Big Data
• Работа с Hadoop и Spark
• Классификация и регрессия
• Кластеризация и нейронные сети
• Работа с NoSQL базами данных

Ознакомиться с полной программой >>>

7. Аналитик данных | SF Education

Занятия обучают основам анализа данных и работе с большими объемами информации. Вы научитесь собирать, обрабатывать данные, работать с базами данных и SQL, анализировать данные с помощью Python и Power BI, строить математические модели и прогнозировать результаты. Курс включает работу с реальными кейсами, что помогает создать портфолио для поиска работы.

• Стоимость: 83 184 рубля
• Длительность: 4 месяца
• Формат обучения: видеоуроки, практика, домашняя работа
• Сертификат: диплом

Кому подойдет:

• продолжающим специалистам.

Преимущества:

• три дня обучения бесплатно;
• курс в подарок;
• экономия до 75%;
• помощь с устройством на работу.

Недостатки:

• не для новичков.

Программа обучения:

• Основы работы с Excel
• Углубленные знания и умения в Excel
• Работа с информацией в Power Query
• Разработка программ на Python
• Основы математики
• Модуль по развитию карьеры
• Навыки межличностного общения

Ознакомиться с полной программой >>>

8. Аналитик данных с нуля | Нетология

На программе учат собирать, обрабатывать и визуализировать данные, работать с базами данных и SQL/NoSQL, разрабатывать алгоритмы и прогнозировать события. Студенты научатся автоматизировать процессы, интерпретировать результаты анализа и работать с популярными инструментами, такими как Python, R, Tableau и Power BI. Курс готовит к карьере в анализе данных или к продолжению обучения на более продвинутых программах.

• Стоимость: от 99 000 рублей
• Длительность: от 6 месяцев
• Формат обучения: видео лекции, практические задания, теория, домашние задания, итоговые проекты
• Сертификат: диплом о профессиональной переподготовке

Кому подойдет:

• новичкам с нуля.

Преимущества:

• крутые дополнительные материалы;
• техническая поддержка высокого уровня;
• удобное мобильное приложение;
• уведомления о сроках выполнения задач;
• возможность возврата денежных средств.

Недостатки:

• скидка скоро закончится.

Программа обучения:

• Знакомство с Google Таблицами
• Продвинутые возможности Google Таблиц
• Как работает аналитическое мышление
• Основы статистического анализа
• Усовершенствованное представление данных
• Python как средство для анализа данных
• Машинное обучение в повседневной жизни

Ознакомиться с полной программой >>>

9. Аналитик данных | Бруноям

Студенты научатся собирать, обрабатывать и анализировать большие объемы данных, визуализировать результаты с помощью инструментов, таких как Python, R и SQL, создавать дашборды и отчеты для их представления, а также автоматизировать рутинные задачи. Они получат навыки интерпретации данных в различных предметных областях, таких как бизнес, медицина и финансы, и научатся эффективно коммуницировать результаты анализа.

• Стоимость: 29 900 рублей
• Длительность: 4 месяца
• Формат обучения: видео уроки, дополнительные материалы, чат с личным наставником
• Сертификат: есть

Кому подойдет:

• новичкам;
• специалистам смежных профессий.

Преимущества:

• теория без излишней академичности;
• большое количество практических заданий;
• интуитивно понятный интерфейс платформы;
• возможность оформить рассрочку на выгодных условиях.

Недостатки:

• в группе более 10 человек.

Программа обучения:

• Определение и рассмотрение темы
• Разногласия в понимании целей
• Стандартные задачи Data Analyst
• Инструменты и платформы для работы
• Взаимодействие с другими отраслями
• Реальные сценарии и образцы
• Обзор ключевых хранилищ информации

Ознакомиться с полной программой >>>

10. Аналитик данных ISA | Skillfactory

Программа обучает работе с большими данными, статистике, машинному обучению, Data Science и Data Engineering. Вы научитесь собирать и обрабатывать данные, применять алгоритмы для прогнозирования и классификации, создавать нейронные сети, работать с распределенными вычислениями и визуализировать данные. Курс также включает изучение основ Data Science и Data Engineering для старта карьеры в этих областях.

• Стоимость: от 185 076 рублей
• Длительность: 14 месяцев
• Формат обучения: тренажеры, тесты, видеоуроки, онлайн-митапы и проекты
• Сертификат: диплом о профессиональной переподготовке установленного образца

Кому подойдет:

• новичкам с нуля.

Преимущества:

• обучение под контролем экспертов;
• поддержка от коллектива специалистов;
• предоставление учебных материалов;
• обучение в рамках организации.

Недостатки:

• кому-то программа может показаться слишком долгой.

Программа обучения:

• Анализ бизнес-моделей и методов анализа данных
• Логические задания для интервью
• Работа с аналитическими документами
• Углубление знаний на примерах из практики
• Метрики, связанные с продуктами и маркетингом
• Пирамида метрик и анализ экономики на уровне юнитов

Ознакомиться с полной программой >>>

Еще 21 дополнительных курсов аналитики данных

Дополнительные программы помогут вам углубить понимание основных концепций и методов, а также освоить новые инструменты и техники.

• Аналитика данных с МФТИ от Нетологии. На программе вы изучите основы анализа данных и получите необходимые навыки для работы с большими объемами информации. Обучение идет с акцентом на практику.
• Аналитик данных Яндекс Практикум. На конкретных примерах вы сможете понять, чем занимаются специалисты по анализу данных, узнаете, какие навыки вы получите в процессе обучения, и выполните свои первые практические упражнения.
• Финансы и анализ данных от Нетологии. Освойте программу высшего образования в дистанционном формате, делая акцент на практической составляющей.
• Аналитик данных от Хекслета. Освойте ключевые показатели деятельности компаний и научитесь самостоятельно их рассчитывать, применяя SQL и Google Sheets. Проведите когортный анализ и составьте прогноз, представив данные в виде графиков с помощью Superset и Python.
• Введение в Data Science от Skillbox. Вы сможете примерить на себя роль дата-инженера, аналитика и эксперта в области машинного обучения.
• Аналитик данных от OTUS. Научитесь эффективно анализировать данные: изучите требования, освойте статистику и работу с инструментами бизнес-аналитики.
• Аналитик данных от Международной Школы Профессий. Станьте специалистом по анализу данных: работайте с системами управления базами данных, создавайте отчеты и визуализируйте данные в Power BI, изучите Python для работы с базами данных.
• Python, BI и BigData от ProductStar. Освойте искусство анализа данных с использованием Python, и вы станете незаменимым специалистом в любой цифровой компании.
• Менеджмент AI- и BigData-продуктов от ProductStar. Освойте искусство разработки продуктов на основе больших данных и научитесь использовать искусственный интеллект.
• Data Analyst от Skillbox. Вы будете проводить анализ, представлять данные в наглядном виде и создавать интерактивные панели управления в системах бизнес-аналитики.
• Data Analyst от Skillfactory. Вы получите надежную базу для развития в профессии аналитика данных: научитесь аналитически мыслить и освоите основные инструменты.
• Статистические методы анализа данных от «Специалист». Вы освоите методы ввода и обработки информации в программе SPSS Statistics, а также получите начальные знания о статистическом анализе данных и ключевых подходах прикладной статистики.
• Инженер-экономист в сфере экономики и анализа данных от Профессионального стандарта. Программа даст вам возможность получить востребованную и хорошо оплачиваемую профессию инженера-экономиста в области экономики и анализа данных.
• Big Data от Профессиональный стандарт. Программа даст вам возможность получить знания и навыки, которые позволят вам стать специалистом в области обработки больших объемов информации и работы с Интернетом вещей.
• Библиотеки Python для Data Science: Numpy, Matplotlib, Scikit-learn от GeekBrains. Познакомьтесь с базовыми принципами и определитесь, что вам ближе: разработка алгоритмов для машинного обучения или анализ данных.
• Онлайн магистратура "Науки о Данных" от Skillfactory. Станьте обладателем диплома магистра по направлению «Наука о данных» от МФТИ. Получите практические навыки, работая над реальными проектами.
• Математика для анализа данных от Нетологии. Школа поможет специалистам в области анализа данных разобраться в математических принципах: научиться выявлять закономерности в больших объемах информации и делать достоверные предсказания.
• Excel для работы от Skypro. Научитесь эффективно работать с таблицами, что позволит вам повысить производительность и получать доход от работы на фрилансе.
• Математика для анализа данных от Яндекс Практикум. Программа поможет восполнить пробелы в знаниях статистики, разобраться в контексте использования статистических тестов и освоить способы визуализации больших объемов информации.
• Аналитик BI c 0 до PRO от IQBI. Вы освоите способы получения доступа к информационным ресурсам, обработки и анализа данных, а также научитесь создавать интерактивные дашборды в Power BI.
• Математика для анализа данных плюс от Яндекс Практикум. Углубленный курс для тех, кто уже освоил базовую программу «Математика для анализа данных».

Еще 5 курсов по SQL для анализа данных

Курсы по SQL для анализа данных помогут вам освоить основы работы с базами данных и научиться писать простые запросы.

• Обработка и анализ данных в SQL от SF Education. Для всех, кто желает освоить работу с таблицами, разработку запросов и анализ данных, в SF Education создана программа обучения SQL с нуля.
• SQL и получение данных от Нетологии. Вы научитесь пользоваться одним из ключевых инструментов для работы с данными и их анализа. Сможете выполнять аналитические задания и расширите свои перспективы для профессионального роста и развития.
• SQL для анализа данных от Skypro. Освойте профессию, и вы можете трудиться из дома, самостоятельно определяя график работы, и получать доход, используя свои аналитические способности.
• SQL с 0 для анализа данных от ProductStar. Вам предстоит работать с массивами информации и находить в них закономерности, используя для этого SQL, Python и другие средства.
• Онлайн-курс SQL для анализа данных от Бруноям. За два месяца вы сможете освоить SQL для работы с данными: вы научитесь составлять запросы, извлекать необходимые сведения и анализировать их без привлечения разработчиков.

Еще 3 курсов по Python для анализа данных

С помощью программ по Python для анализа данных вы научитесь работать с библиотеками, такими как NumPy, Pandas, Matplotlib, Seaborn и другими, а также освоите основы машинного обучения и Data Science.

• Python для анализа данных от Нетологии. Вы научитесь пользоваться главным инструментом для обработки данных и применения методов машинного обучения. Освойте работу с информацией на всех стадиях: от сбора, обработки и анализа до представления в наглядном виде.
• Python для анализа данных от Яндекс Практикум. В течение трех месяцев вы сможете овладеть актуальным инструментом для анализа и обработки информации.
• Python Аналитик данных от EasyUM. Получите новую специальность всего за пять месяцев. Научитесь работать с данными и извлекать из них выгоду для бизнеса.

Бесплатные курсы аналитики данных

Станьте профессионалом и откройте для себя новые возможности в карьере. Бесплатные курсы по аналитике данных помогут вам освоить основы и начать применять полученные знания на практике.

1. Аналитик данных: первые шаги для погружения в профессию — Eduson Academy

В процессе обучения вы не только получите базовые знания в области анализа данных, но и сможете применить их на практике, используя специализированные онлайн-симуляторы.

Главное о курсе:

• длительность — две недели;
• подойдет любому уровню.

2. Основы анализа данных и Python — Яндекс Практикум

Школа поможет освоить азы, познакомим с языком программирования Python и определим, насколько вам подходит работа с данными.

Главное о курсе:

• четыре кейса по работе;
• подойдет людям без опыта.

3. Введение в аналитику данных — Хекслет

Вы освоите базовые принципы и способы анализа информации, а также научитесь применять инструменты для ее обработки и наглядного представления результатов.

Главное о курсе:

• самостоятельное изучение;
• неограниченный доступ к теории.

4. Какую профессию выбрать в анализе данных — Яндекс Практикум

Вы узнаете о различных типах аналитиков и их обязанностях, а также о том, к чему следует быть готовым и на какой доход можно рассчитывать. Это поможет вам принять решение о выборе профессии, которая вам подходит.

Главное о курсе:

• информация о разных профессиях;
• длительность — два часа.

5. Python для начинающих аналитиков — Skypro: онлайн-университет

Канал опубликовал уроки по анализу данных с использованием Python от Skypro в открытом доступе, чтобы вы могли самостоятельно изучить этот инструмент.

Главное о курсе:

• девять уроков;
• для аналитиков.

6. Курс по Data Analytics — Школа itProger / Программирование

В процессе обучения вы освоите навыки работы в области анализа данных и научитесь применять различные библиотеки для обработки информации.

Главное о курсе:

• основы работы;
• вводная часть по анализу.

7. Анализ данных в R — Stepik

Участники освоят базовые принципы программирования на языке R, что даст им возможность оперативно и результативно справляться с разнообразными задачами, связанными с обработкой информации.

Главное о курсе:

• 19 уроков;
• 26 тестов;
• 50 интерактивных задач.

8. Анализ данных. Введение в Python — VK Team

Задача программы — дать слушателям представление о том, как устроен анализ данных, какие инструменты используются, с какими проблемами и методами работы сталкивается специалист в этой области.

Главное о курсе:

• длительность — два часа;
• базовые инструменты при работе с данными.

9. Анализ данных просто и доступно — Stepik

В процессе решения практических заданий участники смогут освоить базовые принципы машинного обучения в интересной и понятной форме.

Главное о курсе:

• 108 уроков;
• 36 тестов.

10. Основы статистики — Stepik

В рамках программы слушатели познакомятся с ключевыми концепциями и подходами математической статистики.

Главное о курсе:

• 29 уроков;
• 105 тестов.

11. Все, что нужно знать о профессии аналитика данных — faces & cases

Татьяна поделилась тем, что ее больше всего мотивирует в работе и как можно объяснить суть этой профессии даже пожилому человеку.

Главное о курсе:

• введение в профессию;
• роль аналитика в команде и в жизни.

Профессии, связанные с аналитикой данных

• Data Scientist — специалист, который занимается анализом больших объемов данных с помощью алгоритмов машинного обучения и статистики. Он может работать с различными типами данных и решать разнообразные задачи.
• Бизнес-аналитик — профессионал, который анализирует бизнес-процессы компании и предлагает решения для оптимизации этих процессов. Он может использовать данные для выявления тенденций, определения слабых мест и разработки стратегий развития.
• Аналитик данных — специалист, который анализирует данные, чтобы выявить закономерности, тенденции и тренды. Он может работать с разными типами данных (например, с текстовыми, графическими, аудио- и видеоданными) и использовать различные методы анализа (например, статистические, машинное обучение, глубокое обучение).
• Системный аналитик — профессионал, который занимается анализом информационных систем компании. Он может разрабатывать требования к новым системам, оптимизировать существующие системы и обеспечивать их бесперебойную работу.
• Аналитик социальных медиа — специалист, который анализирует данные из социальных медиа для выявления трендов, интересов аудитории и эффективности рекламных кампаний.
• Аналитик маркетинговых данных — профессионал, который использует данные для анализа эффективности маркетинговых кампаний и определения наиболее эффективных каналов продвижения.
• Аналитик интернет-трафика — специалист, который анализирует данные интернет-трафика для выявления тенденций, определения популярных сайтов и разработки стратегий продвижения.
• Аналитик Big Data — профессионал, который работает с большими объемами данных и использует специальные инструменты и технологии для их анализа.
• Аналитик информационной безопасности — специалист, который анализирует данные о безопасности информационных систем компании и разрабатывает меры по их защите.
• Аналитик продуктов — профессионал, который анализирует данные о продуктах компании и определяет их сильные и слабые стороны. Он может разрабатывать стратегии развития продуктов и оптимизировать их характеристики.

Как долго учиться?

Срок обучения может варьироваться в зависимости от выбранного формата обучения, интенсивности занятий и начального уровня знаний.

Если вы выбираете очное обучение в вузе, то это может занять от четырех до шести лет для получения степени бакалавра и дополнительно полтора-два с половиной года для получения степени магистра. Однако, помимо теоретических знаний, важно также получить практические навыки работы с инструментами и методами анализа данных.

Если вы предпочитаете более короткие сроки обучения, можно рассмотреть онлайн-курсы или краткосрочные программы профессиональной переподготовки. Они могут длиться от нескольких месяцев до года или более, в зависимости от интенсивности занятий и выбранной программы.

Требования и необходимые навыки

Требования и навыки могут варьироваться в зависимости от конкретной компании и проекта, но, как правило, включают в себя следующее:

• Знание основ статистики и математики: специалист должен понимать и применять статистические методы для анализа данных, такие как среднее, медиана, мода, дисперсия, ковариация, корреляция, регрессионный анализ и другие.
• Умение работать с базами данных и системами управления данными (СУБД): профессионал должен знать, как хранить, извлекать и обрабатывать данные из различных источников.
• Навыки программирования: знание языков программирования, таких как Python, R, SQL, может быть полезным для автоматизации задач и обработки данных.
• Понимание алгоритмов и структур данных: работник должен знать, как работают алгоритмы и структуры данных, чтобы эффективно обрабатывать и анализировать большие объемы данных.
• Умение работать с инструментами для анализа данных: знание таких инструментов, как Tableau, Power BI, Excel, Google Data Studio, может быть полезным для визуализации данных и создания отчетов.
• Понимание бизнес-процессов: специалист должен понимать, как бизнес-процессы работают и как данные могут быть использованы для улучшения этих процессов.
• Аналитическое мышление: способность анализировать данные и выявлять тенденции и закономерности может быть полезной для выявления проблем и возможностей.
• Умение работать с большими объемами данных: аналитик должен уметь обрабатывать и анализировать большие объемы данных, чтобы выявить скрытые закономерности и тенденции.
• Умение работать с облачными сервисами: знание облачных сервисов, таких как Google Cloud Platform, Amazon Web Services, может быть полезным для хранения и обработки данных.
• Знание методов машинного обучения: понимание методов машинного обучения может быть полезным для создания моделей и прогнозирования будущих событий.
• Знание основ информационной безопасности: понимание принципов информационной безопасности может быть полезным для защиты данных и предотвращения несанкционированного доступа.

Уровень заработной платы

Размер заработной платы определяется уровнем квалификации и местом работы. В столице, например, для начинающих специалистов диапазон дохода составляет от 60 000 до 180 000 рублей в месяц, для специалистов среднего уровня — от 200 000 до 300 000 рублей, а для опытных работников — до 400 000 рублей.

Чтобы получить актуальную информацию о вакансиях и зарплатах, рекомендуется обратиться к специализированным ресурсам, таким как hh.ru. На этих сайтах вы сможете найти предложения от прямых работодателей с указанием требований и условий оплаты труда.

Заключение

Курсы аналитика данных помогают освоить основы статистики, машинного обучения и других методов анализа, а также научиться работать с популярными инструментами и библиотеками. Это может быть полезно профессионалам, а также новичкам, которые только начинают свой путь в анализе данных. Для того чтобы стать успешным кандидатом, необходимо постоянно совершенствовать свои знания, следить за тенденциями в области и быть готовым к постоянному обучению.

Подборки по схожим темам:

1. Лучшие курсы по созданию сайтов
2. Лучшие курсы веб-разработчика
3. Лучшие курсы HTML и CSS
4. Лучшие курсы по языкам программирования

В случае, если вы заметили в списке неактуальную информацию или хотите добавить в него проверенную программу или учебное заведение, пожалуйста, дайте мне знать в комментариях.

В какой-то момент наши коллеги, отвечающие за качество данных, обратили внимание на Great Expectations (GX). Библиотека многообещающая: умеет валидировать, профилировать и даже составлять документацию автоматически. Однако есть одно «но»: Impala, наш основной SQL-движок для Hadoop, официально не поддерживается.

Мы решили схитрить и пустить данные через pandas DataFrame — инструмент, с которым GX ладит отлично. Тестовые прогонки показали обнадеживающие результаты, но когда дело дошло до настоящих объемов, стало ясно: DataFrame справляется с 15 000 строк за раз, а дальше — дробление, тормоза, потеря части функционала. Итог: сутки на обработку вместо минут, которые нужны Impala.

Вывод напрашивался сам собой: надо заставить GX работать с Impala напрямую. Теоретически это возможно — Impala ведь оперирует теми же данными куда быстрее. Практически же — GX о подобной интеграции ничего не знает. Документация хранит молчание. Пришлось экспериментировать.

После нескольких попыток, ошибок и обходных маневров мы нашли решение. Им и хочу поделиться.

Примечание: в статье описана работа с GX версии 0.17.19. Вышли новые релизы, но общий подход и логика решений остались прежними.

Настройка проекта: подключаем Impala и кастомные проверки

Подключение к базе данных

Перед тем, как приступить к работе, необходимо настроить подключение к Impala и организовать структуру проекта. Начнем с самого основного — соединения с базой данных:

Для этого используем функцию create_engine из SQLAlchemy, которая позволяет установить связь с Impala. Более детальную информацию о возможных параметрах конфигурации можно найти в официальной документации.

Добавляем кастомные проверки

Теперь пришло время интегрировать собственные проверки. К сожалению, GX не предоставляет прямого механизма подключения проверок из произвольных папок — в документации указаны лишь способы через plugins или GitHub. Однако решение оказалось довольно простым:

1. Создаем папку для пользовательских проверок в директории с основным кодом GX;
2. Подключаем нужные проверки в коде, указав путь к ним:

Так, мы обеспечиваем корректное подключение кастомных правил в систему, позволяя использовать их наряду со стандартными инструментами Great Expectations.

Основные проблемы, с которыми мы столкнулись

Проблема №1: Регулярные выражения

Первым камнем преткновения стала попытка использовать проверки на регулярные выражения — expect_column_values_to_match_regex. При запуске на Impala они попросту не срабатывали, так как некоторые выражения Regex не поддерживались для этого диалекта.

Ошибки выглядели так:

У нас было два пути:

1. Сделать pull request с изменениями в библиотеку GX. Но это означало бы долгое ожидание и, вероятно, последующие сложности с обновлениями версии в банковской инфраструктуре.
2. Создать свою собственную проверку, игнорируя диалект и подгоняя регулярные выражения под Impala. Именно этот путь мы и выбрали.

Решение

Сначала копируем исходный файл проверки регулярных выражений в свою директорию. Не забываем изменить его название, а также поменять наименование проверки во всех местах, где она указана. В нашем случае мы добавили суффикс _impala:

В файле expect_column_values_to_match_regex_impala подключаем файл с проверкой:

Главное — заменить все названия проверок на свои.

Далее копируем еще один файл в свою директорию, меняем его название. В самом файле модифицируем переменные condition_metric_name и regex_expression. Метод SQLAlchemy использует функцию get_dialect_regex_expression, которая вызывает ошибку диалекта, так как Impala не входит в поддерживаемые базы данных. Поэтому мы отключаем вызов этой функции и формируем наше регулярное выражение (переменная regex_expression) под Impala, взяв за основу выражение из MySQL:

Теперь формируем условие регулярного выражения с помощью класса BinaryExpression из SQLAlchemy, где:

• column — проверяемая колонка
• sqlalchemy.literal(regex) — регулярное выражение
• sqlalchemy.custom_op("REGEXP") — оператор

После выполнения этого выражения получается строка вида table_nm REGEXP '%abv', в которой:

• table_nm — колонка
• REGEXP — оператор
• '%abv' — регулярное выражение

Важно! Не забудьте добавить подключение BinaryExpression. Используйте literal(regex). Именно literal — без него не отработает.

Проблема №2: Зарезервированные слова

В процессе работы GX на Impala мы столкнулись с синтаксическими ошибками. Как оказалось, причина заключалась в том, что GX, при формировании запросов к базе данных, использует зарезервированные в Impala слова. Эти слова не могут быть использованы в качестве идентификаторов в базе данных. Вот примеры ошибок:

Решение

Для устранения данной проблемы необходимо заменить метку (label) на другое подходящее имя, которое не вызывает конфликтов с диалектом. Например, в первой ошибке ключевым словом было condition, и мы заменили его на другое, обновив все файлы, где использовалась эта проверка.

В случае с типом NUMERIC достаточно просто заменить его на INTEGER, который как раз и предложен в ошибке в качестве корректного варианта.

Вот пример изменений в коде:

Было:

Стало:

Чтобы понять, в каких именно файлах необходимо внести изменения, мы обратились к логам. Логи содержат информацию о пути возникновения ошибок. Так мы находили проблемные файлы на GitHub, а затем прослеживали цепочку подключений, чтобы выяснить, откуда пришла функция проверки.

Проблема №3: Подзапросы в Impala

Следующая трудность, с которой мы столкнулись, касалась использования подзапросов. При работе с некоторыми проверками GX (например, ExpectColumnValuesToBeUnique) мы сталкивались с ошибкой:

Дело в том, что GX использует вложенные подзапросы в разделе SELECT, которые запрещены в Impala.

Решение

Эту проблему можно обойти, если вынести не поддерживаемый Impala подзапрос в отдельный запрос и его результат подставить в основной подзапрос.

За основу мы взяли запрос из переменной unexpected_condition в файле map_condition_auxilliary_methods.py, вывели его через print и с помощью методов конструктора запросов SqlAlchemy сформировали такой же запрос в поддерживаемом Impala формате.

Вот как выглядит исходный запрос:

Из этого запроса нужно выделить подзапрос, который Impala не может обработать:

С помощью метода SqlAlchemy этот запрос будет выглядеть так:

После выполнения мы получаем результат (назовем его условно result_impala) и подставляем в окончательный запрос:

Последовательность замены файлов

В процессе работы над проблемами, связанными с зарезервированными словами и подзапросами, нам понадобилось заменить несколько файлов. Вот полная последовательность этих изменений:

1. Заменяем наименование проверок (чтобы они отличались от стандартных вариантов в GX) в подключении и классах: great_expectations/expectations/core/expect_column_values_to_be_unique.py
2. Меняем только подключение в следующем файле: great_expectations/expectations/metrics/column_map_metrics/column_values_unique.py
3. Выполняем изменения здесь: great_expectations/expecttions/metrics/map_metric_provider/column_map_metric_provider.py
4. Также изменяем этот файл: great_expectations/expectations/metrics/map_metric_provider/map_metric_provider.py
5. И, наконец, меняем файл, как описано в разделе «Проблема №1: Регулярные выражения»: great_expectations/expectations/metrics/map_metric_provider/ map_condition_auxilliary_methods.py

В результате наших поисков и экспериментов мы обрели решение, которое соединяет GX с Impala. Да, порой наш путь не был изысканным — подмена файлов библиотеки могла бы вызвать сомнения у стороннего наблюдателя. Но в тех случаях, когда нужно было получить работающий инструмент немедленно, этот способ оказался вполне оправданным. И если у вас есть мысли о том, как можно было бы обойтись без таких компромиссов, — смело делитесь ими в комментариях.

IoT, искусственный интеллект и облачные решения развиваются каждый день. Объёмы информации, с которой необходимо работать, только растут. А значит, появляется новая задача — научиться работать с информацией для прогнозирования всех возможных изменений и увеличения продаж.

Сегодня рассмотрим 5 главных Big Data решений, которые стоит изучить каждому, кто хочет развивать себя и свой проект.

Apache Kafka

Apache Kafka называют «почтальоном» в мире IT. Это система-брокер для потоковой передачи данных с открытым исходным кодом.

Проект разработан инженерами LinkedIn в 2010 году при поддержке фонда Apache Software Foundation. Kafka предназначена для работы с данными в реальном времени. При этом сохраняется высокая скорость передачи при минимальных задержках — и это одна из причин, почему распределённую систему так любят.

Apache Kafka используют 80% компаний из списка Fortune 100: например, с технологией работают 10 из 10 компаний в сфере производства и страхования.

Система используется для создания конвейеров потоковых данных и приложений потоковой аналитики. Kafka хороша тем, что обеспечивает бесперебойную доставку сообщений.

Пример кода на Python с использованием библиотеки kafka-python для отправки и получения информации:

Ещё один плюс системы — простая масштабируемость без потери производительности, сколько бы источников одновременно ни обрабатывалось. Это особенно важно для компаний, которые собирают и анализируют информацию сразу из нескольких источников.

А ещё Kafka хороша тем, что автоматически сохраняет все данные на сервере — если что-то сломается или перестанет работать, сообщения все равно сохранятся.

Kafka часто используется для:

• Системы мониторинга приложений для оперативной реакции на изменение данных о системе;
• Аналитики действий пользователей;
• Обработки данных от подключенных устройств для контроля состояния оборудования.

Apache Spark

Apache Spark — фреймворк для обработки больших данных. Платформа популярна благодаря своей высокой производительности и гибкости.

В 2025 году Spark продолжает оставаться одной из главных технологий в обработке данных. Особенно когда речь идёт об интеграции данных с ML и аналитикой.

Одна из особенностей Apache Spark — способность быстро обрабатывать большие массивы данных с помощью использования памяти для хранения промежуточных вычислений. Например, задачи, которые занимают часы в Hadoop MapReduce, в Spark можно выполнить за несколько минут.

Пример кода на Python с использованием PySpark для обработки данных:

Здесь выполняются 5 этапов работы: выгрузка данных из Spark сессии, создание самой сессии, загрузка данных из CSV-файла, фильтрация данных и отображение результата.

Apache Spark предоставляет инструменты для интеграции с библиотеками ML и аналитики. MLlib — библиотека машинного обучения, встроенная в Spark. С помощью нее можно проводить сложные анализы и создавать модели:

Здесь описано 5 основных действий при создании модели линейной регрессии: импорт данных с сайта, подготовка данных для обучения, разделение данных на обучающие и тестовые, создание и обучение моделей регрессии и тестовая оценка модели.

Snowflake

Snowflake — это DaaS (Desktop as a Service) решение для работы с данными. Платформа помогает с хранением, обработкой и аналитикой данных — и всё это в одном облачном решении.

С помощью Snowflake можно решать одновременно несколько задач, связанных с большими данными, обеспечивая при этом высокую производительность и масштабируемость. Все пользователи платформы могут легко загружать, хранить и управлять данными в облаке без физической инфраструктуры. А это неплохо экономит деньги.

Главный принцип работы Snowflake можно объяснить так: это система, которая предоставляет виртуальные «рабочие столы», где можно хранить и работать с любой загруженной информацией. А ещё данными можно обмениваться с любым количеством пользователей в реальном времени через Snowflake Data Share.

С помощью безопасного подключения к Data Lake можно извлекать неограниченное количество данных из любых источников и потом их анализировать с помощью других инструментов. Это важно для аналитики и принятия стратегических решений в компании.

Ключевое преимущество Snowflake в гибкости. Система сама увеличивает и уменьшает мощность вычислительных ресурсов без прерывания работы. Фактически это динамическая система, которая сама подстраивается под объёмы данных. При этом, количество запросов в обработке не ограничено.

С помощью Snowflake можно выполнять сложные аналитические запросы в несколько кликов. Пример использования Snowflake для анализа больших данных:

Здесь описано 4 этапа: подключение к Snowflake, загрузка данных из облака, выполнение запроса и отображение результата.

Delta Lake

Delta Lake — это фреймворк для хранения данных, с помощью которого можно создавать архитектуру Lakehouse. Платформа работает с 12 движками (в том числе с Snowflake, Spark и Google BigQuery) для Scala, Java, Rust и Python.

Традиционные хранилища данных имеют много ограничений, которые мешают управлению и анализу больших массивов информации:

• У обычных хранилищ данных нет единого источника истины, что гарантирует несогласованность данных;
• Традиционные системы не справятся с большими объёмами потоковых данных;
• Для того, чтобы масштабировать обычные системы, нужно потратить много времени и денег. Это дни доработок.

Delta Lake решает эти проблемы с помощью собственной архитектуры на базе Apache Spark. О плюсах Apache Spark мы говорили выше, если коротко: бесперебойное получение информации вне зависимости от объёма данных.

Кроме того, Delta Lake работает и с ACID-транзакциями (транзакции, для выполнения которых важны 4 главных требования: атомарность, согласованность, изолированность, долговечность — АСИД / ACID). А это значит, что данные будут «целыми» и будут передаваться даже при высоких нагрузках.

С помощью Delta Lake можно управлять данными в гибридных средах — средах с разными источниками информации и интеграцией различных типов данных.

Ещё к плюсам решения можно отнести:

• Поддержку разных форматов данных (Parquet, JSON);
• Возможность работы как на локальных серверах, так и в облаке;
• Оптимизацию чтения и записи благодаря архитектуре Apache Spark.

Пример кода на Python с использованием Delta Lake для чтения и записи данных:

Здесь описано 6 этапов работы: импорт Spark-сессии, создание сессии, чтение данных из таблицы, выполнение преобразования данных, запись преобразованной информации в таблицу и завершение Spark-сессии.

Google BigQuery

Google BigQuery — сервис для анализа больших данных на базе SQL. Одно из главных преимуществ BigQuery — возможность обрабатывать большие объёмы практически в реальном времени.

Например, BigQuery можно использовать для анализа поведения пользователей на сайтах, обработки потоков данных, IoT и оптимизации цепочек поставок программного обеспечения (SSP).

Систему можно интегрировать с любыми решениями экосистемы GCP, например, Google Data Studio для визуализации или TensorFlow для машинного обучения.

Ещё один плюс BigQuery — уникальная архитектура, где предусмотрено разделение хранения данных и вычислительных функций. А значит, пользователь платформы платит только за те ресурсы, которыми он фактически пользуется.

В системе можно хранить до 10 гибибайтов (GiB) данных и запускать до 1 тебибайта (TiB) запросов в месяц на бесплатном тарифе. При этом масштабировать систему данных можно без необходимости «ручной» работы. И всё это на базе SQL.

Пример использования Google BigQuery для вывода и анализа данных о продажах:

Советы по изучению технологий

Большие данные требуют от специалистов постоянного обучения и адаптации к новым инструментам и методам. Здесь мы расскажем, как изучать технологии больших данных, какие ресурсы использовать и на что важно обращать внимание.

Ресурсы для обучения

• Один из лучших способов изучить новую технологию — обратиться к официальной документации. Например, для Apache Spark или Google BigQuery документация поможет не только понять принцип работы решений в теории, но и на практике.
• Курсов по Big Data становится всё больше и больше. Помним о том, что не всем понравились зарубежные курсы по программированию, поэтому советуем российские 🙂 МИПО, Яндекс.Практикум, ProductStar — все они предлагают хорошие курсы в направлении Data Science.
• Ещё один эффективный способ освоить Big Data — практика. Участвуйте в конкурсах и тематических мероприятиях или работайте над собственными проектами.

Советы для успешного освоения новых инструментов

• Не пытайтесь объять необъятное. А «необъятное» — это именно про Big Data. Сфокусируйтесь на одной технологии и изучайте её шаг за шагом.
• Общайтесь с другими специалистами для обмена опытом и решения задач. Для этого есть тематические форумы, группы в соцсетях. Да и просто нетворкинг сам по себе хорош.
• После каждого пройденного модуля обучения делайте заметки о том, что вы узнали и как это можно применить на практике.
• Постоянно практикуйтесь в небольших проектах или решайте разовые задачи по аналитике данных.

Изучение ИИ, облачных вычислений, блокчейна, IoT и новых платформ по типу Snowflake или Delta Lake поможет вам освоиться в биг дате и проводить такую аналитику данных, которая поможет бизнесу решать стратегические задачи, а вам — больше зарабатывать. Направление очень прибыльное и относительно российского рынка новое, так что, освоив 5 главных решений, вы точно будете востребованы на рынке труда! 😉

В статье рассмотрим факторы, на которые стоит обратить внимание при выборе компьютера для программирования.

Основные требования для разработчика

Прежде чем переходить к характеристикам, определимся с требованиями к будущему компьютеру.

Операционная система

Первый вопрос — выбор операционной системы: Windows, macOS или Linux. Решение зависит от личных предпочтений, опыта работы с каждой ОС и типа приложений, которые планируется разрабатывать:

• Windows — это универсальная ОС. Подходит для разработки под любые платформы, кроме нативных приложений для macOS и iOS. Имеет максимальную совместимость с ПО и периферией.
• macOS — оптимальный выбор, если планируется разрабатывать приложения под экосистему Apple. Реже используется для кросс-платформенной разработки. Преимущества — удобство, стабильность, встроенные средства разработки Xcode.
• Linux — предпочтительный выбор для опытных пользователей. Популярное решение для разработки серверных и мобильных приложений, а также в областях, связанных с безопасностью, анализом данных и машинным обучением. Преимущества — бесплатность, открытость, возможность тонкой настройки.

Направление разработки тоже влияет на выбор ноутбука или ПК. Например, самые низкие требования к производительности компьютера во фронтенде, самые высокие — в сфере машинного обучения и Big Data.

Направление и специфика разработки

Требования к мощности компьютера во многом определяются технологическим стеком проектов.

• Веб-разработка (frontend, backend) — скромные требования к производительности ПК. Акцент на ОЗУ и SSD для комфортной работы в IDE и ускоренной компиляции проектов.
• Мобильная разработка (iOS, Android) — повышенные требования к CPU и ОЗУ для работы в Android Studio и при запуске эмуляторов устройств. Важен объем SSD, если планируется хранить множество SDK и поддерживать сборки под разные версии ОС и устройств.
• Desktop-разработка (Windows, macOS, Linux) — высокие требования к частоте и количеству ядер CPU, а также к объему RAM.
• Разработка игр на Unity/Unreal Engine — повышенные требования к CPU и GPU. Для работы в редакторах и рендеринга нужен процессор с 6-8 ядрами, игровая видеокарта уровня RTX 2070/3060. Также важен объем ОЗУ.
• Data Science (анализ данных, ML, AI) — максимальные требования к мощности CPU и объему RAM. Для обучения моделей нужны процессоры с 8-16 ядрами и 64-128 ГБ памяти.

Универсальный совет — берите максимум CPU и RAM, которые позволяет бюджет. Апгрейд этих компонентов в ноутбуках затруднителен, а для ПК потребует существенных вложений в будущем.

Процессор (CPU)

От процессора напрямую зависит производительность компьютера.

При выборе CPU для программирования смотрите на следующие характеристики:

• Количество ядер и потоков. У многопоточного процессора больше запас мощности на будущее. Рекомендуемый минимум — 4 ядра/8 потоков.
• Тактовая частота. Чем выше частота процессора, тем быстрее отклик системы. Оптимальный диапазон — от 2.3-2.8 ГГц на ядро.

По соотношению цены и возможностей идеальный ноутбук для работы оснащен процессором Intel Core i5/i7 8-11 поколения или AMD Ryzen 5/7/9 2000-5000 серии. Сравнить процессоры по мощности можно тут.

Конкретная модель зависит от бюджета и запланированных нагрузок:

• для веб-разработки подойдут 4-ядерные Intel Core i5 или 6-ядерные AMD Ryzen 5;
• для мобильной, десктопной разработки и геймдева лучше выбирать 6-8 ядерные Intel Core i7 или 8-12 ядерные AMD Ryzen 7;
• для работы с ресурсоемкими проектами стоит рассмотреть 8-10 ядерные Intel Core i9 или 12-16 ядерные AMD Ryzen 9.

Нельзя экономить на процессоре, так как он определяет общую производительность системы, напрямую влияет на скорость компиляции, отклик IDE и время выполнения ресурсоемких операций.

Оперативная память (RAM)

Оперативная память используется для хранения исполняемого кода, активных приложений и данных. Чем больше объем и скорость RAM — тем шустрее работает система.

Минимальный объем для программирования — 8 ГБ. Этого достаточно для веб-разработки, простых проектов и обучения. Комфортный объем RAM — от 16 ГБ.

При выборе оперативной памяти обращайте внимание на следующие факторы:

• Тип памяти. Оптимальный вариант — DDR4 с частотой от 2400 МГц. Чем выше частота — тем чаще память обменивается данными с процессором.
• Латентность или тайминги. Это задержки при чтении данных из памяти. Чем меньше значения CL, tRCD, tRP, tRAS — тем отзывчивее память. В целом частота важнее, чем тайминги.
• Возможность апгрейда. Выбирайте компьютер для программирования с 2-4 слотами под планки оперативной памяти, чтобы в будущем можно было расширить RAM до 32-64 ГБ.

Для большинства задач программисту подойдет 2х8 ГБ DDR4-2666/3000/3200 МГц с латентностью CL16-18. Для топовых конфигураций можно рассмотреть комплекты 2х16 ГБ и частоты от 3200 МГц.

Хранение данных: SSD vs HDD

Рекомендуется выбирать системы с SSD-накопителем, а HDD использовать в качестве дополнительного хранилища.

Преимущества SSD для разработки:

• Скорость чтения и записи — до 5-10 раз быстрее, чем HDD. Ускоренный запуск ОС и приложений, открытие и сохранение проектов.
• Отсутствие механических частей и шума. SSD не боятся вибраций и ударов, меньше греются.
• Продолжительный срок службы в сравнении с HDD за счет отсутствия износа механических компонентов.

Минимальный объем SSD для разработки — 256 ГБ. Этого хватит для ОС, программ и ведения нескольких проектов. Оптимальный объем — от 512 ГБ.

На HDD система работает медленнее, чем на SSD. Жесткий диск лучше использовать для хранения данных, не критичных к скорости доступа. Например, на HDD можно вынести архивы проектов, фильмы, игры и т. д.

Графическая карта (GPU)

Выбор видеокарты для разработчика не так критичен, как CPU, RAM и SSD. Исключение — работа с 3D-графикой, игровыми движками, рендерингом видео, машинным обучением и научными расчетами.

Встроенная или дискретная графика?

В ноутбуках до 50 000 ₽ используется встроенная графика. Ее мощности достаточно для большинства задач разработки:

• работа в IDE, текстовых редакторах и терминале;
• просмотр видео, видеозвонки;
• отладка и тестирование;
• простая 2D/3D-визуализация.

Встроенная графика ограничивает возможности апгрейда, так как видеокарта интегрирована в процессор. Ее преимущества — низкое энергопотребление, отсутствие шума и нагрева.

Дискретная видеокарта, в отличие от интегрированной, оснащена отдельным графическим процессором и видеопамятью. Она мощнее, но потребляет больше энергии и нуждается в охлаждении.

Сравнить видеокарты по мощности можно тут.

Экран и разрешение

Выбор дисплея важен в первую очередь для ноутбуков, так как для настольного ПК можно подобрать внешний монитор с любыми характеристиками.

При поиске ноутбука для программирования обращайте внимание на диагональ экрана и матрицу.

Диагональ

13-14″ — подойдет тем, кто часто перемещается и работает в коворкингах. Платой за компактность выступает комфорт — придется постоянно увеличивать интерфейс IDE и сворачивать панели инструментов.

15-16″ — оптимальный размер экрана. Удобно работать в режиме разделения экрана. При этом ноутбук остается достаточно мобильным.

17″+ — максимальное пространство экрана. Будьте готовы к весу от 3 кг и сложностям с транспортировкой.

Разрешение

Разрешение влияет на плотность пикселей и четкость картинки.

Для работы с кодом подойдет Full HD (1920×1080). На 15″+ дисплеях доступны разрешения вплоть до 4K (3840×2160).

QHD (2560×1440) обеспечивает оптимальное сочетание четкости и размера элементов интерфейса: текст легко читается, а на экране помещается много информации.

Модели с 4K лучше выбирать с диагональю от 17″.

Тип матрицы

IPS — идеальный выбор. Это широкие углы обзора, точная цветопередача и запас яркости.

OLED превосходит IPS по качеству цветопередачи и глубине черного цвета. При длительном отображении статичной картинки (элементы интерфейса IDE) возможно выгорание пикселей.

TN — узкие углы обзора, посредственная цветопередача. Такие матрицы встречаются в бюджетных ноутбуках как альтернатива TFT.

Частота обновления

Стандартные 60 Гц подойдут для решения задач программиста. Экраны 90-120-144 Гц отличаются плавностью анимации — актуальны в игровых моделях, но для программирования не критичны.

Вес и размеры

Если предполагается частая работа вне дома или офиса, то важными факторами становятся вес и размеры устройства. В таком случае лучше выбрать ноутбук для программирования с балансом между портативностью и производительностью.

В погоне за компактностью производители жертвуют такими параметрами, как объем оперативной памяти, емкость накопителя и набор портов.

Клавиатура и другие особенности

Для настольного ПК можно выбрать любую внешнюю клавиатуру. В ноутбуках же производитель делает выбор за вас — приходится пользоваться тем, что есть.

Обращайте внимание на следующие параметры:

• Тип переключателей. У ножничных клавиш более четкий ход и тактильный отклик. Мембранные клавиатуры дешевле и тише.
• Раскладка. В идеале нужна полноразмерная клавиатура с нампадом и физическими кнопками F1-F12.
• Подсветка. Помогает комфортно работать в темноте и в сумерках.
• Программируемые клавиши. Некоторые модели ноутбуков имеют ряд программируемых кнопок, на которые можно назначить макросы и сочетания клавиш IDE.

При выборе компьютера проверяйте наличие необходимых портов:

• USB 3.1/3.2 Type-A — для подключения периферии, флешек, внешних накопителей.
• USB Type-C / Thunderbolt 3/4 — для подключения мониторов, SSD.
• HDMI / mini DisplayPort — для вывода изображения на внешние экраны и проекторы.
• Разъем Ethernet — для проводного подключения к сети.
• Слот для SD-карт — может пригодиться для работы с медиа-файлами и резервного копирования.
• Аудиоразъем — для подключения наушников и колонок.

В стационарных ПК набор портов намного шире. При необходимости можно установить плату расширения.

Бюджет и выбор ноутбука или ПК

Ноутбуки — это свобода передвижения. Однако они дороже аналогичных по характеристикам настольных компьютеров. ПК предлагают гибкость в плане апгрейда и возможность подключения нескольких мониторов.

При выборе конкретной модели ноутбука или ПК нужно ориентироваться на бюджет и приоритетные характеристики. Например, если важна портативность, то можно присмотреться к ультрабукам с процессорами Intel Core i5-i7, 16 ГБ RAM и SSD.

Цены на ноутбуки, которые подойдут для обучения и работы, стартуют от 40 000 ₽.

Если требуется максимальная производительность и мобильность не нужна, то хорошим выбором станет настольный компьютер на базе процессоров Intel Core i7 или AMD Ryzen 7, 32 ГБ оперативной памяти, SSD и видеокарты на 4-6 ГБ. Конфигурацию можно собрать самостоятельно или найти готовое решение от брендов.

Цены на производительный компьютер (без учета периферии) начинаются от 50 000 ₽.

Подводим итоги

• Выбор ОС зависит от личных предпочтений и типа разрабатываемых приложений. Направление разработки тоже влияет на требования к производительности.
• Процессор — ключевой компонент компьютера. Оптимальный выбор — Intel Core i5/i7 8-11 поколения или AMD Ryzen 5/7/9 2000-5000 серии c 4-16 ядрами в зависимости от типа проектов.
• Оперативная память — минимум 8 ГБ, комфортно от 16 ГБ. Важны тип (DDR4), частота (от 2400 МГц) и возможность апгрейда.
• На SSD система работает быстрее. Минимум — 256 ГБ, оптимально от 512 ГБ.
• Встроенной видеокарты достаточно для большинства задач программирования. Дискретная нужна для игр, 3D и машинного обучения.
• Рекомендуется выбирать экраны с IPS-матрицей, диагональю 15-16″, разрешением не менее Full HD, 60 Гц.
• Ноутбуки дороже, чем ПК с аналогичными характеристиками. Настольный компьютер предпочтителен для максимальной производительности и возможностей апгрейда, подключения нескольких мониторов.

Сегодня я расскажу, как мы смогли общими усилиями минимизировать риски возникновения багов в хранении данных. Мы поговорим о том, почему в целом важно следить за качеством данных, как быстро найти и исправить ошибки в хранилище на 1 Pb и почему это поможет сохранить бизнесу деньги.

Как и где хранятся данные в Авито и почему их так много

Начнем с контекста: вот так выглядит стек технологий, которые мы используем для построения DWH.

В нем есть хранилища ClickHouse и Vertica. Сейчас мы данные из Vertica переносим в Trino — почему, рассказывали в этом видео.

Для хранилищ мы создаем разные сервисы, которые помогают искать данные и управлять ими. Сервисы мы пишем на golang и Python, данные вытягиваем из kafka, для front-end используем react. Как вы поняли, мы в DWH команде любим программировать.

Про стек в целом я рассказываю просто для того, чтобы было понятно, как именно устроены наши процессы. Если у вас все организовано по другому — ничего страшного, потому что сейчас это роли не играет. Проблемы с данными могут возникнуть в Vertica, в GreenPlum, в BigQuery и даже в Excel. Наша задача — разобраться в причинах и найти универсальное решение для любого хранилища.

Порядок в данных важен для любого бизнеса, который принимает решение на их основе. Например, компания может понять, что пора расширять географию поставок или оценить потребности клиентов. Если в хранилище данных царит хаос, бизнес упустит выгоду или будет долго принимать решение, а следовательно, потеряет деньги.

Когда мы поняли, что нужно создать продуманную систему исправления багов

Сначала мы внедряли какие-то новые решения, чтобы улучшить работу с данными, но со временем поняли, что их недостаточно. Для начала разберемся, как было организовано хранение данных в Авито.

После очисток и дедупликаций только в Vertica у нас хранится 1 Pb данных. Сначала данные загружаются в детальный слой. Для него мы используем Anchor Modeling — это шестая нормальная форма. На картинке ниже покажу, в чем ее суть.

В тот момент, когда они загружаются в наше хранилище, мы получаем шесть табличек, потому что каждый атрибут в Anchor Modeling должен укладываться в свою отдельную таблицу детальнее можно прочитать в этой статье. По этой причине в детальном слое таблиц у нас очень много — несколько десятков тысяч. Наши аналитики строят витрины данных, а на них — другие витрины данных и так далее. Делают они это для того, чтобы было удобно работать с таким количеством информации.

Есть DDS-слой и существуют витрины данных, которые зависят и от себя же, и от DDS-слоя. Таких витрин у нас больше 2,5 тысяч и над тем, чтобы все данные в них посчитались, работает 17-20 воркеров.

Каждая витрина — это SQL-файл, в котором есть три блока:

• Шапка. В ней хранится мета-информация — название, владелец, что является первичным ключом, как считать и так далее.
• DDL-таблица. Название DDL-витрины, куда мы будем create table.
• SQL-выражение для заполнения витрин. SQL-запросы от одного до бесконечности, которые загрузили в DDL-таблицу.

До какого-то момента все витрины в Авито вручную создавали data-инженеры. Процесс было удобно контролировать, но в то же время он был «бутылочным горлышком» в поставках: специалистов не так много, а бизнес растет. Поскольку вместе с этим растет количество аналитиков и запросов, мы пошли в сторону self-service. Тогда мы обложили витрины метриками, чтобы при публикации запускались тесты. Все функционировало отлично, но количество витрин резко увеличилось. Подробнее про витрины данных в Авито рассказывал Илья Салманов.

Сейчас в Авито работает около 300 аналитиков, которые занимаются витринами. В какой-то момент они читают их содержимое и могут возникать вопросы, например как исправить ошибки, почему сохранились не те данные и так далее. В этом случае аналитики приходят к нам, как к владельцам хранилища, и просят разобраться. Чем больше времени прошло с момента сохранения неверных данных, тем сложнее найти источник проблемы.

Чтобы быстрее реагировать на такие ситуации и в целом свести их к минимуму, мы ввели чекеры двух видов, которые автоматически запускаются при расчете любой витрины. Базовые проверяют наличие пустых строк и дублей по первичным ключам. Если есть проблемы, alert уходит нужному получателю. Бизнесовые чекеры помогают аналитикам быстро создавать проверку на бизнес-условия. Например, если бы у Авито были склады, то это позволило бы нам избежать условной ситуации, когда мы продали больше товаров, чем есть в наличии.

Чекеры помогли нам оперативно получать информацию об ошибках, но в какой-то момент стало сложно отслеживать и быстро фиксить их из-за большого объема. Количество витрин с каждым месяцем росло, при этом, мы тогда еще не определили зоны ответственности и не знали, кто и за что должен отвечать. Например, у нас был формальный оунер витрины, но не было понимания, что это действительно он должен исправлять баг.

Но на этом этапе мы поняли, что пора организовать процесс по другому и стали искать свои «слабые места».

Почему важно помнить, что не все ошибки в данных одинаковые и систематизировать их

В результате проб и ошибок мы выделили для себя несколько важных моментов, которые помогли улучшить весь рабочий процесс:

1. Все ошибки разные. Важно понимать, какие из них более срочные, чтобы решать их быстрее. Например, если совсем нет данных — это очень плохо. Если стрельнул чекер и просигналил, что две строки из миллиарда задублированы — это не всегда страшно.

Еще нужно помнить, что когда витрина загружается в хранилище, она проходит тесты. На следующий день состав данных может поменяться и джоины, которые были эффективны вчера, уже не эффективны. Владельцу нужно исправить это, чтобы поставка данных не задерживалась.

2. У всех витрин разный уровень важности. Вот, какие мы выделили:

Критичные. Витрины, на которых строится аналитика всей компании. Например, от них зависит половина хранилища или это отчеты с огромным количеством просмотров.

Важные. Например, это витрины, которые охватывают целую вертикаль. В Авито вертикалью считаются разделы — «Авто», «Недвижимость» и так далее. Просмотров у дашбордов, построенных на этих витринах, поменьше.

Стандартные. На эти витрины смотрит только несколько команд и собираются метрики.

Неважные. Например, я создал витрину и начал копить данные, чтобы использовать их в этом материале. Кроме меня ими никто пользоваться не будет, поэтому если вылезет баг, никто не обратит на него внимание.

С теорией мы разобрались — разметили витрины и баги в них по важности. Осталось самое главное — превратить все это в отлаженный рабочий процесс.

Как мы внедрили Zero Bug Policy и почему аналитики сначала с нами не согласились

Суть Zero Bug Policy заключается как раз сортировке багов, о которой я говорил выше. На какие-то из багов надо реагировать моментально, а на какие-то можно вообще забить.

Мы сделали матрицу, где указали ошибки, расставили приоритеты, например Р0 — самая критичная, Р4 — фигня. Тогда предполагалось, что исправлять баги будут ответственные за витрины аналитики.

В итоге через долгие переговоры пришли к более лайтовому решению и внесли важные дополнения в матрицу.

В первую очередь договорились, что если ошибка уровня Р0, то в помощь аналитикам выделяется data quality-инженер. Так мы пришли к взаимопониманию — ни одна из команд не окажется брошенной наедине с большим количеством багов. Кстати, на практике получилось так, что мы бегаем за аналитиками, которые показали большой уровень ответсвенности, и предлагаем свою помощь. Ребята, если вы это читаете, вы можете обращаться к нам!

Когда мы определились, что и как делать, перешли на стадию запуска и столкнулись с новыми сложностями.

Как мы нашли ответственных за витрины и актуализировали их

Вот так выглядит наш интерфейс по поиску витрин и их изучению.

В нем можно посмотреть, кто отвечает за каждую витрину. В этот момент выяснилось, что большинство ответственных за витрины сотрудников уволились, перевелись в другие отделы.

На следующем этапе начались еще и технические сложности. Оказалось, что даже если нашелся компетентный человек, который может взять на себя роль ответственного, просто вписать его имя в систему нельзя.

Для внесения изменений в витрине нужно сделать pull request в Git, после этого запускаются тесты, а минут через 20 начинают вылезать ошибки. В итоге пришлось воткнуть в систему опцию быстрой замены ответственного. А еще сделали полезный вывод — списки сотрудников, отвечающих за витрины, надо периодически проверять. Например, если человек уволился, то логично его витрину сразу перевесить на нового ответственного.

Еще мы поняли, что нужно вовремя актуализировать важность витрины, потому что от этого зависит скорость реагирования на баги. Бизнес может довольно быстро масштабироваться и потребности в аналитике, а значит и в определенных витринах, меняются. Этот процесс тоже нужно сделать автоматическим, потому что вручную контролировать такое количество данных сложно, и доверие к системе может пропасть, если что-то пойдет не так.

Почему важно трекать процесс исправления багов

Если у вас есть бесконечное количество посуды, то ее можно не мыть, а просто ставить в раковину после использования и в какой-то момент у вас станет очень грязно. В целом, можно сказать, что мы обнаружили у себя в системе «грязную посуду». Это были некритичные баги, которые глобально не влияли на работу всей платформы, но тем не менее, их нужно было устранить.

Из-за накопленного бэклога воодушевление у команды упало почти до нуля, а ведь нас всего три человека. Нужно было не только разобраться с багами, но и выстроить работу так, чтобы эта ситуация не повторялась в будущем.

Когда из огромной кучи мусора вытаскиваешь истинные проблемы, то не замечаешь, как ты наносишь пользу. Очень важно этот момент отслеживать и трекать. Команда будет мотивироваться, если увидит, как список проблем уменьшается. Кстати, стейкхолдерам, которые выделяют на это деньги, такие отчеты тоже нужно показывать.

У построения треков есть несколько нюансов. Вести список багов можно в Google или Яндекс-таблицах или, например в Jira. У меня есть ощущение, что Jira слишком тяжеловесная, чтобы быстро создавать в ней новые таски. Таблицы в свою очередь могут теряться или множиться с невероятной скоростью, что тоже неудобно.

Поэтому мы пошли третьим путем: создали свою простую систему и интегрировали ее с нашим Mattermost — служебным мессенджером. На этой основе мы начали строить свою аналитику: следили, как быстро мы разгребаем баги, где есть пробелы по SLA и так далее.

Там же мы смотрели метрику, чтобы понять, где есть повторы багов. Плохо, если один и тот же критичный баг прилетает несколько дней подряд. Со временем заметили, что стало лучше, в первую очередь потому, что мы сразу же бежали к коллегам-аналитикам и быстро все чинили.

Постепенно мы разобрались со всеми накопившимися багами, актуализировали витрины и теперь работаем только с новыми задачами. На это потребовалось пол года и три инженера.

Как выглядит рабочий процесс сейчас. Спойлер: все работает автоматически

Каждое утро в наш мессенджер приходит список проблемных витрин, где указан уровень бага, ответственные и так далее.

Раньше мы вручную создавали в системе запись, теперь это происходит автоматически.

Пользователю в публичный чат уходит уведомление, что есть ошибка. Дальше обсуждаем, кто и как это будет чинить. Затем, собственно, исправляем ошибку.

Допустим, на исправление ушло два дня. После этого нужно пересчитать данные «в прошлое», потому что мы с плохим кодом жили эти два дня и лили неправильные данные в хранилище. Сейчас процесс довольно простой: заходим в нашу систему по управлению данными, открываем калькулятор, выбираем витрину и дату, за которую делаем пересчет. Указываем, надо ли по зависимостям делать пересчет вниз или нет и все.

Несколько важных выводов, которые мы сделали в процессе работы

• Прежде, чем бороться с багами в данных, оцените текущие масштабы. Если у вас десять витрин и прилетает один баг в неделю, то все, о чем я говорил выше, вам пока не нужно. Но если бизнес растет, начните с внедрения метрик. Так вы будете знать, например какой ущерб наносится, как быстро вы реагируете на это. Это те моменты, которые в будущем придется прокачивать, и чем раньше вы соберете информацию, тем проще будет разбираться потом.
• Расставьте приоритеты по багам и витринам. Возможно у вас будет своя система, не такая, как в Авито. Но в любом случае есть смысл из сотни витрин выбрать те, что используются каждый день, и те, которые лежат до востребования.
• Согласуйте свои ожидания от запуска. Убедитесь, что ответственные сотрудники знают, что и как им нужно делать, а еще лучше, пропишите это в KPI.
• Измеряйте полученные результаты. Создайте метрики и корректируйте их по мере необходимости, чтобы рабочий процесс не буксовал и команда видела свои результаты в понятных графиках или списках.

Предыдущая статья: Архивная репликация в PostgreSQL: пошаговая инструкция

Разработчики выбирают Python для аналитики данных и машинного обучения из-за его гибкости, универсальности, низкого порога входа и силы комьюнити. Он позволяет интегрироваться с практически любой технологией, а также поддерживает мощные библиотеки, такие как Pandas, NumPy и Scikit-Learn. А еще язык постоянно развивается — не так давно разработчики выкатили новую версию 3.13, в которой сильно улучшилась производительность. Ниже рассказываем о топовых фреймворках и библиотеках, которые будут популярны в 2025 году.

Библиотеки для сложных вычислений

NumPy и SciPy

NumPy стала основой для большинства других библиотек, включая TensorFlow и PyTorch. Он используется для работы с массивами и числовыми данными. В машинном обучении почти каждый проект основан на эффективных математических функциях NumPy и точных операциях с массивами. И в плане векторов и многопоточности эта библиотека незаменима — на ней все держится.

Например, NVIDIA разрабатывает CUDA — платформу параллельных вычислений и модель программирования для работы на графических процессорах NVIDIA. CUDA Array Interface стандартизирует формат передачи массивов GPU между библиотеками без копирования данных. Так, CuPy реализует массивы NumPy на GPU NVIDIA с использованием CUDA, а Numba компилирует Python-код для GPU с прямой поддержкой массивов NumPy. Apache MXNet использует NDArray — аналог NumPy для GPU, ускоряющий работу моделей глубокого обучения. Это к слову о том, что NumPy уже стала стандартом.

Поверх NumPy можно использовать SciPy — она расширяет способности базовой модели для статистики и моделирования.

Pandas

Pandas — еще один базовый инструмент для работы с данными в Python, который остается в топе благодаря производительности (Панды отлично справляются с огромным количеством данных). Она, кстати, тоже используется поверх NumPy.

Возможно, в будущем мы увидим улучшение поддержки многопоточности и оптимизацию для работы с большими наборами данных — это сделает библиотеку ещё актуальнее.

Панды используют для подготовки данных во многих проектах — от финансового анализа до биоинформатики. Например, в здравоохранении с помощью Pandas анализируют электронные медицинские записи и прогнозируют эпидемии.

Dask

Dask используется для распределённых вычислений и параллельной обработки больших массивов данных. Он является топовым дополнением к Pandas в случаях, когда объемы данных превышают возможности оперативной памяти. В будущем всё больше компаний будут применять связку Pandas + Dask, чтобы масштабировать свои аналитические системы.

JAX

Новая селебрити в вычислениях от Google! JAX активно набирает популярность за счет своей способности ускорять численные расчеты и различать собственные функции Python и NumPy. Ожидается, что к 2025 году JAX будет активно применяться для статистического моделирования и разработки новых алгоритмов.

Топовые фреймворки для Machine и Deep Learning

TensorFlow — базовая база

TensorFlow от Google остается основным инструментом в машинном обучении благодаря своей мощной экосистеме, включающей компоненты для обучения, развертывания и мониторинга моделей. Сейчас он выделяется улучшенной интеграцией с облачными платформами (особенно с Google Cloud) и поддержкой edge-устройств — это упрощает развертывание моделей в разных средах.

Так, TensorFlow Lite позволяет запускать модели на мобильных устройствах, IoT-устройствах и микроконтроллерах — инструмент используют в приложениях для распознавания речи и обработки изображений в реальном времени, в том числе и на смартфонах. А в TensorFlow Extended (TFX) есть фичи для построения масштабируемых пайплайнов, таких как автоматическая настройка моделей (TensorFlow Model Analysis) и эффективное развертывание (TensorFlow Serving). Это особенно полезно для продакшн-сред.

PyTorch

PyTorch стал любимчиком в среде разработчиков из-за удобства динамических вычислительных графов и pythonic-подхода, что упрощает отладку и разработку. PyTorch известен тем, что предоставляет две из самых высокоуровневых функций — тензорные вычисления с мощным графическим ускорением и поддержку построения глубоких нейронных сетей на ленточной системе autograd.

Keras

Сейчас Keras максимально интегрирован с TensorFlow, поэтому порог входа в машинное и глубокое обучение становится все ниже. Его высокоуровневый API позволяет разработчикам создавать прототипы сложных нейронных сетей с минимальным количеством кода, сохраняя при этом возможность выполнять операции более низкого уровня.

Scikit-learn

Scikit-learn сохраняет статус универсального инструмента для классического машинного обучения. Простота использования, стабильный API и широкая документация делают его максимально подходящим для задач от классификации до сложных пайплайнов, с акцентом на интеграцию с фреймворками глубокого обучения. В последних обновлениях улучшилась поддержка многопоточности и ускорений на основе Cython, а значит, работа с большим наборами данных идет быстрее.

FastAI

Фреймворк основан на PyTorch и продолжает демократизировать глубокое обучение. Действительно инновационный трендовый инструмент, особенно в области компьютерного зрения и NLP-задач.

PyCharet

Эта low-code библиотека превратилась в большое комплексное решение для автоматизации задач AutoML. Подходит для тестирования гипотез или базовых моделей, которые можно улучшать по мере необходимости, а еще крута в прототипировании.

Ray

Это унифицированный фреймворк для распределенных вычислений. То, что нужно в машинном обучении.

Библиотеки для визуализации данных

Matplotlib

Основная библиотека для создания статических графиков. Отлично подходит для базовой визуализации, такой как линейные графики, столбчатые диаграммы, гистограммы и так далее.

Seaborn

Построена поверх Matplotlib и предлагает более стильные и готовые к использованию графики. Удобна для работы с табличными данными (например, из pandas DataFrame).

Подходит для визуализации распределений, тепловых карт, корреляций.

Plotly

Интерактивная библиотека, поддерживающая 2D и 3D-графики. Удобна для создания сложных визуализаций, которые можно использовать в веб-приложениях. Поддерживает интеграцию с Jupyter Notebook.

Bokeh

Еще одна интерактивная библиотека, подходящая для работы с большими наборами данных. Отлично работает с динамическими и веб-графиками.

Altair

Легкая и интуитивная библиотека, построенная на основе декларативных спецификаций. Удобна для быстрого создания сложных интерактивных графиков.

Yellowbrick

Расширяет возможности scikit-learn для визуализации моделей, метрик и диагностик. Включает визуализацию обучения, важности признаков и другие функции.

Mayavi

Для 3D-графики, особенно в научных и технических приложениях. Подходит для визуализации поверхностей, полей данных.

TensorBoard

Инструмент от Google для визуализации экспериментов TensorFlow. Удобен для анализа потерь, градиентов и обучения.

Библиотеки для NLP

Hugging Face Transformers

Библиотека Transformers произвела революцию в обработке естественного языка, сделав современные модели доступными для всех. Здесь и BERT, и GPT — в общем, благодаря ей внедрение инновационных технологий стало доступно как никогда.

NLTK и spaCy

NLTK предоставляет комплексные образовательные ресурсы и исследовательскую платформу, а spaCy фокусируется на производительности. Если применять их вместе, то библиотеки закроют весь пул потребностей в NLP — от академических исследований до промышленного применения.

Библиотеки для работы с медицинскими данными

Да-да, биотехнологии сейчас как никогда в тренде. И Python в них, можно сказать, впереди планеты всей. С помощью библиотек и фреймворков исследователи и разработчики могут анализировать сигналы мозга, строить прогнозы для пациентов и использовать AI для улучшения медицинской диагностики. Ниже — о них.

MNE

MNE — это незаменимый инструмент для работы с сигналами мозга, такими как магнитоэнцефалография (MEG) и электроэнцефалография (EEG). Он позволяет не только обрабатывать, но и визуализировать сложные временные ряды. Анализ данных мозга стал проще: загружаем файл, настраиваем фильтры и видим всё в наглядных графиках. Отличный выбор для нейрофизиологов и исследователей.

Nilearn

Nilearn делает анализ данных нейровизуализации, таких как fMRI, доступным даже для новичков. Построение тепловых карт активности мозга, изучение соединений и интеграция с машинным обучением через scikit-learn — всё это в одной библиотеке. Инструмент помогает мостить путь от простого анализа до сложных моделей ИИ.

MONAI

Если нужно внедрить глубокое обучение в медицинскую визуализацию, то MONAI — ваш выбор. Построенная на базе PyTorch, эта библиотека идеально подходит для задач сегментации и классификации медицинских изображений. Поддержка форматов DICOM и NIfTI и совместимость с ускорением на GPU делают её незаменимой для медицинских исследований и стартапов.

NiBabel

Когда нужно работать с нейровизуализационными данными и понимать все эти сложные форматы (NIfTI, MINC, Analyze), на помощь приходит NiBabel. Она помогает легко конвертировать и анализировать данные перед дальнейшей обработкой в Nilearn или MNE. Простота использования и мощный функционал — за это её любят исследователи.

Lifelines

Клинические исследования и прогнозирование событий, например, рецидивов или смертности, невозможны без анализа выживаемости. Lifelines предоставляет мощные инструменты для построения каплан-майеровских графиков и моделей Кокса. Простота синтаксиса и визуализация наглядных графиков делают её популярной среди медиков и биостатистиков.

Python в сфере Data Science популярен не просто так. Его применяют в реальных задачах — от анализа поведения пользователей до прогнозирования эпидемий. Инструменты Python делают сложные задачи проще и помогают бизнесу, науке и технологиям развиваться быстрее.

Опытные программисты говорят, что генераторы — это способ избавить оперативную память от избыточного потока информации и тем самым сэкономить ресурсы. Это сугубо прикладное решение, которое помогает разработчикам делать больше, тратя при этом меньше программных средств. Однако важно правильно пользоваться генераторами и знать о возможностях их практического применения.

Узнаем, что собой представляет генерация данных в Python, как используется этот инструмент и какие библиотеки применяются для работы с генераторами.

Основные области применения генерации данных

В языке Python генераторы — это специальные функции, предназначенные для создания итераторов, то есть объектов, которые используются для перебора некоторых последовательностей значений. В отличие от стандартных функций, генераторы могут «приостанавливать» работу с сохранением текущего состояния и при следующем вызове продолжать выполнение команды с того же места.

Такая функция нужна, чтобы обрабатывать огромные объемы информации, при этом не загружая все данные в память. Генераторы существенно экономят ресурсы компьютера и делают работу с данными более эффективной и быстрой.

Ключевое отличие генераторов от стандартных итерируемых объектов в использовании команды yield вместо return. Таким образом, функция с yield автоматически становится генератором. Когда разработчик вызывает такую функцию, она выполняется не в полном объеме, а возвращает объект каждый раз по мере новой генерации данных.

Понять работу генераторов проще на примерах. Если у вас есть файл, который весит десятки гигабайт, и в нем нужно найти и обработать строки, подходящие под определенное условие, или сравнить с данными другого большого файла, то генератор будет наиболее эффективным способом выполнить задачу.

Или другой пример. Нужно проанализировать почти бесконечный поток данных (показания счетчиков, котировки на бирже, сетевой трафик), рассчитать наступление вероятности конкретного события и вычислить математическую последовательность. Загрузить в компьютер такой объем данных нереально — для них просто не хватит оперативной памяти, а иногда и жесткого диска. Наиболее целесообразное решение в такой ситуации — обрабатывать данные частями, чтобы не перегружать процессор. Как раз для этого используются генераторы Python.

Где применяется генерация данных

• Тестирование программного обеспечения. Сложные программные продукты нуждаются в проверке перед запуском. Генерация тестовых данных используется для проверки функциональности программ.
• Машинное обучение. С помощью генерации синтетических данных выполняется обучение моделей и нейросетей.
• Анализ и визуализация данных. Посредством генераторов Python в ускоренном режиме подготавливаются данные для презентаций и демонстраций.
• Прототипирование. Генерация данных Python используется для первичной отладки макетов и черновых версих программных продуктов.

Генераторы — это инструменты, которые позволяют функциям возвращать последовательность полученных результатов вместо единственного значения. Такой способ идеален для создания итераторов.

Основные плюсы генераторов

• Существенная экономия памяти. Данные загружаются по мере необходимости, а не сплошным потоком, что позволяет без излишних затрат времени и оперативных ресурсов обрабатывать значительные объемы информации.
• Ленивая загрузка. Инструменты поддерживают ленивую загрузку, то есть генерируют значения исключительно при запросе, что на порядок ускоряет выполнение программ.
• Удобство. С помощью генераторов создают последовательности данных, используя минимальное количество строк кода, что делает их максимально удобными для практического применения.
• Управление потоком. Благодаря генераторам достигается максимальный контроль при исполнении программы, при этом сохраняется состояние функции, а управление передается коду. При следующем вызове программа исполняется с места, на котором она была приостановлена.

Для понимания работы генераторов важно усвоить концепцию ленивой загрузки. Она означает, что значения вычисляются и генерируются исключительно в тот момент, когда они нужны, а не загружаются предварительно целиком. Эта опция актуальна при работе с большими данными — она оптимизирует ресурсы и ускоряет процесс вычислений.

Вот один из примеров ленивой загрузки:

Здесь значения в диапазоне от 0 до 4 вычисляются и выводятся на экран в порядке очереди, но при этом в памяти компьютера не сохраняются. Значение генерируется только в момент запроса, а не автоматически. Такой алгоритм позволяет работать с огромными объемами данных, которые не загружаются целиком в память устройства.

Ленивые вычисления особенно ценны при работе с потенциально бесконечными последовательностями — числами Фибоначчи, потоками данных и другими. Если бы генераторов данных в Python не было, такие программы могли бы просто исчерпать память, после чего выполнение задачи было бы невозможно.

Библиотеки Python для генерации данных

Использование специальных библиотек, то есть файлов с готовыми шаблонами кода, существенно упрощает работу программистов. Такие пакеты создают, чтобы разработчики не набирали каждый раз заново с нуля одинаковый код. Достаточно выбрать нужный файл из конкретной библиотеки, открыть его, ввести свои значения и почти мгновенно получить результат.

Рассмотрим самые популярные библиотеки Python для генерации данных.

Faker

Библиотека используется для генерации фейковых текстовых данных с различной локализацией. Подходит для множества ситуаций — тестирования написанного года, заполнения баз данных, в том числе обширных, анонимизации данных.

Библиотеку Faker используют, когда требуется проверить функциональность приложения. Если это софт для работы с обширными базами данных пользователей, его нужно протестировать на практике. Но вводить реальную информацию в программу некорректно и небезопасно.

Поэтому разработчики пользуются «Фейкером». Эта библиотека генерирует в нужном количестве данные несуществующих пользователей — их имена и фамилии, даты рождения, номера телефонов, адреса и другую информацию. Синтетические данные создаются случайным образом каждый раз, когда пользователь запускает атрибут.

Faker поддерживается на Python в версии 3.7 и выше. Список данных, которые может сгенерировать программа, довольно велик, при этом каждый пункт имеет подпункты для дополнительных настроек. То есть фейковая информация, создаваемая этим инструментом, будет довольно детальная.

NumPy и SciPy

Это библиотеки для генерации числовой и статистической информации.

NumPy

Незаменимый инструмент для работы с числовыми значениями и сложной математикой, а также с векторами и матрицами. В библиотеке содержатся готовые способы применения различных математических операций — от расчета детерминанта и сингулярного разложения до решения квадратных уравнений. Значительно упрощает работу с многомерными массивами — в этом формате передаются данные для моделей в методах глубокого машинного обучения. По этой причине NumPy входит в базовый пул библиотек для работы с нейросетями.

SciPy

Библиотека основана на NumPy и существенно расширяет ее функционал. Здесь используется линейная алгебра и методы работы с распределением вероятностей, интегральными исчислениями, преобразованиями Фурье. SciPy предназначена для сложных математических вычислений, в ней огромное количество функций, которые используются для научного анализа. Библиотека расширяет функции NumPy и использует методы продвинутой математики.

В пакете программ есть функции для построения графиков и оперативной обработки изображений. При этом используются сложные и трудоемкие операции, которые довольно просто описываются в виде кода. SciPy можно использовать для обработки различных сигналов, в том числе фото и видео.

Pandas

Библиотека для обработки и анализирования структурированных баз данных, в том числе результатов исследований и вычислений, представленных в виде таблиц. Исходный код Pandas в открытом доступе есть на GitHub — пользователи могут самостоятельно дополнять способы обработки и делать обновления.

Pandas — эффективный инструмент для дата-сайентистов и аналитиков данных. С этой библиотекой специалисты могут группировать, обрабатывать, визуализировать массивы данных, создавать таблицы, распределять информацию по определенным признакам.

Библиотека успешно используется для маркетинговой, продуктовой, математической аналитики. Основное преимущество инструмента — возможность обработки больших данных для их дальнейшего использования в машинном обучении. «Пандас» поддерживает базовые статистические методики, используемые для работы с данными.

Scikit-Learn

Библиотека базируется на NumPy и SciPy, содержит алгоритмы для аналитической работы с информацией — кластеризации, распределения по классам, регрессии и других операций. Scikit-Learn используется также для машинного обучения.

По мнению экспертного сообщества, Scikit входит в число лучших библиотек для обработки огромных массивов данных. Ее используют такие сервисы, как Spotify, Evernote и другие. Генерация данных лежит в основе алгоритмов, с которыми работает этот пакет.

Область применения библиотеки:

• Рекомендательные системы. Сюда относится реклама, основанная на интересах пользователя, сервисы с музыкой, кино, книгами, которые предлагают наименования специально для конкретного посетителя.
• Распознавание текста и изображений. Система переводит в цифру текстовый формат и картинки.
• Прогнозирование. Алгоритмы предсказывают действия пользователей, финансовые колебания на бирже и другие события на основе существующих данных.
• Обработка результатов. Библиотека используется для анализа результатов научных, медицинских и прочих исследований.

Машинное обучение — это обширная отрасль с широкими перспективами. Scikit-Learn используется для тестирования моделей и совершенствования различных программных продуктов.

Mimesis

Высокопроизводительный генератор, альтернатива Faker. Обладает теми же базовыми функциями, но имеет дополнительный расширенный функционал. Библиотека используется для загрузки реалистичных фейковых данных в средах тестирования и разработки.

Примеры использования для различных задач

Генератор представляет собой объект, который не вычисляет значение сразу всех загруженных элементов, а действует последовательно. В его памяти хранится только последний элемент, при этом переход к следующему происходит только при выполнении метода next(). Предыдущее значение утрачивается.

Рассмотрим несколько конкретных примеров применения генерации данных на Python.

Faker

Начнем с библиотеки Faker. Она используется для тестирования кода, генерирования данных для тестирования программных продуктов, анонимизации.

Пример кода на Python выглядит следующим образом:

Пользователь импортирует библиотеку, объявляет генератор фейковых данных и помещает в переменную fake. Этот генератор создается с поддержкой русского языка, что указывается с помощью команды "ru_RU". На последней строчке появляется случайное ФИО.

NumPy

С помощью библиотеки NumPy можно задать генерацию случайных чисел. Делается это через модуль numpy.random. Код будет выглядеть следующим образом:

Такой код создает массивы из случайных данных.

Scikit-learn

Библиотека Scikit-learn генерирует достаточный объем данных для тестирования различных моделей с целью их обучения.

Например, функция sklearn.datasets.load_moscow () содержит условные данные о ценах на недвижимость в Москве. Матрица содержит 506 наблюдений и 13 столбцов.

Такой набор используется для многовариантной регрессии.

Советы по эффективному применению генерации данных

Генераторы в Питоне — не просто теоретические конструкции, но действенный инструмент для практического использования в реальных сценариях.

Функции и библиотеки для генерации используют для обработки огромных массивов информации. Например, если необходимо проверить объемный файл в формате CSV, можно применить генератор для его построчного чтения и последующей обработки. При этом загрузка файла в память не понадобится.

Применение генераторов будет полезно для видео-скрапинга — извлечения данных из веб-страниц и их анализа. Инструмент будет извлекать HTML-страницы поочередно, отбирая необходимые данные и отбрасывая ненужные. Такой способ позволяет работать с большими ресурсами без сбоев в системе, зависаний и остановок.

Генераторы незаменимы в сетевом программировании, например, когда требуется принять или отправить огромный поток данных. При взаимодействии с протоколами HTTP и другими можно запустить генератор, который будет получать данные из сети порционно и поэтапно с ними работать. Таким способом можно обойтись без буферизации памяти.

Актуально использование генераторов в разработке игры. С их помощью разрабатывается процедурный контент — например, ландшафты игрового мира, уровни или встречи с препятствиями. Генерируя контент в динамическом режиме по мере надобности, инструменты создают условно бесконечные либо случайные игровые элементы, тем самым обеспечивая полноценный геймплей.

Опытные разработчики советуют тщательно тестировать и отлаживать генераторы. Эти функции могут быть сложными для понимания в сравнении с обычным, поэтому важно уделять максимум вниманию проверке корректной работы инструментов. Рекомендуется применять тесты для проверки работы генераторов и понимания особенностей потока данных. Это поможет исправить возникающие проблемы.

Коротко про Python

Python — это язык программирования, известный своей простотой и читаемостью кода. Он популярен благодаря мощным библиотекам (Pandas, NumPy и Matplotlib), которые помогают эффективно обрабатывать данные, выполнять сложные вычисления и визуализировать результаты. Ещё Python используется для машинного обучения — с помощью библиотек Scikit-learn и TensorFlow.

Коротко про SQL

SQL— стандартный язык управления базами данных. Он используется для извлечения данных из баз данных по типу MySQL, PostgreSQL или SQLite. Знание SQL необходимо для работы с большими объёмами уже структурированных данных — от простых до сложных запросов.

Как эти инструменты дополняют друг друга

Python и SQL часто используются совместно в анализе данных. SQL применяется на начальном этапе работы для извлечения нужных датасетов из баз данных. Так специалисты получают доступ к необходимым данным без необходимости выгрузки больших массивов информации вручную.

Как только данные извлечены с помощью SQL, на помощь приходит Python. С его помощью можно легко преобразовать «сырые» данные в удобный формат для более глубокого анализа. Библиотеки помогают буквально очистить данные от шумов и пропущенных значений, проводить детальный анализ с использованием статистических методов или алгоритмов ML.

Почему Python стал стандартом для анализа данных

• Простота и хорошая читаемость. Python интуитивно понятен и лёгок в освоении, потому подходит для начинающих аналитиков данных.
• Самые разные библиотеки. NumPy, Pandas и Matplotlib позволяют проводить сложные вычисления и визуализацию данных практически без усилий.
• Сообщество и поддержка. Большое сообщество разработчиков поддерживает и развивает язык. А значит, существует много ресурсов для обучения, форумов поддержки и готовых решений для рядовых задач анализа данных.
• Универсальность. Python используется не только для анализа данных, но и в веб-разработке, научных исследованиях, ML и многом другом. Потому этот язык — универсальный инструмент для решения самых разных задач.

NumPy — библиотека для работы с многомерными массивами чисел, матрицами и выполнения высокоуровневых математических функций. Основной объект NumPy — это массив (numpy array). Библиотека позволяет выполнять операции над массивами целиком без использования циклов for, а это ускоряет работу.

Pandas даёт возможность работать с высокоуровневыми структурами (Series и DataFrame) для удобного хранения и работы. DataFrame — двумерная таблица с метками строк и столбцов, похожая на таблицы SQL или Excel. В Pandas легко фильтровать данные и группировать их по выбранным критериям.

Matplotlib — это основная библиотека для создания статических визуализаций. В библиотеке можно работать над визуализацией данных от простых линейных графиков до сложных диаграмм. Matplotlib легко интегрировать с другими инструментами Python (та же Pandas), а значит, можно создавать графики на основе уже обработанных данных.

SQL в управлении и извлечении данных из баз

Одной из ключевых фишек SQL является возможность извлечения нужных наборов данных на основании заданных критериев — особенно важно для аналитиков, которым нужно «вытащить» информацию из больших массивов данных. А ещё с помощью SQL можно проводить агрегации, сортировки и фильтрации. Так легко подготовить данные для дальнейшего анализа и/или визуализации.

В SQL много команд для работы с данными:

• SELECT используется для выборки данных из одной или нескольких таблиц с указанием конкретных столбцов и условий;
• WHERE для указания условий фильтрации записей в тандеме с SELECT. С помощью WHERE можно ограничивать результаты запроса только теми данными, которые соответствуют заданным критериям.
• JOIN используется для объединения строк из двух или более таблиц на основе логической связи. С помощью JOIN можно комбинировать данные из разных источников в одном запросе;
• GROUP BY применяется для группировки строк по указанным столбцам. Поможет при подсчёте среднего значения или суммы;
• ORDER BY помогает сортировать результаты запроса по одному или нескольким столбцам как в возрастающем (ASC), так и убывающем (DESC) порядке.

Что изучать первым?

Оба языка имеют свои особенности и применяются для самых разных задач в работе с данными. В первую очередь нужно понять, какой из языков изучать первым. И это зависит от ваших задач и целей.

При выборе между Python и SQL стоит учитывать:

• Цели. Если ваша цель — научиться строить модели для ML или проводить глубокий анализ данных с визуализацией, лучше начать именно с Python. Если же ваша цель — извлечение и обработка больших объёмов данных из баз данных, разумнее будет начать с SQL.
• Структуру данных. Если вы планируете работать преимущественно таблицами, то на первых порах лучше уйти в освоение SQL.
• Глубину анализа. Для более сложных аналитических задач, требующих написания алгоритмов или автоматизации процессов обработки данных, подойдёт Python благодаря большому количество библиотек, доступных для работы.

Если вы решили начать с Python:

1. Изучите основы языка — переменные, условные операторы, циклы и функции;
2. Узнайте больше о ключевых библиотеках для анализа данных — Pandas (для работы с таблицами), NumPy (для числовых операций) и Matplotlib (для визуализации);
3. Пробуйте реализовать простые проекты и задачи по анализу реальных данных для закрепления теории: это могут быть и простые задачи по анализу продаж, и проекты по аналитике данных покупателей. Главное здесь — это пробовать и закреплять теорию на практике!

Если вы решили начать с SQL:

1. Освойте основные команды SELECT, INSERT, UPDATE и DELETE;
2. Научитесь использовать WHERE для фильтрации результатов запросов и ORDER BY для их сортировки;
3. Изучите функции COUNT(), SUM(), AVG() и другие функции для создания сводки информации;
4. Изучите основы JOIN-операций для объединения нескольких таблиц на основе общих полей.

Python + SQL

Совместное использование Python и SQL — по-настоящему сильный инструмент для аналитики, который позволяет объединить возможности программирования и работы с базами данных.

SQL идеально подходит для извлечения данных из таблиц, а Python хорош своей гибкостью в обработке и анализе полученных с помощью SQL данных. Ещё Python используют для написания скриптов, которые выполняют SQL-запросы к базе данных. Так можно легко автоматизировать процесс извлечения данных и дальнейшей обработки их в Python.

Используйте библиотеку Pandas для взаимодействия с базами данных через системы по типу SQLAlchemy и другими ORM. SQLAlchemy — популярная библиотека, которая даёт пользователям набор высокоуровневых интерфейсов для работы с базами данных в Python. Она поддерживает разные системы управления баз данными и помогает взаимодействовать с ними более эффективно.

Разбор кейса использования Python и SQL для решения реальной задачи аналитики

Дано: компания занимается e-commerce и стремится улучшить свою маркетинговую стратегию на основе анализа покупательских данных. Цель: определение сегментов пользователей, которые приносят наибольший доход, и выявление факторов, влияющих на их поведение.

Шаг 1 — сбор данных

Здесь используем SQL для извлечения данных из базы компании. Например, таблицы с информацией о клиентах и их транзакциях могут выглядеть так:

Здесь мы объединяем таблицы customers и transactions, получая полную информацию о каждой покупке.

Шаг 2 — анализ данных

После извлечения данных с помощью SQL, используем Python для их анализа. Здесь пригодятся библиотеки Pandas и Matplotlib для обработки и визуализации информации:

Загрузка данных из SQL-запроса в DataFrame Pandas:

Группировка по пользователям и расчёт общего дохода:

Визуализация распределения дохода по пользователям:

Здесь мы видим распределение доходов по пользователям и определяем ключевые сегменты клиентов.

Шаг 3 — прогнозирование и стратегия

Используя библиотеки Python для машинного обучения (например, Scikit-learn), можно создать модель прогнозирования вероятности дополнительных покупок или ухода клиента:

Подготовка данных для модели — признаки и целевая переменная:

Разделение на обучающую и тестовую выборки:

Обучение модели классификации:

Оценка точности модели на тестовых данных:

Так мы можем определить вероятных «ушедших» клиентов, равно как и тех, кто может совершить повторную покупку.

Ресурсы для обучения

Сейчас на рынке онлайн-обучения доступно великое множество онлайн-курсов, книг и других материалов, способных помочь как начинающим, так и опытным специалистам.

Онлайн-курсы:

1. Coursera — например, курс «Python for Everybody» от университета Мичигана поможет изучить основы программирования на Python с акцентом на работу с данными;
2. В edX можно найти курсы по SQL от университетов Гарвард или MIT. Курс «Introduction to SQL» поможет освоить базовые принципы работы с базами данных;
3. DataCamp специализируется на обучении работе с данными и предлагает интерактивные курсы по Python и SQL.

Книги:

1. «Python для анализа данных» Уэса МакКинни подходит для тех, кто хочет освоить Python именно в контексте анализа данных;
2. 9-ое издание «SQL для чайников» Аллена Тейлора — простое введение в мир SQL поможет новичкам быстро понять основы работы с базами данных;
3. «Изучаем Python» Марка Лутца — одно из самых популярных пособий для начинающих.

Ещё материалы:

1. YouTube-каналы. Например, на канале Corey Schafer есть много полезных и практических видео по Python;
2. Stack Overflow — хорошая площадка для поиска ответов на специфические вопросы по программированию;
3. Изучение официальной документации к языкам и библиотекам (например, юзер гайд по Pandas или алфавитный список вопрос по SQLite) поможет расширить знания.

В заключение

В современном мире аналитики данных владение и Python, и SQL одинаково важны и нужны для обработки и визуализации информации. Python поможет проанализировать большие объёмы неструктурированных данных с помощью библиотек по типу Pandas и NumPy, а SQL поможет извлечь информацию из таблиц.

Работая одновременно с Python и SQL, можно не только эффективно обрабатывать данные из разных источников, но и извлекать из них полезные выводы для принятия решений на основе сухих фактов: сколько заказов было сделано, сколько отменено, как ведут себя пользователи.

Начав изучение с одного языка и постепенно переходя к другому, вы только укрепите свои позиции как аналитик данных и сможете лучше и эффективнее работать.

Apache Hadoop — это платформа для хранения и работы с большими объемами данных. Ее преимущество заключается в распределении вычислений между множеством узлов. Hadoop разбивает большую задачу на много маленьких и решает их одновременно на разных компьютерах.

Основные компоненты фреймворка:

• Hadoop Distributed File System (HDFS) — файловая система для хранения больших данных с потоковым доступом. HDFS оптимизирована под работу с файлами до десятков терабайт, а кластеры могут хранить петабайты информации.
• MapReduce — модель для обработки записей из HDFS. MapReduce разбивает задачу на две фазы. На этапе «Map» данные обрабатываются параллельно на разных узлах кластера, а на этапе «Reduce» результаты объединяются.
• Yet Another Resource Negotiator (YARN) — система управления ресурсами кластера и планирования задач. YARN расширяет возможности Hadoop и поддерживает другие модели обработки помимо MapReduce — Spark, Flink.

HDFS, MapReduce и YARN образуют основу Hadoop, обеспечивая хранение, обработку и управление ресурсами соответственно.

Hadoop используют для анализа логов пользователей, чтобы, например, улучшить таргетирование рекламы. Онлайн-ритейлеры применяют Hadoop для рекомендаций товаров на основе истории покупок и просмотров. Распределенная система также применяется в банковской сфере для обработки транзакций.

Преимущества Hadoop

Масштабируемость. Систему Hadoop можно расширять до тысяч узлов. Компании наращивают вычислительные мощности по мере роста объемов данных.

Экономия. Дешевые сервера на базе Hadoop объединяются в мощный вычислительный кластер. Компании используют Hadoop, чтобы не инвестировать в дорогостоящее оборудование.

Отказоустойчивость. Благодаря распределенной архитектуре и автоматической репликации Hadoop работает даже при отказе отдельных узлов кластера.

Гибкость. Hadoop применяется в проектах со структурированными и неструктурированными данными.

Что такое Apache Spark?

Apache Spark — это система распределенных вычислений. Она используется для преодоления ограничений Hadoop MapReduce и интегрируется поверх HDFS.

Spark до 100 раз быстрее Hadoop MapReduce благодаря обработке данных в памяти. Также Spark предоставляет API на Java, Scala, Python. Еще поддерживаются пакетная обработка, интерактивные запросы, потоковая обработка и машинное обучение.

Компоненты Apache Spark:

• Spark Core — движок для распределенной обработки больших данных. Включает в себя API для работы с Resilient Distributed Datasets (RDD) — основной абстракцией данных в Spark.
• Spark SQL — модуль для работы со структурированными данными, поддерживающий SQL-запросы.
• Spark Streaming — компонент для обработки потоковых данных в реальном времени.
• MLlib — библиотека машинного обучения с алгоритмами для классификации, регрессии, кластеризации и фильтрации данных.
• GraphX — движок для визуализации данных на графиках.

Преимущества Spark

Скорость. Spark быстрее Hadoop. Производительность заметна при интерактивной обработке информации и задачах с низкой задержкой.

Отказоустойчивость. Как и Hadoop, Spark устойчив к сбоям за счет распределенного хранения и обработки информации.

Универсальность. Spark подходит для разных видов обработки информации: пакетной, потоковой, SQL-запросов, машинного обучения и графовых алгоритмов.

Интерактивность. Благодаря производительности, с помощью Спарка можно анализировать информацию в реальном времени.

Hadoop vs Spark: сравнение и различия

Оба инструмента предназначены для работы с массивами информации, но их подходы и возможности существенно различаются.

Производительность

Hadoop был создан как решение для распределенной обработки информации, позволяющее разделить нагрузку между множеством серверов. Spark же появился позже как ответ на ограничения Hadoop, предлагая более быструю и гибкую альтернативу пакетной обработке.

Hadoop эффективен для пакетной обработки больших данных, но не отличается высокой скоростью из-за постоянного обращения к внешнему хранилищу. Это делает его подходящим для задач, не требующих мгновенного отклика, например, для анализа ежемесячных отчетов.

Спарк ориентирован на обработку в реальном времени. Он копирует информацию в оперативную память, что значительно ускоряет процесс. Такой подход позволяет Spark превосходить Hadoop как в простых, так и в сложных операциях.

Hadoop:

1. Записывает промежуточные результаты на диск, что замедляет выполнение задачи.
2. Эффективен для пакетной обработки, когда время выполнения не критично.
3. Предпочтительнее для обработки данных, которые не помещаются в память кластера.

Spark:

1. Хранит промежуточные результаты в памяти, минимизируя операции ввода-вывода.
2. Использует направленный ациклический граф (DAG) для оптимизации задач.
3. До 100 раз быстрее Hadoop MapReduce, когда данные помещаются в память.

Программные модели

Основа Hadoop — собственная распределенная файловая система HDFS, которая разбивает массивы данных на мелкие блоки и распределяет их по кластеру. Спарк не имеет встроенной файловой системы, поэтому использует HDFS Hadoop для хранения и управления базой.

Hadoop:

1. Двухэтапная модель map и reduce.
2. Сложно реализовывать алгоритмы с несколькими этапами обработки данных.

Spark:

1. Более гибкая модель с использованием Resilient Distributed Datasets (RDD) и DataFrame API.
2. Поддерживает функциональное программирование, что упрощает написание итеративных алгоритмов.

Hadoop изначально разрабатывался с учетом высоких требований к безопасности и включает функции шифрования и контроля доступа. Spark имеет ограниченные встроенные механизмы защиты и требует дополнительных мер безопасности при развертывании.

Поддержка различных типов данных и возможностей машинного обучения

Функционал Spark в обработке данных гораздо шире, чем у Hadoop.

Hadoop:

1. Поддержка структурированных данных через Hive.
2. Обработка неструктурированных данных через MapReduce.
3. Ограниченная поддержка потоковых данных.
4. Ограниченная поддержка графовых данных.
5. Работа с CSV, JSON через Hive.
6. Нет встроенной библиотеки машинного обучения.
7. Ограниченный набор алгоритмов ML через внешние инструменты.
8. Ограниченные возможности интерактивного анализа данных.
9. Обработка текста через MapReduce.
10. Ограниченные возможности анализа графов.
11. Проблемы с реализацией алгоритмов машинного обучения.

Spark:

1. Поддержка структурированных данных через Spark SQL.
2. Обработка неструктурированных данных через RDD API.
3. Полная поддержка потоковых данных через Spark Streaming.
4. Полная поддержка графовых данных через GraphX.
5. Работа с CSV, JSON, Parquet и другими форматами через Spark SQL.
6. Встроенная библиотека машинного обучения MLlib.
7. Широкий набор алгоритмов ML в MLlib.
8. Широкие возможности интерактивного анализа через Spark Shell.
9. Обработка текста через RDD API и MLlib.
10. Реализованы алгоритмы PageRank, Connected Components, Shortest Paths.
11. Относительно простая реализация сложных алгоритмов ML.

Интеграция Hadoop и Spark

Платформы интегрируются вместе на проектах, где необходимо хранить данные долговременно и быстро их обрабатывать:

• HDFS используется как основное файловое хранилище, предоставляя масштабируемую инфраструктуру для хранения информации.
• Spark обрабатывает и трансформирует данные в реальном времени.
• YARN распределяет вычислительные мощности между платформами.

Расширить функционал системы можно при помощи следующих инструментов:

• Apache Hive — позволяет выполнять SQL-подобные запросы к данным, хранящимся в HDFS, используя Спарк в качестве движка.
• Apache Kafka — система обмена сообщениями, часто используемая вместе со Spark Streaming для обработки в реальном времени.
• Apache HBase — NoSQL на основе HDFS, которая может быть использована совместно со Спарком для быстрого доступа к данным.

Чтобы выбрать оптимальную архитектуру системы и компоненты, нужно определить требования и цели проекта. Например, если требуется обрабатывать потоковые данные, то помимо Hadoop и Spark понадобиться Apache Kafka.

Следующий этап — планирование инфраструктуры. Необходимо рассчитать объемы данных, которые будут храниться в HDFS, и спроектировать кластер. Нужно выделить достаточно ресурсов для процессов Спарка, учитывая пиковые нагрузки.

Шаг 1. Определите источники данных и их характеристики

Составьте список всех источников данных, которые будут загружаться в HDFS. Для каждого источника выясните:

• формат (CSV, JSON, Avro, текстовые логи),
• частоту поступления (раз в час/день/неделю, непрерывный поток),
• объем, поступающий за один период,
• ожидаемый рост в будущем.

Пример:

Есть 3 источника данных об активности пользователей на сайте, о покупках и логи сервера приложений. Данные поступают каждый день в формате JSON, со средним объемом 5 ГБ, 10 ГБ и 20 ГБ соответственно. Ожидаемый ежегодный прирост — 20%.

Шаг 2. Определите время хранения данных

Решите, как долго хранить каждый тип данных, исходя из требований бизнеса. Иногда достаточно хранить только свежие данные за последний месяц.

Пример:

Решили хранить данные об активности и покупках за последние 2 года, а логи сервера — за 6 месяцев.

Шаг 3. Рассчитайте общий объем сырых данных

Для каждого источника рассчитайте ожидаемый объем данных за требуемый период хранения. Учитывайте ожидаемый рост.

Пример:

• Активность: 5 ГБ × 365 дней × 2 года × 1.2 (прирост 20% в год) = 4.38 ТБ
• Покупки: 10 ГБ × 365 дней × 2 года × 1.2 = 8.76 ТБ
• Логи: 20 ГБ × 182 дня × 1.1 (за полгода прирост около 10%) = 4 ТБ
• Итого сырых данных: 4.38 + 8.76 + 4 = 17.14 ТБ

Шаг 4. Учтите репликацию

По умолчанию HDFS хранит 3 копии каждого блока данных для обеспечения отказоустойчивости. Поэтому оценку объёма данных нужно умножить на коэффициент репликации.

Пример:

С учетом репликации потребуется 17.14 ТБ × 3 = 51.42 ТБ

Шаг 5. Добавьте пространство для промежуточных данных

В процессе обработки данных в Hadoop создаются временные файлы, результаты ETL-процессов, агрегаты. Нужно зарезервировать под них дополнительное пространство — обычно 20-30% от объема сырых данных.

Пример:

Добавляем 30% к оценке: 51.42 ТБ × 1.3 = 66.85 ТБ

Шаг 6. Спланируйте разделение по папкам

Для удобства управления данными в HDFS их нужно разделить по папкам — например, по типам, по бизнес-доменам. Примерная структура:

• /data/raw/,
• /data/processed/,
• /data/tmp/,
• /user/,
• /apps/.

Это позволит выставлять разные политики хранения для разных типов данных, ограничивать права доступа.

В HDFS планируется разместить около 66.85 ТБ данных с учетом двухлетнего срока хранения, ожидаемого роста, репликации и промежуточных сведений. На основе этой оценки можно принимать решения о конфигурации кластера. В реальных проектах могут быть и другие факторы, влияющие на расчеты — например, сжатие больших данных, нагрузка на кластер.

Пример проекта с большими данными на Hadoop и Spark

Предположим, что есть большой набор данных о продажах в сети розничных магазинов. Наша задача — проанализировать собранные сведения, чтобы получить бизнес-инсайты. Будем использовать HDFS для хранения информации, а Spark — для их обработки.

Сначала загрузим датасет в HDFS. Информация о продажах содержится в CSV-файле sales_data.csv. Загрузим его в HDFS с помощью bash-команды:

Пример кода на PySpark для анализа данных из sales_data.csv:

Скрипт создает сессию Spark с конфигурацией для работы с HDFS, читает данные из CSV-файла. Далее запускается 3 вида анализа:

• Расчет общих продаж по категориям товаров.
• Определение средней цены продукта по брендам.
• Выявление ТОП-5 продуктов по количеству продаж.

В конце скрипт выводит результаты анализа на экран и сохраняет их в HDFS в формате CSV.

Заключение

Hadoop и Spark открывают огромные возможности для работы с большими данными, но их внедрение — это непросто. Каждый проект уникален, и опыт использования этих технологий может сильно различаться.

А вы уже использовали Hadoop и Spark на своих проектах?

Поделитесь опытом в комментариях:

• Какие задачи вы решали с помощью этих инструментов?
• С какими трудностями столкнулись при внедрении?
• Какие недостатки обнаружили?

Ваши истории будут очень полезны для тех, кто только начинает изучать Hadoop и Spark.

Если вы только-только начали изучать способы хранения, знания JSON можно освежить здесь.

Способ первый: параллельная обработка

Классическое решение, задействующее навыки параллелизации. К примеру, если признак name каждого элемента требует обновления:

Мы можем задать две функции. Первая из них добавляет значению name префикс Test:

А вторая пушит обновление:

В итоге мы распараллеливаем запуск этих функций с помощью asyncio:

Способ второй: пакетная обработка в binary

В комьюнити Hadoop и Spark (для хранения больших данных) особое признание обрел формат Parquet. Когда речь идет об огромных объемах информации, удобство ее обработки превалирует над читаемостью. Здесь вообще рекомендую избегать подключения pandas и перевода в человекочитаемый формат в промежутке.

Такой код:

1. «Заморозит» вашу программу, если файл слишком большой;
2. Не учитывает массивы с меняющейся структурой.

А до этого RAM вообще может закончится на шаге конвертации JSON в датафрейм.

В такой ситуации поможет библиотека ijson:

К примеру, конверсия кортежа в binary:

Превратит числа вот в такую компактную и быстродейственную абракадабру:

Способ третий: перейти в другой формат

На курсах повышения квалификации нашу группу познакомили с Redis — альтернативой классическим базам вроде PostgreSQL. Так здорово осознавать, что до тебя немало людей уже отстрадались на ниве JSON и даже создали целое решение, «бьющее» самые распространенные проблемы — разнородность элементов массива, вложенные узлы.

Представьте, сколько энергии потребуется даже с ChatGPT, чтобы написать скрипт на Python, который «схлопнет» до табличного состояния данные кандидатов ниже?

Пару лет назад я занималась подобным перед загрузкой логов бота в BigQuery (SQL-подобная база), а потом была вынуждена обрабатывать ситуацию «забытых» полей (они проявлялись реже, чем раз в неделю, на которой опробовали скрипт выгрузки). Это приводило к необходимости обновлять схему таблицы, заниматься перезаливом и в целом фрустрироваться ситуацией.

Теперь понимаю: лучший способ сократить мороку при обращении с массивами — отойти от формата строго заданной структуры как можно раньше. Redis буквально создан для этого. В подгружаемом массиве через месяц появился экземпляр кандидата с новым полем portfolio? «Редиска» положит к себе и такое, причем без множественных ошибок. Захотите в дальнейшем использовать данные таблично? Вычитайте сет с помощью самописной функции:

И что немаловажно, данные хранятся в оперативной памяти сервера, что ускоряет обращение с ними, даже в случае с большими порциями. Если ваша компания, конечно, не испытывает проблем с масштабируемостью.

Приятный бонус: логика сета (это аналог таблицы в базе) подразумевает уникальные значения. То есть очистка от повторений будет произведена автоматически. И тут ощущаются спасенные человекочасы.

Многие провайдеры облачных серверов предлагают преднастроенный Redis, который за 5-10 минут встанет из-под Docker-контейнера, и цены на такие услуги стремятся к тем же минимумам, что и голый Ubuntu на миникалках (300 рублей в месяц против 130).

Среди недостатков «редиски» отмечу, что переход от таблиц к сетам может вызвать у разработчика с информационной перегрузкой дополнительный стресс: документация весьма непростая и перестроиться на нетабличное восприятие поначалу потребует много энергии. Но тут очень здорово помогает ChatGPT.

Заключение

Если вы дорасли до проектов с массивными объемами данных, это уже прекрасно. Порой стоит позволить себе наошибаться при обращении с ними, пока не подберете наилучшее для ситуации решение. ijson немного сложнее поддерживать, Redis плохо подходит новичкам, asyncio тоже не идеален. В каждом проекте свои тонкости — они и определят, какое из решений оптимальное.

О чём Дэниель говорит в ролике:

1. Данные играют ключевую роль в современном мире, и вокруг них строятся важные решения и планы.
2. Три основные профессии, связанные с данными, это: data scientist (специалист по данным), data analyst (аналитик данных) и data engineer (инженер по данным).
3. Data scientist использует статистику, машинное обучение и навыки программирования для анализа сложных данных, выявления тенденций и прогнозирования будущего.
4. Чтобы стать data scientist, необходимо овладеть продвинутой статистикой, машинным обучением и обработкой данных.
5. Data analyst собирает, очищает и анализирует данные, помогая бизнесу принимать обоснованные решения, и может начать карьеру с входного уровня.
6. Для работы data analyst важны знания в области статистики, умение работать с данными, моделирование и составление отчетов.
7. Data engineer отвечает за создание и управление системами, которые используют data scientists и analysts, обеспечивая сбор, хранение и анализ данных.
8. Для карьеры data engineer требуются технические навыки, знание API, понимание работы с данными и поддержание инфраструктуры данных.
9. Все три роли связаны с обработкой данных и их использованием, но каждая имеет свои уникальные задачи и навыки.
10. Эти профессии востребованы во многих отраслях, включая здравоохранение, технологии, электронную коммерцию и финансы.
11. Data scientists требуются более глубокие знания программирования и статистики, в то время как data analysts больше ориентированы на математику и бизнес, а data engineers – на компьютерные науки и инженерию.
12. Выбор между этими профессиями зависит от личных навыков и интересов, и важно обладать аналитическими способностями и умением решать проблемы.
13. Коммуникативные навыки также критичны для представления результатов анализа руководству.
14. Существует множество онлайн-ресурсов и курсов для обучения data science, data analytics и data engineering.
15. Заработная плата специалистов по данным в США варьируется: data analysts зарабатывают более $120,000 в год, data scientists – до $190,000, а data engineers – около $190,000, при этом фрилансеры в этих областях имеют различные ставки в час.

Ниже — транскрибированный перевод ролика на русском языке.

Хорошо, давайте поговорим о чем-то важном – о данных. В современном мире все вращается вокруг них.

Любое умное решение или план сводится к цифрам. В настоящее время существуют три основных профессии, связанные с данными – data scientist, data analyst и data engineer. Но в чем их различия и какие навыки нужны, чтобы стать одним из них? Меня зовут Даниэль, и сегодня мы собираемся погрузиться в каждую из этих профессий и выяснить, что делает их уникальными? И если вы хотите узнать больше о этих профессиях и навыках, которые они включают, я оставил несколько полезных ссылок в описании.

Не стесняйтесь посмотреть их после просмотра этого видео. Ладно, люди, приступим. Data scientist против data analyst против data engineer. Кто они? Чаще всего я замечаю, что люди не очень уверены, в чем заключаются эти профессии. Некоторые даже думают, что они все одинаковые.

Но это не так, ребята. Поэтому прежде чем сравнивать эти три роли, давайте что-то проясним. Что это за профессии и какие задачи они включают?

Data scientists

Эта профессия занимается изучением сложных цифровых данных, расшифровкой их сложностей. Они используют статистику, машинное обучение и навыки программирования, чтобы понять, что данные пытаются нам сообщить. Это похоже на решение головоломок в данных, выявление тенденций и прогнозирование будущих событий.

Теперь вы можете спросить, что мне нужно, чтобы получить эту роль? Ну, подумайте о том, чтобы получить опыт и овладеть навыками, такими как продвинутая статистика, машинное обучение и обработка данных. Основные задачи для этой роли обычно включают очистку беспорядочных данных, работу с моделями машинного обучения, выявление тенденций в данных, делание прогнозов и докладывание о своих открытиях своему руководству. Хорошо, теперь давайте посмотрим на data analysts. Ребята, если вы планируете работать с данными и хотите начать с начального уровня, data analyst – это ваш выбор.

Data analysts

Data analysts собирают, очищают и анализируют данные, чтобы помочь бизнесу принимать умные решения. Представьте их как рассказчиков, которые превращают данные в понятные отчеты и красивые визуализации. И если вы хотите стать data analyst, вам нужно всего лишь бакалаврский диплом и хорошее понимание статистики. Но на самом деле, ребята, сегодня формальное образование не является обязательным. Потому что важнее ваши навыки. Просто убедитесь, что у вас есть некоторые знания о работе с данными, моделировании и отчетности.

И вы в порядке. Понимание бизнес-аспектов было бы большим плюсом. Вот что обычно делают data analysts. Сбор данных из разных источников. Очистка и организация данных.

Анализ данных для выявления тенденций. Создание отчетов и визуализаций и деление своих результатов с другими. Наконец, давайте поговорим о data engineers.

Data engineers

Data engineer настраивает и управляет системами для data scientists и analysts.

Они являются архитекторами за кулисами. Они убеждаются, что данные собираются, хранятся и анализируются без сбоев. Их работа включает создание и управление потоками данных, обеспечение безопасного и эффективного хранения данных. Так что, чтобы стать data engineer, у вас обычно есть два варианта. Получить степень магистра в области данных, получить опыт работы и вырасти из data analyst. Некоторые ключевые навыки, которые вам понадобятся, это хорошее техническое понимание, умение создавать и использовать API и понимание потоков данных и обеспечение их бесперебойной работы.

Задачи data engineering обычно включают управление потоками данных, обеспечение безопасного и организованного хранения данных, обеспечение качества данных и поддержание инфраструктуры данных. Так что, ребята, как вы видите, некоторые повседневные задачи, которые выполняют эти профессионалы, похожи. Конечно, есть определенное пересечение.

Нет сюрприза. Все эти роли связаны с работой с данными и деланием их полезными. Еще одна важная вещь, которую я хотел бы добавить, это то, что эти роли востребованы во многих отраслях. Например, сферы, такие как здравоохранение, технологии, электронная коммерция и финансы, нуждаются в компетентных data scientists, analysts и engineers. Ладно, теперь вы знаете, чем занимаются data scientists, data analysts и data engineers.

Навыки для всех трёх профессий

Теперь давайте ближе рассмотрим эти роли, чтобы увидеть, какие навыки им нужны для работы. Data scientists и data analysts имеют много общих навыков, но data scientists углубляются глубже. Они могут создавать базы данных и объединять информацию из различных источников.

Ребята, важно помнить, что в отличие от data analysts, data scientists нужны продвинутые навыки программирования, им нужно хорошо понимать языки программирования, такие как Python, C++ или Java, плюс некоторая экспертиза в SQL. Другие навыки data scientists включают машинное обучение и глубокое обучение, data mining, Apache Spark, Apache Hive, Apache Peak и Hadoop, визуализацию данных и бизнес-аналитику. Data analysts.

Вот суть, ребята. Аналитики данных приходят из самых разных сфер. Традиционно аналитик данных может иметь степень в математике или информатике, но в наши дни они могут приходить из любой области, которая имеет дело с цифрами, включая бизнес или естественные науки, поэтому становление аналитиком данных не строго привязано к определенному образованию, это скорее о ваших навыках работы с данными и их интерпретации, поэтому если вы планируете стать аналитиком данных, вам может захотеться изучить навыки, такие как хранение данных, базовое программирование, скриптование и статистика, базы данных и SQL, Excel и инструменты визуализации данных.

Ладно, люди, а теперь давайте поговорим о навыках, необходимых для становления инженером данных. Инженеры данных. Они похожи на архитекторов и хранителей мира данных. Их основная работа связана со системами баз данных. Исходя из этого, их набор навыков включает продвинутое программирование, хранение данных и ELT, глубокие знания систем баз данных, Hadoop, MapReduce, Hive, поток данных и архитектуру данных с созданием конвейеров. Я знаю, друзья, до сих пор мы видели много сходств между этими тремя профессиями. Но теперь давайте поговорим о том, что делает их уникальными.

В чём отличия между специалистами

Различия. Хорошо, давайте разберем различия между учеными по данным, аналитиками данных и инженерами данных. Ученые по данным похожи на решателей проблем в мире данных. Они погружаются в сложные вопросы и используют данные для прогнозирования. Аналитики данных – это детективы данных. Они собирают, очищают и анализируют данные, чтобы помочь бизнесу принимать более умные решения. Инженеры данных – это технические строители. Они создают и поддерживают системы, которыми пользуются ученые по данным и аналитики для работы с данными.

В дополнение к этому, есть некоторые дополнительные детали. Ученые по данным склонны к статистике и машинному обучению. Аналитики склонны к математике и бизнесу. А инженеры имеют крепкий фундамент в информатике и инженерии.

Итак, как вы можете видеть, друзья, у каждой роли есть свои суперспособности в мире данных. Как выбрать? Хорошо, эти работы имеют много общего. Они все имеют дело с данными и цифрами. Но вы можете спросить, какую из них выбрать? Ну, друзья, выбор правильной роли зависит от ваших навыков и интересов. Если вы любите использовать данные для решения проблем и прогнозирования, выбирайте ученого по данным. Если вам нравится копаться в данных, чтобы помочь бизнесу принимать умные решения, выбирайте аналитика данных. Для тех, кто любит идею создания и поддержания систем данных, выбор – инженер данных. Тем не менее, не забывайте, друзья, что независимо от выбора, сильные аналитические и проблемные навыки играют важную роль. И, конечно, не забывайте о своих навыках коммуникации.

Потому что умение объяснять и представлять свои результаты руководству критично. Сегодня существует множество ресурсов онлайн для изучения науки о данных, анализа или инженерии. И существует множество курсов и программ сертификации, которые могут предложить ценные знания. Я рассмотрел многие из них на своем канале, так что не стесняйтесь заглянуть. Кроме того, я сделал три отдельных видеоролика о путях в науку о данных, аналитику данных и инженерию данных.

Разница в зарплатах

Вы также можете найти их на моем канале. Ладно, а теперь давайте поговорим о деньгах. Если мы посмотрим на данные, предоставленные Indeed, опытные внутренние аналитики данных в Соединенных Штатах могут зарабатывать более 120 000 долларов в год. Ученый по данным может зарабатывать до 190 000 долларов в год. И инженер данных зарабатывает примерно столько же, сколько ученый по данным, около 190 000 долларов.

Теперь, если речь идет о фрилансерах, аналитики данных могут зарабатывать от 36 до 45 долларов в час. Фрилансеры-ученые по данным зарабатывают от 25 до 50 долларов в час. И зарплата фрилансеров-инженеров данных составляет около 48-64 долларов в час.

Итак, как вы видите, друзья, ученые по данным и инженеры данных обычно зарабатывают больше, чем аналитики данных. Это потому, что им требуются более серьезные технические навыки. Ладно, люди, это завершает наше сравнение между аналитиком данных, ученым по данным и инженером данных. Не стесняйтесь делиться своими мыслями в комментариях. И если вы хотите улучшить свои навыки в области анализа данных, науки о данных или инженерии данных, я подготовил для вас лучшие ресурсы.

https://www.youtube.com/@Daniel-Dan.

В магазинах приложений оно заменит приложение «МТС Кто звонит». Скачать «Защитник» можно в Google Play и AppStore.

Рассмотрим подробнее функционал приложения.

Обозначает «пользу» звонка цветом

Система показывает пользователю и сохраняет в истории вызовов название компании, а также помечает вызовы цветом:

• зелёным — надёжные;
• жёлтым — возможно, спам;
• красным — нежелательные.

Название компании высвечивается, если её номер есть в справочниках и открытых источниках.

Делит спам-звонки на категории

Каждому звонку присваивается категория спама, например: «Юридические услуги», «Коллекторы», «Медицина и красота», «Страхование» и т. д. Анализ выполняется на основе технологий Big Data МТС.

В будущем в приложении можно будет выбрать категории спам-звонков, которые будет принимать голосовой бот. После этого сервис пришлёт полную расшифровку входящего вызова.

Это поможет пользователям оставить только нужные для себя категории, чтобы, к примеру, не пропустить доставку или звонок от таксиста.

Разрешает жаловаться на спам

Пожаловаться на нежелательный звонок можно в два клика. При этом не обязательно копировать номер и переносить его в «Защитник» (хотя такая опция тоже есть).

Достаточно смахнуть строку в журнале вызовов влево и нажать на кнопку с восклицательным знаком. Система проверит и заблокирует номер, если это правда спам.

Как часто вам звонят спамеры и как спасаетесь от нежелательных звонков? Делитесь опытом в комментариях!

Реклама ПАО «МТС», erid: LjN8KGAHt

Какие типы машинного обучения бывают и чем они друг от друга отличаются

Есть четыре типа машинного обучения:

• с учителем;
• без учителя;
• с подкреплением;
• с частичным привлечением учителя.

Они отличаются наборами данных, на которых модель обучается. Понять разницу между типами машинного обучения можно через аналогию. В комнате стоят стулья, столы, шкафы, мы ставим задачу определить, где что. При обучении с учителем мы показываем модели: это стул, а это — стол или шкаф. То есть датасет размеченный, информация о данных известна, мы точно знаем, какой результат хотим от них получить. За счет разметки модель понимает, как выглядят предметы, запоминает разные типы.

При обучении без учителя мы просто запускаем модель в большую комнату, и она самостоятельно изучает, какие объекты в ней есть. Спустя время она без наших подсказок понимает, какой объект перед ней находится. Данные не структурированы, о них практически ничего не известно, нет задачи получить конкретный результат. Мы хотим извлечь из данных новую информацию и увидеть в них закономерности.

При обучении с частичным привлечением учителя мы запускаем модель в комнату и выборочно называем ей некоторые предметы. Ей предстоит самостоятельно изучить большую часть объектов и понять, как они называются.

При обучении с подкреплением мы запускаем модель в темное помещение. Она взаимодействует со средой (environment), собирает сведения о ней. В роли «разметки» здесь выступает награда (reward). Это сигнал, насколько хорошо алгоритм справляется с поставленной ему задачей. Например, за каждый найденный стул вы получаете +1, а за каждый удар в стену вам прилетает -1. Она выдаётся после каждого шага взаимодействия со средой.

Для каких задач используют обучение без учителя

Выделяют четыре большие группы: кластеризацию, поиск аномалий, поиск ассоциаций и уменьшение размерности. Рассмотрим каждую подробнее и разберем, какие для них нужны алгоритмы.

Кластеризация

Это задача разделения данных на кластеры по общим признакам.

Классический пример — сегментация пользователей приложения банка. Например, пользователи часто покупают товары в спортивных магазинах. Можно выделить их в отдельную группу, используя транзакции как признак. А можно посмотреть, как часто пользователи заходят в приложение, сформировав из них «временные кластеры».

Другой пример — классификация клиентских обращений. По признакам, которые выделит модель, можно кластеризовать обращения клиентов на разные группы: жалобы, благодарности и просьбы о помощи.

Алгоритмов для этого класса задач много, рассмотрим четыре самых популярных.

Алгоритм k-средних (k-means)

Буква k в названии отвечает за количество выделенных центроидов — точек, которые формируют вокруг себя кластер. Удобнее, если они совпадают с точками выборки данных, но необязательно.

К примеру, возьмем значение k, равное 5. Дальше для каждой точки датасета посчитаем расстояние до каждого из пяти кластеров. Наименьшее расстояние от точки до центроида позволит модели предположить, что объект принадлежит к этому кластеру.

Это итеративный метод, так как после формирования кластеров координаты центроида должны быть пересчитаны, так как центральный элемент кластера может измениться после добавления элементов. Центроид может сместиться, поэтому в следующих итерациях алгоритма мы будем пересчитывать центры кластеров до тех пор, пока координаты центроида не перестанут меняться. Так, он будет представлять усредненное описание всех параметров кластера.

Чтобы оценить качество работы алгоритма, мы используем метрику WCSS (within-cluster sum of squares) — cумму квадратов внутрикластерных расстояний до центра кластера. Основная идея, лежащая в основе k-means, заключается как раз в определении таких кластеров, чтобы отклонения внутри минимальны.

У алгоритма есть ограничение: чаще всего мы не знаем, сколько кластеров предполагается. Можно последовательно брать разные k: 3, 5, 7, 9 и так далее — и строить график в координатах WCSS(k). По нему мы можем понять, какое k оптимальнее взять для задачи. До точки k = 3 наблюдается быстрое уменьшение отклонения, но потом скорость падения снижается, откуда мы делаем вывод, что k = 3 было точкой оптимума.

Иерархическая кластеризация

Изначально количество кластеров совпадает с количеством объектов, то есть каждый объект данных представляет собой кластер. Похожие кластеры объединяются по повторяющимся признакам.

Алгоритм последовательно объединяет меньшие кластеры в большие — это агломеративная иерархия. Либо наоборот — дробит один большой кластер на меньшие — это разделяющая иерархия.

Определить похожесть можно с помощью метрик евклидова расстояния. Они бывают разные: манхэттенское расстояние; расстояние Чебышева; степенное расстояние.

dbscan

В алгоритме есть два гиперпараметра: максимальное расстояние между точками и минимальное количество точек в окрестности. Мы задаем количество соседей внутри определенного радиуса, чтобы выделить их в кластер.

dbscan также справляется с задачей детекции аномалий (о которой поговорим ниже). Так как у нас сохраняется количество соседей в радиусе, то могут оставаться «одинокие» точки, которые туда не попадают. Они являются либо выбросом, либо аномалией.

Алгоритм гауссовой смеси

В наборе данных выделяются гауссовы распределения, каждое из которых представляет собой единый кластер. Алгоритм используется в случае, когда наши данные имеют мультимодальное распределение, то есть имеют несколько «горбов».

Поиск ассоциаций

В этой задаче модель ищет взаимосвязи между существующими объектами.

Классический пример — взаимосвязь продуктов в корзине покупателя. Например, к молоку и яйцам рекомендательная система магазина может посоветовать взять муку. Чтобы получить такой «совет», нужно проанализировать, какие комбинации продуктов встречаются чаще всего.

Алгоритм Apriori

Он находит самые частые комбинации, и модель создает правила ассоциативности: когда встречаются два продукта, к ним присоединяется третий.

Для работы с алгоритмом нужно знать такие понятия.

• Support. Показывает минимальный порог встречаемости элемента, чтобы считаться частым.
• Confidence. Как часто выделенные взаимосвязи встречаются во всех объектах во всем датасете.
• Lift. Зависимость между объектами.
• Conviction. Как часто утверждается, что товары связаны, хотя на самом деле взаимосвязи нет.

Уменьшение размерности

Данные могут быть слишком взаимосвязаны между собой. В таком случае можно снизить размерность, заменив два признака на один. Особенно это актуально в больших данных, когда нужно сократить датасет и обработать меньшее количество данных.

Для этой задачи используется алгоритм PCA. Собственно, он как раз и «жертвует» каким-то некритичным количеством информации, подбирая новый признак, который будет включать в себя свойства обоих изначальных признаков.

Поиск аномалий и выбросов данных

Пример задачи — антифрод в банке. Модель должна определять мошеннические транзакции среди обычных и правильно на них реагировать.

При обучении с учителем не получится показать модели такую транзакцию сразу, потому что мы не знаем, как она выглядит. И, соответственно, у алгоритма этого знания тоже не будет. Поэтому когда модель встретится с фродом, то, скорее всего, либо не сможет его задетектировать, либо правильно интерпретировать.

При обучении без учителя модель может определять выбросы и аномалии. Аномалия — это принципиально новые данные, которых ещё не было в выборке, они возникают в реальном времени. Выброс — значение, редко встречающееся в наших данных.

Изолированный лес

В его основе лежит модель классического алгоритма ML — дерева. Случайным образом задаем предикат, если объект датасета под него подходит, он уходит по этой ветви дерева. Объекты, которые не прошли глубже по веткам, а остались на глубине первого или второго уровня можно считать выбросами. Они «изолировались».

Какие есть ограничения у обучения без учителя

Во-первых, результаты не всегда интерпретируемы. Не каждому квалифицированному специалисту под силу объяснить выделившиеся закономерности.

Во-вторых, модель может ошибаться и выдавать не те корреляции, которые мы ожидали. В примере из начала статьи про комнату со стульями и столами модель может, например, выделить кластеры не по принадлежности к сущности (столы, стулья и т.д.), а по цвету: красные столы, стулья, шкафы. Да, это тоже может быть верно, у них действительно есть схожее свойство, но нам это было не нужно.

В таком случае, кстати, придется прибегнуть либо к обучению с подкреплением, либо к частичной разметке данных, чтобы хотя бы в какой-то степени показать модели, на что ей ориентироваться.

Когда же лучше использовать обучение без учителя

Метод обучения без учителя хорошо справляется с неразмеченными данными.

Разметка данных — это достаточно дорогой процесс. При большом количестве данных нужно нанимать асессоров, которые подготовят данные для обучения с учителем. Есть сервисы, где можно отдать данные специалистам на разметку, но за это нужно будет заплатить, подготовить тесты, по которым люди будут работать. И в конце оценить качество разметки. Если мы не хотим тратить на это ресурсы и время, то лучше использовать обучение без учителя.

✔ Последний день приёма заявок — 24 октября.

✔ С 25 по 29 октября нужно пройти тестирование и подготовить мотивационное письмо. Задание придёт на почту, указанную при регистрации.

✔ Результаты отбора огласят до 2 ноября. Занятия начнутся 7 ноября.

Обучение в Школе аналитиков данных бесплатное, но все заявки проходят тщательный отбор. Отнеситесь к вступительным испытаниям серьёзно, если хотите попасть на курс.

Как подготовиться к тестированию?

Тестирование охватывает основы математической статистики и теории вероятностей, основы машинного обучения и программирования на Python. Подготовиться к нему можно самостоятельно по вузовским учебникам.

Как узнать, что я подхожу?

Ограничений нет, ждём всех желающих. Учиться у нас могут школьники, студенты, действующие IT-специалисты и даже родители в декрете. Главное — иметь хорошую мотивацию и свободное время — от 10 часов в неделю.

Вы подходите, если:

✔ знаете базовую математическую статистику и школьную математику;

✔ имеете базовые представления о Linux;

✔ умеете писать на любом языке программирования;

✔ обладаете фантазией — сможете за 10 секунд придумать 10 мест, где можно применять математику в бизнесе;

✔ искренне хотите развиваться в анализе данных, ML и IT одновременно;

✔ можете выделить 6 часов в неделю на лекции и от 4 часов — на домашние задания.

Сколько длится обучение?

Информации и практики много, обучение займёт 10 месяцев.

• Все занятия проходят в онлайне, понадобится только компьютер или ноутбук с интернетом.
• Встречи с преподавателями — 2 раза в неделю. Теория и практика чередуются друг с другом.
• Все полезные материалы хранятся на учебной платформе и всегда доступны.
• Для работы с Big Data МТС предоставит собственный кластер.

Чему конкретно я научусь за это время?

Получите необходимые знания и навыки для старта в профессии, даже если вы совсем новичок или пришли в аналитику больших данных из смежной области.

Самые сильные ML-разработчики смогут попасть на стажировку в МТС, пройти собеседования и присоединиться к команде МТС Диджитал.

Роль больших данных в бизнесе и других сферах жизни продолжает расти, поэтому специалисты Big Data становятся всё более востребованными на рынке. Наш курс даёт уникальную возможность получить самые актуальные теоретические знания и сразу же применять их в рамках обучения для решения реальных коммерческих кейсов. Рассчитываем, что после окончания курса все наши выпускники смогут открыть для себя новые карьерные возможности, которые позволят им заниматься одним из самых перспективных направлений в IT — анализом больших данных.

Кто будет преподавать?

У Школы аналитиков данных выдающийся «педсовет»: разработчики, аналитики-разработчики, ML-инженеры. Эти действующие специалисты центра Big Data МТС — не только крутые теоретики, но и практики.

Подать заявку на бесплатное обучение в Школе аналитиков данных можно до 24 октября. Если давно мечтали освоить востребованную профессию, но нужен был стимул — вот он!

Будем рады, если поделитесь этим материалом с друзьями, однокурсниками, одноклассниками или коллегами — всеми, кто интересуется анализом данных и ML. Иногда случайные рекомендации решают.

Реклама ПАО «МТС» LjN8K98mi

И что это такое — графы?

Графы — это абстракция, которую используют для выявления связей между сущностями: множество вершин и множество рёбер, которые их соединяют. Впервые теорию графов применил Леонард Эйлер для решения задачи о Кёнигсбергских мостах. Нужно было найти такой маршрут, чтобы пройти по всем семи сооружениям только один раз и вернуться в исходную точку. С помощью теории графов Эйлер доказал, что это невозможно.

А они вообще востребованы?

Способов анализа структурированных данных становится недостаточно, чтобы делать глубокие предсказания. Если для расчёта спроса и предложения товаров хватит классических методов вроде статистических функций, то для рекомендаций этих товаров можно применять больше действенных методов, в том числе и графы. Поэтому их используют чаще, нежели лет пять назад.

Компании вроде Uber, Google, Pinterest переходят на графы, мотивируя это тем, что производительность таких методов выше, по сравнению с другими современными ИИ-архитектурами. А по прогнозам Gartner к 2025 году графы будут использоваться в 80% инноваций в области данных и аналитики по сравнению с 10% в 2021 году.

Стоит оговориться: графы всё ещё достаточно узкопрофильное направление и используют их не повсеместно. Но дополнительный скил точно не будет лишним — появится больше сфер, в которых можно работать.

И какие задачи можно решать графами?

Графы помогают работать с нелинейными данными, которые сложно структурировать в табличный формат и выгоднее представлять в виде связей между объектами — то есть между вершинами через рёбра. Тогда получается сетка, похожая на карту дорог.

Графы и нейронные сети на их основе используют, например, в биологии. С их помощью биологические сущности (белки, РНК, химические соединения) можно представить в виде «сетки», определить, как они связаны между собой, предсказать новые взаимодействия между ними или свойства.

Здесь можно почитать про графовые методы в биологии.

Рекомендовать товар или друзей

В Газпромбанке есть граф для выявления групп людей со схожими интересами. Он помогает идентифицировать паттерн поведения клиентов, исходя из которого мы предполагаем, какие приложения будут им наиболее полезны. Например, ведут они активный образ жизни, занимаются спортом — значит, порекомендуем похожие спортивные товары.

Схожая механика используется в социальных сетях и дейтинговых приложениях — для рекомендаций друзей и хранения данных, которые генерируют пользователи.

Можно обойтись и без графов: самостоятельно придумать критерии и прописать алгоритм, который будет высчитывать количество взаимодействий между людьми. Но это долго, дорого, ресурсозатратно и есть риск упустить что-то важное, но неочевидное. Графы же позволяют использовать данные сами по себе, любое взаимодействие уже даёт информацию, которую можно анализировать и потенциально применить для решения задач.

Выявлять мошенничество

Можно построить цепочку транзакционной активности: человек А перевёл деньги человеку B, а тот — человеку C. Если в этой схеме появляется лицо, которое занесено в чёрный список, то мы идентифицируем её как фрод. То есть если в длинной цепочке переводов один из узлов замечен в мошенничестве, то стоит обратить на неё пристальное внимание.

Зачастую мошенники, когда берут кредиты и хотят оформить банкротство, чтобы их не платить, используют разные адреса, номера телефонов, паспортные данные. Или меняют их незначительно, чтобы исправления не были заметны сразу. И то, и то можно назвать подозрительной активностью.

Сложно самостоятельно просчитать наперёд и учесть в алгоритмах, что у человека сегодня одни паспортные данные, а завтра другие. Для графа это не нужно прописывать: он проскорит и зафиксирует людей с такой подозрительной активностью самостоятельно.

Строить маршруты

С помощью графа можно найти самый короткий и быстрый маршрут из точки А в точку B. Он будет учитывать не только длину дорог, но и поможет предсказать, где и когда трафик меньше.

Ранжировать информацию по достоверности

В Google графы использовали для ранжирования веб-страниц. Чтобы самый полезный сайт поставить на первое место, придумали алгоритм PageRank.

Каждый сайт был узлом, а ссылки на другие сайты внутри — связями. За счёт этого сайт, который ссылался на более достоверные источники, оказывался выше. Например, если одна из страниц ссылалась на сайт правительства Соединённых Штатов, а другая — на жёлтую прессу, вторая уходила вниз в поисковой выдаче.

Сейчас используют и другие алгоритмы, тот же GPT, но в начале 2000-х Google выстрелил благодаря графам, которые качественнее определяли «авторитетность».

Хранить взаимосвязи между сущностями

Ещё одна важная предметная область, где применяются графы — графы знаний. Это семантическая структура, в которой хранится информация о разных сущностях и взаимосвязях между ними. Вершиной‎ графа может быть как абстрактное понятие (например, концепция), так и материальный объект (например, предмет или человек).

На основе графов знаний работают, например, голосовые помощники — Alexa от Amazon.

Так могут выглядеть взаимосвязи в графах знаний:

Звучит интересно. А сложно их учить?

Действительно, графы — универсальный и многогранный инструмент, который используется для решения самых разных задач. Держать в голове весь их функционал довольно сложно. Для начала достаточно понимать, что из себя представляют графы и в каких предметных областях они применяются. А далее изучать конкретные алгоритмы и инструменты в зависимости от задачи.

Где можно узнать о них подробнее?

• ТГ-канал про графы: @sberlogawithgraphs
• Курс Стэнфордского университета
• Книга «Введение в теорию графов» Р. Уилсона
• Книга про графовые нейронные сети: Graph Representation Learning. William L. Hamilton

Но заранее спроектировать и настроить их «на века» невозможно. В процессе работы всегда появляются новые источники сбора данных или специфичные требования к ним, которые часто приходится обрабатывать вручную. Поэтому мы настроили и оптимизировали разработку загрузок.

Мы пользуемся Airflow как единой системой запуска задач

В нашем банке есть собственная платформа больших данных — DataFactory. Я уже больше года занимаюсь тем, что создаю загрузчики внешних данных для неё. До того, как я пришёл в Газпромбанк, этот процесс был неоптимизирован. Часть информации обрабатывалась Java-загрузчиками, часть — написанными на голом Python.

Сейчас мы используем Apache Airflow как оркестратор ETL-процессов, а сами процессы пишем на Python. Airflow оперирует DAG — направленным ациклическим графом, в котором описываются правила работы задач внутри одной загрузки данных. Такое решение, например, позволяет нам запускать задачи параллельно внутри кластера Kubernetes — в котором за выполнение каждой задачи отвечает отдельный k8s POD.

В основном, у загрузчиков схожие правила работы. Но для каждого требуется определенные настройки, которые в виде JSON описаны в наборе конфигурационных параметров и хранятся в Airflow Variables. Например, можно указать глубину сбора данных (в днях) и другие параметры, влияющие на выполнение DAG.

Иногда процесс нужно запускать с произвольной конфигурацией. Чаще всего на стадии финальной отладки и активного тестирования работы. Раньше в такой ситуации мы меняли значения в Airflow Variables, а затем возвращали их обратно, когда загрузчик завершал работу. Случалось, что мы забывали вернуть измененные параметры обратно, а потом искали причину некорректной работы DAG. В конце концов мы задумались, как можно легко менять значения важных переменных внутри существующего кода. И придумали!

Способы изменить конфигурацию

Встроенный редактор

В UI Apache Airflow есть свой редактор JSON. Можно залезть внутрь Airflow Variable и изменить значения там. Но такой подход не очень подойдёт, если вы хотите разово выполнить загрузку со специфическими параметрами. Airflow Variable содержит постоянные значения, которые, как правило, прописываются раз и навсегда. Когда вы что-то там меняете, то после завершения разового запуска DAG вам нужно не забыть вернуть измененные параметры обратно.

Запуск с параметрами

Apache Airflow может запустить DAG со специфическими параметрами.

Они прописываются вручную в виде нового JSON. В ходе работы загрузчика каждая задача получает доступ к этим значениям и корректирует своё поведение.

Такой способ позволяет оперативно вмешаться в работу процесса. Например, если внезапно окажется, что в DataFactory отсутствуют значения за неделю, мы можем разово повлиять на определенный параметр DAG и указать сбор данных глубиной в семь дней. Нюанс в том, что запуск с ручной конфигурацией нужно обработать в коде отдельно.

Хардкод

Этот способ самый радикальный, но рабочий. Можно отдельно прописать константы или переменные, которые необходимо использовать для специфического запуска DAG. Но это крайне неудобно: приходится вшивать много информации в код, а затем убирать.

Наш способ оптимизации запуска DAG

Итак, есть три способа передать DAG параметры: с помощью Airflow Variable, вручную через w/ config и напрямую, указав в коде значения. Наша цель — просто и удобно извне влиять на важные для загрузчика значения. При запуске очередной задачи DAG:

• сначала посмотреть, указан ли параметр при ручном запуске;
• если нет — то попытаться найти его значение в Airflow Variable;
• иначе присвоить значение из заданных в коде значений по умолчанию.

При выполнении функции внутри работающей задачи DAG функция vars_from() сначала проверяет, был ли DAG запущен с помощью w/ config. После чего пытается найти, заданы ли ключи «count_on_page» и/или «date_from» внутри JSONа, переданного через w/ config. Если да — передаёт соответствующие значения переменным count_on_page и date_from в коде задачи.

Если в словаре w/ config искомых ключей нет, то производится попытка поиска значений ключей «count_on_page» и/или «date_from» внутри JSON из соответствующей DAG Airflow Variable.

На тот случай, если необходимых значений нигде нет, в аргументах функции vars_from() мы указали значения по умолчанию. В нашем примере это 50 и 1d, взятые из констант POLLS_COUNT_ON_PAGE и POLLS_DATE_FROM_DEFAULT.

Как работает vars_from()

Функция имеет одну внешнюю зависимость: для её реализации необходима библиотека sorcery. Она предоставляет объекту информацию, откуда его вызывают. В терминах библиотеки такой объект называется «заклинанием» (spell) и инициализируется следующим образом:

Кортеж *defaults — аналог *args, а декоратор spell помещает в нулевой элемент кортежа *defaults ссылку на frame-объект функции vars_from(). Так мы можем задать значения локальных переменных, стоящих слева от вызова функции.

Обработка ключа

На всякий случай проверка вхождения ключей реализована тремя способами: по строгому соответствию с названием переменной, по её интерпретации camel case и через псевдоним.

Здесь псевдоним маршрутизирует значение из ключа sql_injection_report_mail в переменную recipients:

Если ключ есть и в ручной конфигурации, и в базе Airflow Variable, приоритет будет отдаваться переменной, которая записана стилем snake case:

Несмотря на то что в ручном запуске есть сущность «sql injection report mail», её значение будет взято из Airflow Variable.

Ещё пример, чуть более сложный:

Теперь настройка DAG для новых задач — не проблема

Загрузчики извлекают много информации из разных мест. Мы берем данные из готовых CSV-файлов, архивов, вложений почтовых ящиков, файлы из SAMBA-папок. Проникаем в REST API за полезными JSON и XML — в общем, работаем со всей информацией, которая требуется бизнес-подразделениям банка и которую разрешает собирать наш Департамент информационной безопасности.

Решение, которое мы разработали, позволяет удобнее корректировать работу DAG, не внося изменений в код загрузчиков.

Рекомендательные системы: какие бывают и какие мы используем в «Строках»

Рекомендательные системы — алгоритмы, которые анализируют обобщённые обезличенные данные о предпочтениях пользователей и, опираясь на большой объём накопленной информации, предлагают им услуги, контент или другие элементы, которые могут заинтересовать.

Рассмотрим методы фильтрации, которые используются для построения рекомендаций внутри «Строк».

Фильтрация по контенту (content-based filtering). Данный метод предлагает контент, который похож на те произведения, с которыми раньше взаимодействовал пользователь. Например, рекомендательная система видит, что уже прочёл пользователь, типизирует его предпочтения на основе контента и будет предлагать книги, которые похожи на то, что ему нравится.

Коллаборативная фильтрация (collaborative filtering). Метод коллаборативной фильтрации анализирует предпочтения множества пользователей, типизирует их и на основе сходства между пользователями (users) и товарами (items) строит рекомендации. Пользователи — это клиенты сервиса, товары — объекты, которые предлагает сервис (книги, аудиокниги, подкасты и пресса).

В «Строках» применяются гибридные рекомендательные системы, которые сочетают в себе оба метода фильтрации. Гибридный подход позволяет использовать преимущества коллаборативной фильтрации и фильтрации по контенту, тем самым повышая качество и соответствие рекомендаций потребностям читателей.

Рассмотрим на примерах.

User-to-item рекомендации

Такой вид рекомендаций можно найти в «Строках» на главной странице, а также на странице книг и аудиокниг в разделе «Специально для вас». Там представлены персональные рекомендации текстового и аудиоконтента, которые сформированы с учётом предпочтений и интересов пользователя.

Для построения качественных user-to-item рекомендаций требуется пользовательская история взаимодействия с контентом: прочтения или прослушивания книг, добавления понравившихся в «отложенное», а также доступная мета-информация о пользователе, например, его пол и возраст.

Чем больше пользователи взаимодействуют с контентом и сервисом, тем больше полезной информации о поведении и интересах получают рекомендательные системы.

Item-to-item рекомендации

На странице с описанием книги, подкаста или другого контента, в разделе «С этой книгой читают» пользователи получают рекомендации, которые основаны на фильтрации по контенту.

При построении item-to-item рекомендаций в «Строках» система формирует релевантные подборки, исходя из различных свойств самой книги, таких как жанры, авторы и название. Эта информация носит обобщённый характер, её сервис получает от партнёров-издателей, поэтому встречаются погрешности в данных, которые влияют на качество рекомендаций.

Кроме того, в «Строках» также используются системы кросс-рекомендаций с онлайн-кинотеатром KION. Пользователь получает item-to-item рекомендации фильмов, которые были сняты по книге, или похожие кино.

Как в «Строках» улучшают системы рекомендаций

Чтобы рекомендации в «Строках» были интересными и разнообразными, мы разработали алгоритм, с помощью которого пытаемся улучшить работу рекомендательных систем.

Формирование гипотезы

Сначала генерируется идея, которая поможет улучшить качество рекомендаций, — гипотеза. Например, чтобы сделать контент разнообразнее, добавим в систему правило: 75% подборки рекомендаций формируется из контента, который доступен для пользователя.

Обучение модели

Затем происходит обучение модели с внедрением необходимых изменений. Разработчик вносит правки в существующие алгоритмы и заново обучает модель на неизменном наборе данных.

В данном случае набор данных — это обезличенная информация о поведении пользователя внутри сервиса и о книгах. Если гипотеза касается изменения данных, сначала разработчики и дата-инженеры редактируют данные, а затем обучают модель.

Формирование рекомендаций

После обучения модели происходит прогнозирование рекомендаций для каждого пользователя, если мы говорим про user-to-item рекомендации. Если рекомендации вида item-to-item, то ожидаем подборки рекомендаций для книг.

Оценка офлайн-метрик качества рекомендаций

Внутри «Строк» мы ориентируемся на конверсию попадания рекомендаций из подборки в читалку или плеер пользователя. Этот показатель можно измерить только при запуске обновлённой рекомендательной системы на реальных пользователях.

Однако важным шагом перед запуском обновлённой рекомендательной системы в продуктивную среду является оценка офлайн-метрик качества, которые рассчитываются на исторических данных. Офлайн-метрики позволяют разработчику убедиться, что новые рекомендации корректны с точки зрения точности и полноты предсказаний. Но полностью доверять офлайн-метрикам не стоит, так как предугадать поведение и настроение пользователей в реальном времени рекомендательная система не может.

Чаще всего разработчики нашего сервиса ориентируются на следующие офлайн-метрики:

• Точность предсказаний. Интерпретируется как доля релевантных рекомендаций.
• Полнота предсказаний. Интерпретируется как доля релевантных объектов, попавших в рекомендации.
• Средняя точность по пользователям. Считается как средняя точность предсказаний для пользователя по всем релевантным позициям, далее полученное значение усредняется по всем пользователям.
• Новизна. Под новизной понимается доля новых для пользователя товаров среди рекомендованных.
• Разнообразие. Под разнообразием понимается степень сходства товаров внутри подборки рекомендаций.

Если значения офлайн-метрик качества новой рекомендательной системы выросли или не изменились, то можно переходить к следующему шагу тестирования рекомендаций. Но если разработчик замечает сильное ухудшение офлайн-метрик качества, то процесс внедрения рекомендательной системы в продуктивную среду останавливается. И разработчик разбирается, почему произошёл спад метрик. Затем вносит изменения в алгоритм, после чего снова проверяет офлайн-метрики качества.

Визуальный анализ рекомендаций

В отличие от классического машинного обучения, при разработке рекомендательных систем очень сложно заранее смоделировать поведение пользователя. Невозможно предугадать, будет ли пользователь взаимодействовать с релевантными товарами, у которых высокие оценки офлайн-метрик.

Поэтому, когда мы тестируем рекомендации от обновлённой модели, обязательно проводим визуальный анализ. Разработчик просматривает подборки, которые предлагает рекомендательная система, и оценивает, насколько качественно сделаны рекомендации.

При визуальном анализе выделяются яркие представители различных групп пользователей. Группы могут формироваться в зависимости от количества взаимодействий с книгами и собирательного образа типичного пользователя сервиса. Также могут формироваться кластеры в зависимости от жанров и авторов. Например, кластеры «любителей боевого фэнтези» и «ценителей классической литературы».

Оценка онлайн-метрик качества рекомендаций

Если метрики, которые посчитаны на исторических данных, остались неизменными или выросли, а визуальный анализ показал хорошие результаты, то можно запускать A/B-тестирование (так мы называем оценку онлайн-метрик качества рекомендаций). A/B-тестирование сможет честно оценить эффект от изменений, внедрённых в модель рекомендаций.

Сначала аналитик готовит А/B-тест к запуску на реальных пользователях. Первым шагом следует выбрать метрику, которую нужно оценить, и зафиксировать ожидаемый эффект для обеспечения достоверности и надёжности результатов теста. Внутри «Строк» целевая метрика — это конверсия попадания рекомендаций из подборки в читалку или плеер пользователя.

Затем аналитик подбирает статистический критерий в зависимости от данных, на которых проводится тестирование. Это мера статистической значимости, которая помогает определить, являются ли результаты теста надёжными, а не случайными.

Следующим шагом нужно поделить пользователей на группы. Главная задача здесь — распределить их поровну, чтобы гарантировать, что любые различия в результатах могут быть связаны с тестируемой рекомендательной системой, а не с другими факторами.

Далее проводится А/А-тест, где предполагается, что полученные на предыдущем шаге группы не имеют значимых отличий между собой.

Затем проводится оценка мощности А/B-теста. К одной из групп искусственно добавляется эффект, который планируется получить после внедрения новой модели в сервис, и рассчитывается время проведения А/B-теста на исторических данных.

После этих этапов A/B-тест запускается в продуктовой среде и продолжается необходимое количество времени, которое было заранее рассчитано на исторических данных.

После истечения рассчитанного времени результаты тестирования проверяются на статистическую значимость.

Внедрение обновлённой модели

Если результаты тестирования оказались статистически значимыми (А/B-тест признан успешным), обновлённую рекомендательную систему можно внедрять на всех пользователей сервиса.

Вместо заключения

Мы рассказали о том, какие виды рекомендаций представлены в онлайн-сервисе «Строки», а также кратко описали подходы, которые используем для их улучшения.

Возможно, у вас есть вопросы, как у пользователя сервиса «Строки», или вы сами работаете с рекомендательными системами и готовы поделиться опытом?

Добро пожаловать в комментарии!

Узнайте, как сделать из Python-скрипта исполняемый файл, какие инструменты использовать в Data Science и как настроить автопостинг в ВК.

Big Data / Data Science

• Экстренное шифрование данных
• Инструменты Дата-сайнтиста. Универсальная база
• Как из метрик Prometheus построить график Latency
• Dagster и Great Expectations: Интеграция без боли
• Книга «Python для data science»
• [ENG] What is the Minimum System Requirements for Data Science?
• [ENG] Data Science Roadmap with Free Study Material
• [ENG] Modern Data Stack: A Hands-on Guide with Airbyte, Snowflake, and dbt(data build tool)

AI и ML

• Тестируем на реальных кейсах Chatgpt Code Interpreter
• Семантическая сегментация на основе архитектуры U-Net и определение расстояния между объектами
• Первые шаги в импульсных нейронных сетях
• See and Tell: Сервис просмотра сериалов для слабовидящих
• Нейронные сети не могут обобщать периодические зависимости. Как это исправить?
• [ENG] Building a ChatGPT custom plugin for API Gateway
• [ENG] AI Team Collaboration with Azure ML Studio
• [ENG] Invoking OpenAI’s ChatGPT from 6 different programming languages
• [ENG] Creating a Better StackOverflow with ChatGPT

Веб / Django / Flask

• FVWA (Flask Vulnerable Web Application)
• Lock записей и шквал «пятисоток»: какие шишки мы набили на миграциях в Django и как вам этого избежать
• Полезные материалы и инструменты для погружения в Flask: выбор сотрудников Selectel
• [ENG] Multi-Role User Authentication in Django Rest Framework
• [ENG] Python, Flask: Railway.app deployment and Railway’s Nixpacks Docker image build tool.
• [ENG] Road-Map for Python Developers 
• [ENG] When plans go astray: my unsuccessful journey of migrating a large Django project to Mypy
• [ENG] Exploring Django’s Third-Party Packages: Top Libraries You Should Know

Скрипты, приложения и боты

• RabbitMQ Direct Reply-to. RPC поверх кролика без дополнительных очередей (пример на Python)
• Автопостинг ВК (VK) на python
• Как сделать из Python-скрипта исполняемый файл
• Встроенные фикстуры Pytest
• Развлечения с хеш-коллизиями
• [ENG] Writing a Transmission Control Protocol stack in Python

Развлекательный контент

• [Видео] опрос Stackoverflow / PEP 594 / PSF Board 2023 / релиз JupyterLab 4
• [Видео] Moscow Python Meetup №82. Максим Безруков. Виртуальное окружение по хардкору. Жизнь без pip
• [ENG] ChatGPT Vs Bard: Which is better for coding?

Нашли что-нибудь полезное и интересное для себя? Расскажите, какой раздел показался вам самым интересным, а каких статей не хватило, чтобы следующий дайджест получился ещё лучше.

Если дайджест вам понравился, посмотрите две предыдущие подборки:

А ещё присылайте в комментарии статьи и видео, которые ускользнули от нашего взгляда и не попали в дайджест. Поделитесь полезными материалами с другими читателями!

1. Вы скрупулёзно относитесь к мелочам

И кайфуете, когда видите очищенные данные и настроенные графики. И если в данных беспорядок, у вас возникает негодование и желание всё исправить.

2. Вы любите контроль и отчётность

От специалистов, которые работают с данными, всегда ожидают понятных результатов, а значит их нужно уметь собирать и презентовать. А также быть готовым к тому, что в любой момент у вас могут попросить отчёт — от этого никуда не деться.

3. Вам нравится научная деятельность

Ведь Machine Learning можно применять в разных областях.

Когда я училась на кафедре астрономии, мы снимали объекты в космосе, чтобы определять их положение в пространстве. Делали три снимка, потом с помощью векторизации и логистической регрессии определяли объекты на изображении. При этом засекали время, когда снимки были сделаны, фиксировали координаты обсерватории. После вычисляли азимут и высоту, далее — склонение и прямое восхождение, плавно переходя к самим Кеплеровым элементам орбиты.

4. Вы и швец, и жнец, и на дуде игрец

В проектах я сама писала код, приходила к дата-инженерам с витринами для моделей. Процесс разработки проекта и его защита перед бизнесом полностью лежали на мне.

Какие задачи может выполнять Data Scientist

С помощью машинного обучения в направлениях Data Science можно выполнять не только научные, но и, естественно, более прикладные задачи.

Например, я строила модель, которая прогнозировала отток клиентов. Здесь есть хитрость: нужно предсказывать не сам отток, иначе будем констатировать факт, а «предотток» — месяц перед уходом человека. Это нужно, чтобы успеть что-то предложить клиенту и тем самым его удержать.

Сначала я проводила аналитику таргета совместно с бизнесом — определяла, какого клиента можно считать «отточным», так как у бизнеса много практики и знаний в их предметной области. Например, три месяца он не совершал никаких транзакций или не получал отчислений на карту.

После строила модель. На этом этапе дата-сайентисты пользуются готовыми пайплайнами. Если в компании уже есть похожие витрины данных, то можно взять их за образец, и сделать задачу достаточно быстро. Иногда бывают и нестандартные задачи, где готовые, разработанные командой пайплайны не подходят. Тогда нужно писать код с нуля и создавать для модели новые витрины данных.

Далее выводила модель в пром, и она прогнозировала вероятность оттока клиента в следующем месяце.

На основе этих данных бизнес отбирал тестовую и контрольную выборки и запускал кампанию. Результаты кампании тоже нужно было оценить, чтобы понять, какие метрики важны и отвечают за качество модели.

И, наконец, я представляла бизнесу все результаты кампании, метрики, аналитику, которую можно сделать на основе этих цифр. Например, подтвердилась альтернативная гипотеза или нет. На основе этих показателей бизнес корректирует свои стратегию и кампанию для улучшения дальнейших результатов.

5. Вы умеете договариваться

В Machine Learning недостаточно просто делать fit–predict. Ещё нужно отвечать на письма, проводить презентации, участвовать во встречах. На них не только обсуждают работу, договариваются о результатах, но и разруливают нештатные ситуации.

Иногда бывают ситуации, когда сделать что-то нужно срочно. Сказать: «Ну-ка быстро мне что-то сделайте», — можно, но, как показывает практика, не нужно, потому что вы только вызовете недовольство у коллег. Поэтому важно уметь находить компромиссы, так как спорные ситуации возникают очень часто.

Софт-скилы нужны всем в сфере: и дата-сайентистам, и аналитикам данных, и даже немного ML-инженерам. Их стоит развивать, если хотите расти выше до мидла и готовы брать на себя больше ответственности за людей и проекты.

Чем больше вы напрямую общаетесь с бизнесом, отвечаете на его запросы, тем чаще вас поощряют. К тому же вы не только развиваетесь, но и можете расти в зарплате.

Но главное, в любом деле должно оставаться желание в этом разбираться, пытаться докопаться до сути. Ответьте себе на вопросы, что вы любите делать, что вас радует. Если среди этих пунктов не найдутся программирование или математика, то стоит задуматься, действительно ли вам этого хочется, или это кто-то вам навязал, например, реклама.

А если всё-таки найдутся, то пробуйте. Развиться и стать специалистом можно в любом направлении Machine Learning, если не бояться учиться и совершать ошибки.

Узнайте, как взломать ChatGPT, как оптимизировать работу в Jupyter Notebook и как компилировать типизированный Python.

Big Data / Data Science

• Оптимизации работы Jupyter notebook при помощи параллельных вычислений (Библиотека Joblib)
• Анализировать данные — это как варить пиво. Почему дата-анализ и пивоварение — одно и то же с техноизнанки
• Как сэкономить свои нервы и деньги компании на перестроении структуры больших таблиц без простоя в PostgreSQL
• [ENG] How To Manage Environment For Data Science Project Using Conda
• [ENG] Unleashing the Potential of Random Forest Regression : A Python Implementation Guide with Hyperparameter Tuning
• [ENG] MLOps 101: A Beginner’s Guide to Understanding Machine Learning Model Operations
• [ENG] Demystifying the Data Product Lifecycle: From Inception to Retirement
• [ENG] Polars vs Pandas: A Brief Tale of Two DataFrame Libraries

AI и ML

• Фильтруй базар! Как мы параллельный русско-башкирский корпус чистили
• Кажется, вы больше не должны давать тестовые задания кандидатам на дом
• Как определить причины достижений и неудач футбольного клуба с помощью цифр
• Заметки про увеличение картинок нейронными сетями
• Взламывая ChatGPT: как мы участвовали в хакатоне по атакам на ИИ
• [ENG] Experiment Tracking and Hyperparameter Tuning with TensorBoard in PyTorch
• [ENG] Building a Vision Transformer from Scratch in PyTorch
• [ENG] All the things that Comprehend, Rekognition, Textract, Polly, Transcribe, and Others Do
• [ENG] Copy.deepcopy() vs clone() in Pytorch

Веб / Django / Flask

• Fastapi 0.100.0-beta1: ещё быстрее
• [ENG] Unlocking Performance: A Guide to Async Support in Django
• [ENG] Deploying a Flask Application on AWS EC2
• [ENG] Building an Infinite Website with Flask and OpenAI’s davinci-v3
• [ENG] Mastering Django CI/CD using GitHub Actions
• [ENG] Discovering PySeKT: Your Next Favorite Tech Stack

Скрипты, приложения и боты

• Как сделать Telegram-бота для проверки аптайма своего сервиса на Python (ч.1 мгновенные метрики)
• Как сделать Telegram-бота для проверки аптайма своего сервиса на Python (ч.2 алертинг)
• Простейший бот «на движке» WEB WhatsApp
• Как я написал конвертер 3D-моделей из подручных средств
• Messaging для чайников. Утилизируем все возможности RabbitMQ на Python
• Как можно компилировать типизированный Python
• Умный дом с голосовым ассистентом на минималках
• Типизация в Python. Работа с Mypy, PyCharm и SQLAlchemy 2.0
• [ENG] Reasoning about Streaming vs Batch with a Case Study from GitHub

Развлекательный контент

• [Видео] Python meetup (Online)
• [Видео] Обработка данных / Pandas 2.0

Нашли что-нибудь полезное и интересное для себя? Расскажите, какой раздел показался вам самым интересным, а каких статей не хватило, чтобы следующий дайджест получился ещё лучше.

Если дайджест вам понравился, посмотрите две предыдущие подборки:

А ещё присылайте в комментарии статьи и видео, которые ускользнули от нашего взгляда и не попали в дайджест. Поделитесь полезными материалами с другими читателями!

Узнайте, как готовить шаурму с помощью Python, как создать чатбот на основе ruT5, есть ли смысл в связке языков Python и C и какие есть AI-плагины для разработки на Python.

Big Data / Data Science

• PySpark для аналитика. Как выгружать данные с помощью toPandas и его альтернатив
• Применение Python для сбора и предобработки данных цифрового следа
• Форматы данных и файлов: руководство для архитекторов
• Почему для MLOps лучше выбирать Open Source, а не проприетарное ПО
• Как ускорить вывод ML-моделей в 4 раза, или Как может выглядеть экосистема МLOps в банке
• [ENG] Visualize Real-Time Data With Python, Dash, and RisingWave
• [ENG] 20 databases to pick in 2023 – simplified
• [ENG] Transform Your Data Like a Pro With dbt (Data Build Tool)
• [ENG] Polars vs Pandas: A Brief Tale of Two DataFrame Libraries
• [ENG] Data Visualization using Matplotlib and Seaborn

AI и ML

• Поиск объектов на изображении. Часть 1
• Заметки про увеличение картинок нейронными сетями
• Что под капотом у нейронной сети. Нейросеть c точки зрения математики и программирования
• cv3 — делаем OpenCV питоничным
• Роли ChatGPT, которые первыми начинают диалог с клиентом и добивается поставленной бизнес задачи
• Хороший, плохой, злой и… свободный? Сравниваем глуповатые, но усердные AI-плагины для разработки
• Сингулярность, в результате которой ИИ сам сделает себя умнее людей. GPT-4 играет в Minecraft и самообучается
• [ENG] 8 Crucial Lessons to Streamline Your Machine Learning Implementation
• [ENG] Build a SMS Bot that Answers questions over Docs with LangChain in Python

Веб / Django / Flask

• Роли ChatGPT, которые первыми начинают диалог с клиентом и добивается поставленной бизнес задачи
• AIsaacChat: ИИ чатбот на основе ruT5
• Парсинг, хранение и отображение логов 3-х разных агентов доставки электронной почты. MTA Log Parser
• [ENG] Django News – Django bugfix release 4.2.2
• [ENG] Django News – Python 3.7 to 3.12 updates
• [ENG] Testing in Django
• [ENG] 10 Django Packages Every Developer Must Install

Скрипты, приложения и боты

• Мой первый супероптимизатор
• Python3 + C, есть ли смысл?
• Shawarma as a service: как создать бота для заказа шавермы и оставить голодными лишь 1,1% коллег
• Сказ о том, как специалисты IT-поддержки скрипты писали…
• [ENG] I built 3 Apps using Spotify API and Python
• [ENG] Simple FriendList App In Pyhton Tkinter
• [ENG] Regular expressions and string manipulation in Python
• [ENG] pyaction 4.21.0 Released

Развлекательный контент

• [Видео] Типизация в Python
• [Видео] Python Language Summit 2023 / новости PyPI / Python 3.12 beta 1/ Diablo 4
• [Видео] Python: Ботоводство на AIOgram

Нашли что-нибудь полезное и интересное для себя? Расскажите, какой раздел показался вам самым интересным, а каких статей не хватило, чтобы следующий дайджест получился ещё лучше.

Если дайджест вам понравился, посмотрите две предыдущие подборки:

А ещё присылайте в комментарии статьи и видео, которые ускользнули от нашего взгляда и не попали в дайджест. Поделитесь полезными материалами с другими читателями!

Узнайте, как сгенерировать голос человека на Python, во сколько раз Mojo быстрее Python на самом деле и как обыгрывать противников в покер при помощи нейросетей.

Big Data / Data Science

• Кластеризация текста в PySpark
• Определение свободного парковочного места с помощью Computer Vision
• Что нам стоит диаграмму в Python построить: 5 вариантов привлекающей внимание визуализации данных и кое-что ещё
• Правильное подключение к БД: почему, зачем и как
• Все DETRы мира. Часть 1
• Что нового в SQLAlchemy 2.0?
• [ENG] Exploring Advanced and Modern Concepts in SQL with Practical Examples
• [ENG] My Favorite Free Courses to Learn Data Science in Depth

AI и ML

• Битва медведей: Pandas против Polars
• Реализация функции потерь в Python
• Использование компьютерного зрения для игры в покер
• Восстановить удаленную фотографию с флешки? Искусственный интеллект в помощь
• [ENG] Build your own YouTubeGPT using LangChain and OpenAI
• [ENG] Facebook Open-Sources Its Horizon AI Platform
• [ENG] How I built a Midjourney API
• [ENG] Semantic Search Using Vectors/Embeddings For Noobs
• [ENG] How to generate voices with Python?

Веб / Django / Flask

• Создаем блог на Django с опросами и тестами. Краткая инструкция. Часть 1
• Создаем блог на Django с опросами и тестами. Краткая инструкция. Часть 2
• Особенности асинхронности в Python
• Werkzeuger: раскручиваем arbitrary file read до RCE в веб-приложении на flask
• [ENG] How to create REST API using Django REST framework
• [ENG] WebSocket in Django
• [ENG] Deploying Your First Dockerized Django REST API on AWS Elastic Beanstalk: A Comprehensive Guide
• [ENG] A One Person Startup Tech Stack for Ninja Developers – Next.js, Django, Kubernetes, and GCP

Скрипты, приложения и боты

• Решаем задачу сетевого планирования с помощью Python
• FastAPI без db: Session
• Телеграм бот для CustDev’а на Aiogram
• Пишем на Python, как будто это Rust
• Propan — Python фреймворк для написания микросервисов с использованием брокеров сообщений
• Как заставить бэкендера писать фронтенд
• [ENG] Meet Omkar DevTools: Your Swiss Army Knife as a Ninja Developer
• [ENG] pyaction 4.20.0 Released
• [ENG] Binary Search in Python
• [ENG] Getting Started: Monitoring a FastAPI App with Grafana and Prometheus – A Step-by-Step Guide

Развлекательный контент

• [Видео] Собеседование Python 2023. Разбор базовых вопросов
• [Видео] Блиц по бэкенду: сравниваем Python и Java
• [Видео] [ENG] Mojo VS Python Speed Test
• [Видео] [ENG] How to Make Donkey Kong in Python!

Нашли что-нибудь полезное и интересное для себя? Расскажите, какой раздел показался вам самым интересным, а каких статей не хватило, чтобы следующий дайджест получился ещё лучше.

Если дайджест вам понравился, посмотрите две предыдущие подборки:

А ещё присылайте в комментарии статьи и видео, которые ускользнули от нашего взгляда и не попали в дайджест. Поделитесь полезными материалами с другими читателями!

Узнайте, что такое PandasAI и почему он изменит Data Science, как написать Telegram-бота на Django и как сделать языковую модель на Python.

Big Data / Data Science

• Координатный квест: как найти координаты и расстояния без регистраций и смс
• Байесовский подход к АБ тестированию
• Data-driven рост с помощью науки о данных и машинного обучения
• Анализ таблиц сопряженности средствами Python. Часть 1. Визуализация
• PySpark для аналитика. Как правильно просить ресурсы и как понять, сколько нужно брать
• [ENG] Data-Oriented Programming in Python
• [ENG] Using pandas.cut() in Python for Data Analysis: Creating Number and Date Intervals
• [ENG] NumPy and Pandas: Essential Tools for Data Analysis and Manipulation
• [ENG] Scikit-Learn Code Snippets for Common Machine Learning Tasks: A Comprehensive Guide for Beginners

AI и ML

• Торговый робот с использованием нейросетей
• Делаем анализатор ников на новой FRED-T5. Тотальный разнос
• Бесплатные фронтенды к ChatGPT
• Обучение YOLOv5 на кастомном датасете
• [ENG] Open AI API with Docker
• [ENG] Building an AWS Well-Architected Chatbot with LangChain
• [ENG] ChatGPT, Made Private and Compliant!
• [ENG] Getting Started with LangChain: A Beginner’s Guide to Building LLM-Powered Applications
• [ENG] Pandas AI — The Future of Data Analysis
• [ENG] PandasAI: Super Simple Data Analysis with AI (Powered by OpenAI)

Веб / Django / Flask

• Telegram Django Bot за пару строк
• Как создать собственный кэшбэк-сервис
• [ENG] Setting Up Your Full-Stack Development Environment with Python, Django, and React
• [ENG] Authentication system using Python (Django) and SvelteKit
• [ENG] File upload using Django and HTML
• [ENG] HTMX within Django – Intro 2023
• [ENG] Django – Tips, tricks and packages – 2023
• [ENG] Redis as a Powerful Caching Solution for Django Web Applications

Скрипты, приложения и боты

• Python. Выражения в методах и индексаторах
• «Карманный синоптик за час». Пишем Telegram-бота для мониторинга погоды на Python
• Макет автоматизированного создания пользователей (ботов) в социальных сетях и имитации их активности
• Решаем криптарифмы с помощью алгебры и python
• [ENG] The PiCast: Connect a Raspberry Pi Pico W to an Anvil app
• [ENG] Art of Manually Crafting Packets (TCP/IP).
• [ENG] Doing much better than your .env file

Развлекательный контент

• [Видео] Изучаем иностранные языки с помощью Python и ChatGPT
• [Видео] Притворяемся языковой моделью: учимся генерировать текст на Python с помощью цепи Маркова
• [ENG] 50 Chat GPT Prompts Every Software Developer Should Know (Tested)

Нашли что-нибудь полезное и интересное для себя? Расскажите, какой раздел показался вам самым интересным, а каких статей не хватило, чтобы следующий дайджест получился ещё лучше.

Если дайджест вам понравился, посмотрите две предыдущие подборки:

А ещё присылайте в комментарии статьи и видео, которые ускользнули от нашего взгляда и не попали в дайджест. Поделитесь полезными материалами с другими читателями!

Бирки из костей и приходские книги

Люди собирали данные на протяжении всей истории. Так, в горах Лебомбо в Свазиленде была найдена кость бабуина, на которой имеется 29 зарубок. Возраст этого артефакта около 40 000 лет. Одна из версий, что эти насечки были чем-то вроде счётчика лунных фаз: то есть, по сути, одним из первых календарей. Были найдены и другие подобные предметы с зарубками, которые могли служить для расчётов запасов еды.

Более осязаемые следы работы с данными тянутся с середины XVII века. В 1640-х годах лондонский галантерейщик Джон Граунт, которого после стали называть «Колумбом статистики», собрал и изучил приходские книги рождений и смертей за несколько десятилетий и опубликовал наблюдения.

Так Граунт пытался предупредить вспышки бубонной чумы — а в итоге положил начало современной эпидемиологии. Он стал первым человеком, применившим анализ сводных данных для решения конкретной проблемы — собрал статистику смертности разных слоёв населения. И выяснил, что вспышки чумы, вопреки популярному тогда мнению, не связаны с движением планет или коронацией королей. А ещё он доказал, что женщины в среднем живут дольше мужчин и что большинство смертей приходится на первые годы жизни.

Ещё один учёный, немецкий физик Генрих Вильгельм Брандес, пытался решить проблему неурожая в Европе, который привёл к массовому голоду. Он предположил, что погодные изменения и последующий неурожай можно было предсказать. Чтобы доказать свою теорию, учёный собрал данные с метеостанций и к 1816 году нарисовал первую в истории карту погоды.

Ткацкие станки и шифровальщики

К началу XIX века набрала разгон индустриальная революция — ручной труд не успевал за прогрессом. Требовалось автоматизировать производство, а для этого закодировать станки.

Первая попытка такого программирования пришлась на 1725 год. Лионский ткач Базиль Бушон запустил ткацкий станок, которым управлял не человек, а зацикленная дырчатая бумажная лента: последовательность отверстий задавала последовательность движений челнока.

После Бушона над этой технологией трудились и другие исследователи. Постепенно бумажную ленту заменили жестяные и картонные таблички — их назвали перфокартами.

Популярность к ним пришла в 1805 году. Тогда Наполеон посетил ткацкую мастерскую Жозефа Жаккара, увидел, как станок сам ткёт узорчатое шёлковое полотно, — и распорядился сделать патент на изобретение общественным. Уже к 1812 году с помощью перфокарт во Франции работали 18 000 ткацких станков. После перфокарты стали использовать и в других отраслях промышленности.

В 1884 году американский инженер Герман Холлерит получил патент на табулятор — машину, способную считывать перфокарты и производить вычисления. С помощью этой техники в США провели перепись населения 1890 года. И новаторов ждал успех: предварительные результаты подсчитали в течение шести недель после переписи, а весь объём информации обработали в течение двух лет. Данные с формуляров набивали на перфокарты с помощью перфораторов. В табуляционную машину вводилась колода заранее подготовленных перфокарт, и далее всё происходило без вмешательства человека: считывание информации с перфокарт и проведение необходимых вычислительных операций.

В 1896 году Герман Холлерит открыл свою фирму по производству табуляторов. Через столетие весь мир узнал её как International Business Machines Corporation или IBM.

Вскоре появилась прародительница дискет и жёстких дисков — магнитная лента. В 1928 году немецкий инженер Фриц Пфлеймер запатентовал это изобретение: с помощью магнитов он записал информацию на тонкую бумагу, покрытую порошком оксида железа. Именно с Пфлеймера началась эра хорошо знакомых нам плёночных кассет для записи звука и видео.

Они быстро вытеснили цилиндры и диски для фонографов, граммофонов и патефонов: магнитные ленты были дешевле, вместительнее и долговечнее. По некоторым показателям ленты превосходят и современные накопители — поэтому их до сих пор используют в таких крупных дата-хранилищах как у Google и Европейского Центра ядерных исследований (CERN).

Во время Второй мировой войны военные остро нуждались в шифровке и дешифровке информации: с одной стороны, необходимо было координировать свои действия, скрывая это от врага, с другой — перехватывать секретные данные. Это спровоцировало разработку кардинально новых методов и инструментов для защиты данных.

Однако возможности обработки данных всё ещё были ограничены. Многие организации продолжали полагаться на ручной учёт и бумажные архивы до конца XX века.

Наука о данных

Следующий принципиально новый уровень работы с данными начался с появления ЭВМ в 40-е. А в 1948 году американский инженер и математик Клод Шеннон — позже его назвали «отцом информационного века» — ввёл понятия информации и бита как единицы измерения. Вскоре бит стал такой же базовой величиной, как дюйм или фунт.

Одним из первых инновациями воспользовалось то же Бюро переписи населения США — в итоге с ЭВМ обработка данных о переписи 1950 года заняла несколько месяцев. Это был настоящий прорыв.

Через несколько лет появились глобальные организации по работе с данными. В 1960-м — Международная федерация по обработке информации (IFIP). Она дала определение данным, назвав их «формальным представлением фактов или идей, которые можно передавать и которыми можно управлять каким-либо способом». В 1966 году Международный совет по науке открыл Комитет по данным для науки и техники (CODATA). С тех пор он разрабатывает стандарты для работы с информацией.

В 70-е британский учёный Эдгар Кодд разработал реляционную модель — она стала классикой структурирования данных и популярна до сих пор. Благодаря этой модели можно быстро находить связи в массивах данных: выполнять поиск по множествам таблиц с помощью одного запроса.

А американский математик Джон Тьюки предсказал, как будет эволюционировать работа с данными благодаря компьютерам — в 1977 году он опубликовал работу «Исследовательский анализ данных» и предложил одноимённую концепцию. Позже она легла в основу изучения больших данных.

И, наконец, появился официальный термин Data Science. Датский инноватор Петер Наур в своей книге «Краткий обзор компьютерных методов» 1974 года определил, что наука о данных изучает жизненный цикл цифровой информации — от возникновения до преобразования и использования в других областях знаний.

Соцсети, ИИ и Big Data

В конце XX века распространяется Интернет, появляются социальные сети и данные растут в геометрической прогрессии.

В нулевых научные организации, СМИ и корпорации начинают провозглашать Data Science как новую дисциплину — и говорить о необходимости её внедрения в бизнес-процессы. В 2006-м Томас Дэвенпорт, учёный, специализирующийся на аналитике и инновациях, заявляет, что теперь бизнес будет конкурировать за счёт умения собирать, анализировать данные — и прогнозировать на их основе.

В 2008 году Nature посвящает спецвыпуск журнала взрывному росту объёма информации и впервые использует словосочетание «большие данные» — так начинается формироваться концепция Big Data. А в 2012-м Harvard Business Review провозглашает: «дата сайентист — самая сексуальная профессия 21 века».

Сейчас мы генерируем данные постоянно: пока делаем покупки, ходим на медицинские осмотры и листаем ленты социальных сетей. Прогнозируется, что к 2024-му человечество нагенерирует около 150 зеттабайт данных. Это в 2,5 раза больше, чем в 2020-м. А значит, современных вычислительных мощностей скоро будет недостаточно — человечеству нужны кардинально новые технологии для хранения и обработки данных, такие как искусственный интеллект и квантовые вычисления.

Датацентричная организация

Газпромбанк развивается как датацентричная организация — это одно из направлений нашей стратегии. В банке мы используем как классические подходы для работы с данными, так и алгоритмы и модели собственной разработки. Мы также создаем новую инфраструктуру для хранения и обработки данных. О том, как мы автоматизировали обработку данных, можно прочитать в этой статье.

Недавно мы запустили программу cтажировок для старшекурсников, выпускников и начинающих специалистов по направлению Data Science и Machine Learning. О новых наборах объявим в нашем блоге, так что подписывайтесь и следите за новостями. А наши вакансии по всем направлениям можно посмотреть здесь.

В Москве проходит конкурс «Лидеры цифровой трансформации». Это большой хакатон, участники которого придумывают решения актуальных для столицы задач. Подать заявку на участие может команда из любого города, не только из Москвы. Проект даëт возможность превратить свою идею в технологию, которая принесёт пользу Москве.

Общий призовой фонд — 42 млн рублей. Заявки на участие принимаются на сайте конкурса до 21 мая. И там же можно посмотреть задачи.

Вот какую задачу подготовили наши эксперты. Клиенты Газпромбанка пользуются платёжными терминалами для внесения наличных. У каждого из них разная скорость наполнения, зависящая от расположения и клиентопотока в локации. Участникам конкурса предлагается разработать модель по построению оптимальных маршрутов инкассации платёжных терминалов.

Что нужно сделать

Разработать модель, которая будет на ежедневной основе выбирать для обслуживания платёжные терминалы и планировать маршруты их объезда, учитывая бизнес-ограничения по следующим показателям:

— максимальный период времени, в течение которого надо обслужить терминал;

— лимиты наполняемости терминала;

— затраты на обслуживание терминала и издержки на неутилизированный остаток.

Призовой фонд задачи:

1 место — 1 000 000 ₽

2 место — 600 000 ₽

3 место — 400 000 ₽

Решить задачу надо до 28 мая. Победителей объявят во время масштабного фестиваля, который состоится в Москве с 10 по 12 июня.

Авторам самых интересных решений предложим обсудить возможность получить работу в банке или пройти стажировку.

Реклама АО «Газпромбанк» LjN8KCPx9

Узнайте, как подключить AutoGPT к своему проекту, какие обновления затронули Django и как обучить GPT-4 новым данным.

Big Data / Data Science

• Как мы делали скоринг на микросервисной архитектуре руками не-программистов
• Сам себе Росстат
• Real-time аналитика в Учи.ру: как смотреть сложные метрики
• Новые горизонты в оценке рисков: как источники данных помогают создать точные модели
• EN DataHub: веб-песочница для тех, кто изучает SQL
• EN All Statistical Tests using Python: Mastering Statistics | Part — 1
• EN Getting Started with LangChain: A Beginner’s Guide to Building LLM-Powered Applications
• EN The Next Big Crisis for Data Teams
• EN The Best Learning Paths for AI and Data Leadership
• EN PandasGUI — The Ultimate Secret to Effortless Data Analysis
• EN Exploratory Data Analysis: The Ultimate Workflow

AI и ML

• Об инициации весов при обучении нейронных сетей. Личный опыт и рассуждения
• GPT-4 добавляем новые знания: Git репозиторий
• Google дала Bard возможность создавать код на 20 языках, включая C++, Go, Java, Javascript, Python, Typescript
• Пишем простой ML веб-сервис на FastAPI
• Создай своего ИИ-ассистента с помощью ChatGPT и Streamlit
• EN GPT4All: Running an Open-source ChatGPT Clone on Your Laptop
• EN How to Easily Install Auto-GPT: The Autonomous GPT-4 Everyone is Talking About
• EN Discover ThinkGPT: The Cutting-Edge Python Library that Transforms AI into a Powerful Thinking Machine

Веб / Django / Flask

• PyCharm Docker Django Debug
• Простая очередь задач в Django, подключение Kandinsky 2.1
• 403, 404 или 405. Разбираемся со статусами во ViewSet’ах DRF
• Связь Django и PostgreSQL внутри Docker
• Релиз Django LTS 4.2: обзор изменений и необходимости обновления
• EN Handling a Million Tasks in Django: Efficient Prioritization with Celery, Redis, and Flower
• EN The Road Less Traveled: Exploring the Advanced Features of Django
• EN Recommended stack for your Django Project

Скрипты, приложения и боты

• Как работает функция print в Python
• Ускоряем Python в сто раз при помощи менее чем ста строк на Rust
• Проверка GIL в python
• Создание DSL на Python с библиотекой textx
• 7 подходов к проверке атрибутов классов в Python
• Оптимизируем использование памяти в приложениях Python
• Сколько Надо Строк Кода Для Того Чтобы Подписать Артефакты?
• В репозитории PyPI внедрили опцию публикации пакетов без привязки к паролям и токенам API
• Как подключить платежную систему с Payments к Telegram
• EN 20 Python Concepts I Wish I Knew Way Earlier

Развлекательный контент

• Проверяем ветхозаветную историю происхождения человечества от Адама и Евы с помощью популяционной модели
• Видео Обучение подростков и взрослых Python в 2023 году / Программирование — вторая грамотность
• Видео  Live from PyCon 2023 – Talk Python #413
• Видео  Unpopular opinion! Python 3.11 is going to kill Go

Нашли что-нибудь полезное и интересное для себя? Расскажите, какой раздел показался вам самым интересным, а каких статей не хватило, чтобы следующий дайджест получился ещё лучше.

Если дайджест вам понравился, посмотрите две предыдущие подборки:

А ещё присылайте в комментарии статьи и видео, которые ускользнули от нашего взгляда и не попали в дайджест. Поделитесь полезными материалами с другими читателями! 😉

Над какими задачами работает аналитик данных

В построении ленты Дзена есть много аспектов, которые можно совершенствовать.

• Достаточно ли разнообразные документы отображаются?
• Строится ли лента рекомендаций с учётом форматных предпочтений пользователя — текстов, постов или видео?
• Достаточно ли контент увлекательный, чтобы пользователь вернулся в сервис?
• Понимают ли авторы, что нужно делать, чтобы находить своего читателя, «залетать» в широкие рекомендации и набирать подписочную базу?

Аналитик данных исследует все эти вопросы. Он эксперт по измерениям. Его задача не просто предлагать изменения в сервисе, основываясь на своём мнении, а по внутренним и внешним данным выводить метрики, которые растят ML-инженеры и продакт-менеджеры.

Особенность многих задач аналитики в Дзене в том, что нужно держать в голове интересы трёх сторон: пользовательского блока, авторского и бизнесового.

Например, мы хотим начать показывать в ленте больше контента от авторов, на которых пользователь подписался. Это кажется логичным, ведь подписка — это ценный и понятный сигнал. Но если начать разбираться, то могут получиться противоречивые результаты.

Больше подписного контента помогает авторам донести свои материалы до пользователей, а пользователям читать тех, кто им интересен. В то же время можно быстро попасть в «пузырь», когда читатель после нескольких подписок больше не видит материалов других авторов. Одновременно с этим авторы, которые не успели набрать свою аудиторию, не понимают, как им расти и набирать подписки. Это к тому же влияет на выручку компании. И аналитик должен разобраться, стоит ли выкатывать такое изменение, объяснить его влияние на метрики в моменте и спрогнозировать ситуацию в долгосрочной перспективе.

У аналитика много исследовательских задач, связанных с поиском проблем и точек роста сервиса. Например, пользователи, которым нравится гейминг, реже пользуются Дзеном и остаются в продукте. Значит, нужно изменить алгоритмы этой тематики. Для этого нужно сделать deep dive, чтобы понять, чего именно там не хватает. Может, нужно поменять контент или форматы материалов, или привлечь новых авторов, пишущих на эту тему.

Помимо поиска точек роста, аналитик вовлечён в широкий спектр процессов компании. Он оценивает перспективность идей и возможный эффект от них до начала реализации. Для этого он находит метрики, по которым будет приниматься решение о пользе изменения. Если таких метрик ещё нет, то создаёт их и валидирует. Дата-аналитик генерирует гипотезы, проверяет их, проводит A/B тесты, анализирует результаты и выносит свой вердикт.

Аналитик данных может и обучать модель, если она нужна для прогнозирования нужного показателя, но он не углубляется в инженерную специфику. Чтобы выкатить модель в прод, нужны ресурсы разработки. Тогда аналитик ставит разработчикам подробное ТЗ для модели: например, какие данные нужно поставлять, какие ограничения на скорость установить и к какому целевому показателю качества стремиться. Это будут реализовывать уже ML-инженеры.

Какие знания нужны дата-аналитику

• Обладать продуктовым мышлением. Нужно понимать потребности бизнеса и уметь прозрачно доносить свои мысли.
• Делать простые запросы в базы данных, знать SQL.
• Писать простой код на Python для анализа данных и визуализации.
• Разбираться в статистических методах анализа данных.
• Ориентироваться в основах ML: что такое таргет в модели, на основе каких данных она считается.

Такая комбинация hard- и soft-скилов необходима, так как дата-аналитик, по сути, является связующим звеном между продуктом и разработкой. Он помогает ML-инженерам понять, как их изменения влияют на пользователей сервиса и бизнес в целом, а продакт-менеджерам предлагает варианты применения ML для решения задач.

Подробнее узнать требования к роли специалиста по анализу данных можно в вакансиях аналитика качества поиска и аналитика краудсорса.

Над какими задачами работает ML-инженер

ML-инженеры умеют не только обучать модели машинного обучения, но и доводить их до высоконагруженного прода, находя компромисс между сложностью и эффективностью моделей. Они знают, как правильно применять алгоритмы, как эффективно построить систему в проде, чтобы она быстро работала.

Вот как, например, выглядит работа с холодной лентой в Дзене.

Большинство пользователей уже давно присутствуют на платформе. Они лайкают статьи, подписываются на авторов, за это уже можно цепляться и что-то им рекомендовать. И есть пользователи, которые пришли в приложение в первый раз, или пассивные пользователи, которые заходят часто, но никуда не кликают. Для них сложно подобрать рекомендации, потому что информации об их интересах мало.

Для начала контент можно показывать максимально разнообразно по темам. Не будем показывать всем только борщи или машины, покажем микс — может, что-то зацепит. Если есть хотя бы один позитивный отклик на что-нибудь в этой ленте, то уже можно перестраивать рекомендации, используя сложные модели.

При этом также можно использовать внешние данные: какие характерные для своей категории сайты посещает пользователь, например, люди определённого возраста. По визитам в интернете и cookie в браузере можно предсказать пол, возраст и строить дальнейшие рекомендации.

Также ML-инженер умеет подбирать факторы — характеристики, помогающие предсказывать поведение пользователей. В холодной ленте кроме соцдема и быстрой адаптации под пользователя с технической стороны практически больше ничего не нужно. В ленте для горячих пользователей, у которых много кликов, всё интереснее. Нужно из миллионов публикаций выбрать несколько десятков, которые поместятся на экране для показа. Как это сделать?

Мы это делаем в два этапа. Первый — отбор кандидатов. Из миллионов мы находим тысячи грубым быстрым способом: кто что раньше лайкал, смотрел и читал, и подбираем связанные материалы. Они могут быть связаны тематически, или это может быть тот же автор. Второй этап — ранжирование тысяч отобранных кандидатов с использованием более сложных моделей, вроде нейросети и градиентного бустинга. Достаточно за раз отдать пользователю 20 рекомендаций и подгружать дополнительные по мере необходимости, пока пользователь крутит ленту.

Пользователю может быть интересно много разных тем, он читает их с разной периодичностью. ML-инженер должен узнать, что прямо сейчас на этом устройстве в это время суток лучше показать, в каких пропорциях, в каком формате.

Можно проверить такой фактор: как часто пользователь смотрит посты в определённой теме. Допустим, в теме «Кино» он тратит в среднем минуту на показ, а в теме «Искусство» — две минуты. Модель учтёт, что пользователь смотрит чаще, и покажет скорее «Искусство», чем «Кино». Дальше этот фактор нужно внедрить во всю нашу инфраструктуру: добавить этот показатель в обучение модели и на бэкенд.

Какие знания нужны ML-инженеру

• Уметь писать алгоритмы. Важно, чтобы у кандидата было алгоритмическое мышление. Мы можем дать такую задачу: в строке с пробелами некоторые повторены несколько раз, нужно их соединить в один.
• Знать основы машинного обучения. Мы даём проблему, просим поставить задачу машинного обучения, придумать, какие характеристики нужно использовать, чтобы её решить, как оценивать решение, и какие могут быть проблемы при внедрении.
• Писать код на Python для построения моделей.
• Знать SQL-подобный язык для запросов к данным. Например, Hive. Это нужно, чтобы провести первичную аналитику, собрать семпл или построить простые графики.
• Развёртывать модели в продакшене. Мы используем Java, потому что Python медленный. При этом мы не требуем наличие Java на входе, языку мы готовы научить.

Также можно посмотреть, какие ещё навыки нужны ML-разработчику и Java-разработчику в ML-команду.

Для нас ML-инженер — это специалист, который разбирается и в программировании, и в ML. В огромных компаниях с тысячами специалистов в штате бывает и более чёткое разделение обязанностей: кто-то делает прототипы, а кто-то потом их внедряет. Когда команда небольшая, то удобнее, чтобы у специалиста были обе компетенции. Так он сможет и понять задачу бизнеса, и сделать прототип, и довести её до конца — для компании это очень ценный профессионал.

Узнайте, какие существуют альтернативы ChatGPT, как написать собственный Duolingo и как изменились фреймворки Python для работы с BigData.

Big Data / Data Science

• Как IT-специалисты-экологи спасут планету
• Лучшие практики при работе с мастер-данными
• FineBI 6.0: 9 полезных обновлений, о которых вы не знали
• Производительность и стабильность Knime на слабых компьютерах
• Полезные методы работы с данными в Pandas. Часть 2
• Основные инструменты для работы в Data Engineering: введение для начинающих Data Engineer’ов
• Экспресс-анализ данных на Python
• Пишем приложение на Python для интерактивной визуализации графов с NetworkX, Plotly и Dash
• Начинаем работу с PyTorch 2.0 и Hugging Face Transformers
• %save-sc0% Data structures in Computer Science
• %save-sc1% From Kafka to Amazon S3: Partitioning Outputs
• %save-sc2% Data Reduction and Why It Is Important For Edge Computing
• %save-sc3% Driving Business Success: Unleashing the Power of Data Integration

AI и ML

• Ускорение работы моделей Stable Diffusion на процессорах Intel
• О чём все эти люди говорят, ChatGPT?
• Savant: новый высокопроизводительный фреймворк Python для видеоаналитики на оборудовании Nvidia
• Начинаем работу с PyTorch 2.0 и Hugging Face Transformers
• Распознаем автомобильные номера на TorchServe
• Как я решила попробовать себя в ML: анализ эмоциональной окраски отзывов с Кинопоиска 2.0
• Руки на руль: Bus Factor следит за тобой
• OpenAssistant: Вышла бесплатная открытая альтернатива ChatGPT
• Чем отличаются ChatGPT3 и ChatGPT4?
• Запуск аналогов ChatGPT на домашнем ПК в пару кликов и с интерфейсом
• %save-sc4% Generating Images from Text with C# and Open AI DALL-E
• %save-sc5% Google and Stanford Creates a Matrix With Chat-GPT Instances
• %save-sc6% Create a ChatGPT Plugin to retrieve NASA images

Веб / Django / Flask

• Релиз Django LTS 4.2: обзор изменений и необходимости обновления
• Интеграция и кастомизация OpenAPI в Django/Django Rest Framework
• Обучаем с помощью LlamaIndex и OpenAI GPT-3 отвечать по вашей базе знаний
• %save-sc7% Create a Modern Application with Django and Vue
• %save-sc8% Mastering Django: Best Practices for Writing High-Quality Web Applications
• %save-sc9% How To Revert Migration In Django?
• %save-sc10% Understanding QuerySets in Django
• %save-sc11% 10 Must-See Django Open-Source Projects to Inspire Your Next Web App
• %save-sc12% 17 Django Tips and Tricks for Optimizing Your Application

Скрипты, приложения и боты

• EasySteamPaybot или как я помогал людям пополнять Steam
• Как сделать торгового робота для Binance
• Как перестать беспокоиться и установить Python-проект другу под Windows
• Восемь признаков недо-yield вашего проекта на Python
• Методика портирования пакетов Python в операционную систему «Нейтрино»
• Пишем свой личный Duolingo на минималках
• DSL фреймворк для создания Telegram ботов
• Project_2. Местоположение с помощью IP-адреса (Python)
• Визуализация 5 алгоритмов сортировки на Python
• %save-sc13% Linting Python in VS Code [Video]
• %save-sc14% Building a Simple Web Scraper with Python and BeautifulSoup

Развлекательный контент

• %save-sc15% LTS-релиз Django 4.2 / вышли PyTorch 2.0 и Pandas 2.0 / свежие PEP
• %save-sc16% Python Channel
• %save-sc17% The History of AI

Нашли что-нибудь полезное и интересное для себя? Расскажите, какой раздел показался вам самым интересным, а каких статей не хватило, чтобы следующий дайджест получился ещё лучше.

Если дайджест вам понравился, посмотрите две предыдущие подборки:

А ещё присылайте в комментарии статьи и видео, которые ускользнули от нашего взгляда и не попали в дайджест. Поделитесь полезными материалами с другими читателями! ?

Узнайте, как заказать столик в ресторане при помощи ChatGPT, как инвестировать эффективнее при помощи Big Data, как создать свой голосовой помощник и почему лень — это не порок.

Big Data / Data Science

• msgspec: быстрый и экономичный парсинг JSON на Python
• Консистентность в конкуретной среде: как не захлебнуться в потоках данных
• Почему Data Science не для вас?
• Дублирующий скрипт: как с его помощью мы ускорили бизнес-процесс с двух рабочих дней до семи минут
• Синтетические данные для машинного обучения: их природа, типы и способы генерации
• EN Graph Databases vs Relational Databases: What and why?
• EN The ultimate guide to Pandas’ read_csv() function
• EN I made a Finance Database with over 300.000 tickers to make Investment Decisions easier
• EN So, You Recommended a Python Time-Series Package … Now What?
• EN Everything you need to know about pandas 2.0.0!

AI и ML

• Основы генеративно-состязательных сетей
• Учим английский с chatGPT
• ML-пайплайн классических банковских моделей классификации
• Как подружить Алису с ChatGPT
• Как создать свою собственную нейронную сеть с нуля на Python
• Ирина, голосовой помощник — теперь и со вкусом GPT-3
• Распознавание подачи в волейболе с помощью машинного обучения
• EN A Beginner’s Guide to Prompt Engineering with GitHub Copilot
• EN OpenCommit: GPT generates impressive commits in 1 second 🤯🔫 (open-source, 50k views)
• EN LLMs will fundamentally change software engineering
• EN Using GPT-4 and Dalle2, I made a Python script that auto-generates memes without any input…
• EN Introducing gptty v0.2.1 – A Powerful CLI Wrapper for ChatGPT with Context Preservation & Query Support, Now on PyPI!
• EN Free-to-use GPT-3 powered command-line shell (no API-key required)

Веб / Django / Flask

• Декоратор cached_property
• Django DRF Sign-in with Apple
• Может ли chatGPT забронировать столик в ресторане через WhatsApp?
• EN How to Create a Simple Web App with Python and Flask in 8 Easy Steps
• EN Learn How to Test Flask Applications with Pytest
• EN Design architecture for large file downloads
• EN Learn How to Create a CI Pipeline for Your Django Application
• EN Implementing Multiple User Types in Django
• EN Turbocharge Your Django Application: Mastering Database Partitioning for High Traffic Optimization

Скрипты, приложения и боты

• Ультимативный Roadmap для Python-разработчика в 2023 году + источники знаний
• Пишем простого бота-администратора для Telegram на Python. Тестируем на жене
• Как я чистила текст от ударений в словах при помощи Python
• 7 уровней построения интерфейсов командной строки на Python
• Ломаем текстовую капчу на примере VK или брутфорсинг до сих пор актуален
• Решаем задачу по взаимодействию микросервисов на Python тремя способами
• EN Contribute to the Python-like Nim language
• EN Why use classes?
• EN Nanobind is a small binding library that exposes C++ types in Python and vice versa
• EN Arguments against separating `test` from `src` in a python package?

Развлекательный контент

• История о том, как прочитать 120 тысяч анекдотов и не рассмеяться раньше времени
• Байки погромиста. Если кто-то скажет, что программирование — это скучно
• EN I am a lazy developer
• Видео Moscow Python Meetup №81. Вступление.
• Видео Moscow Python Meetup №81. Николай Марков. Контейнерные змеи
• Видео Moscow Python Meetup №81. Евгений Соколов. Лучший язык — это… или Пайтон против Суслика
• Видео Moscow Python Meetup №80. Максим Безруков. Кто такой syslog, зачем читать RFC-* и причём тут Django

Нашли что-нибудь полезное и интересное для себя? Расскажите, какие материалы понравились вам больше всего, а каких статей не хватило, чтобы следующий дайджест получился ещё лучше.

Если дайджест вам понравился, посмотрите две предыдущие подборки:

А ещё присылайте в комментарии статьи и видео, которые ускользнули от нашего взгляда и не попали в дайджест. Поделитесь полезными материалами с другими читателями! 😉

Computer Vision Engineer

Computer Vision Engineer обучает ИИ распознавать объекты и реагировать на них без необходимости в «глазах». Эта отрасль инженерии привлекает не только технарей, но и гуманитариев, ведь чтобы ИИ научился распознавать, большое количество видео и фото обрабатывается вручную, описывая изображенные на них объекты.

Разумеется, опыт работы с кодом, способность быстро адаптироваться к новым технологиям и задействовать алгоритмы помогают в достижении успеха в этой отрасли.

Инженер робототехники

Инженер-робототехник — это специалист, который разрабатывает архитектуру и вводит в эксплуатацию роботов, приборы и сложные робототехнические системы.

Они используются для:

• производственных целей;
• научно-исследовательских целей;
• боевых действий;
• развлечений;
• бытового применения.

Роботы позволяют выполнять рутинную работу и сложные задачи практически без участия человека.

Инженеры-робототехники могут работать в автоконцернах, авиационных и космических предприятиях, инженерных компаниях и стартапах, занимающихся созданием роботов.

Работа с данными

Компаниям, желающим обойти конкурентов и оптимизировать бизнес-процессы, чтобы получать большую прибыль, потребуются исследования данных. В связи с этим активно растёт спрос на профессионалов таких как аналитик BI, Data Scientist, аналитик данных, специалист Machine Learning, etc.

Data Analyst

Data аналитик собирает данные, на основе которых принимается решение. Он оценивает широкий спектр данных, после чего выбирает и обрабатывает те, которые важны для принятия решений. Далее аналитик визуализирует полученные данные, разрабатывает рекомендации и предлагает концепции ведения бизнеса.

Чтобы стать аналитиком данных, необходимо:

1. Обладать знаниями и навыками в области анализа данных.
2. Иметь опыт работы с основными инструментами анализа данных.
3. Уметь работать с большим объемом разнородной информации.

Data Engineer

Data engineer — это специалист, отвечающий за сбор, хранение и преобразование данных. Данные используются для создания и обучения моделей искусственного интеллекта (ИИ). При построении пирамиды потребностей ИИ в первую очередь на повестку дня выходят три основных этапа, делающиеся дата-инженером: извлечение, перенос/хранение и анализ/предварительная обработка данных.

ML-инженер — это специалист, который работает в сфере Data Science. Задачи специалиста сводятся к практическому обучению компьютера поиску взаимосвязей в данных и принятию на их основе тех или иных решений.

Вот лишь некоторые примеры результатов ML-инженерии:

• «умные ленты» в социальных сетях;
• алгоритмы рекомендаций на музыкальных стримингах;
• сервисы перевода типа Google Translate;
• боты-помощники типа Олега банка «Тинькофф» и Алисы «Яндекса».

AI Ethicists (Этик ИИ)

Для того, чтобы ИИ мог действительно принимать правильные решения, необходимо наличие эксперта по этике ИИ. Он должен понимать и учитывать человеческие чувства, политические взгляды и привязанности, чтобы программировать ИИ так, чтобы тот был нейтральным и при этом понимал, что является правильным или неправильным.

Этика ИИ даёт нейросети понимание таких сложных этических понятий, как любовь, война, те или иные слова вежливости, etc.

Да, ИИ всё ещё лишён чувств, поэтому для принятия правильных решений и нужен эксперт по этике ИИ, который понимает и учитывает нюансы, недоступные искусственному интеллекту.

Узнайте, как написать свой аналог GitHub Copilot без знаний об искусственном интеллекте, как работать с данными и памятью в Pandas и как написать нейросеть, которая сможет самостоятельно распознавать объекты.

Big Data / Data Science

• Data Mesh: что это такое и для чего он нужен инженерам
• 9 баз данных NoSQL, актуальных на 2023 год
• Как и зачем оценивают индекс зрелости ИИ
• Большие данные мертвы. Это нужно принять
• Процесс ELT: основные компоненты, преимущества и инструменты создания
• Отображение графа на Python с networkx
• Откуда есть пошла аналитика и что отличает DS, DA, BA и SA
• HalvingSearch: ускорение поиска по сетке (grid search). Библиотека sklearn
• Не пытайтесь измерить использование памяти в Pandas
• Перевод предобученной модели Keras на матричные вычисления
• CutTheLog – когда он слишком большой
• EN Using on Disk Storage With an In-Memory Graph Database
• EN Data Preprocessing Using Python
• EN 3 Quick and Easy Ways to Visualize Your Data Using Pandas
• EN PyGWalker: A Python Library for Visualizing Pandas Dataframes
• EN Create Audience Segments Using K-Means Clustering in Python
• EN Mastering Missing Data in Python: Tips for Data Scientists
• EN Reading and Processing Data with Pandas: A Guide to Using read_csv() with CSV Files

AI и ML

• Генерация 2D мира с помощью клеточного автомата на Python
• Цепочка методов в pandas. Прокачиваем свой код. Минигайд для интересующихся
• Просим бота написать бота
• Как без денег и знаний в AI повторил Copilot’а
• Прости нас, Джон Коннор, или Как мы научили нейросеть точечно распознавать звуки выстрелов
• Пишем нейросеть для сегментации снимков со спутника
• Как я делал ChatGPT бота в Salebot и ничего не вышло
• Как создание бинарного классификатора открыло ящик Пандоры в стандартах владения английским языком
• AIGod — распознавание объектов
• Учим нейросеть принимать решения на основе уже известного опыта (на примере Шахмат и загруженного датасета)
• Классификация изображений в облачной системе Google Colab
• Визуализация архитектуры модели PyTorch
• EN Building a Reddit Thread Summarizer with ChatGPT API
• EN Exploring the Intersection of AI and Physics: The Role of ChatGPT in Code Generation
• EN A Simple Guide to The (New) ChatGPT API with Python
• EN Write Readable Tests for Your Machine Learning Models with Behave
• EN Harness the Power of ChatGPT Without API Credits: Introducing GPT_scraper
• EN End-to-End Speech Recognition with Python
• EN How to Create an AI-Powered Chatbot with Gradio and OpenAI’s GPT-3.5

Веб / Django / Flask

• Python, Django и немного защиты кода
• Как разработать канбан-доску на Django, DRF и Alpine.js
• Основы PyCharm
• Как избежать проблем при запуске MVP
• EN Checking Whether a Celery Task is Already Running
• EN Developing Strong SEO Tools Using Python
• EN Tutorial: How to Create ChatGPT API Python Web App — Personalised AI Chatbot Assistant with a Twist…
• EN Setting up Pre-Commit in a Django Project: A Step-by-Step Guide
• EN Django Query Optimization
• EN Flask vs Django vs Streamlit
• EN From JavaScript to Python and Django: How to Master a New Language and Framework
• EN Logging in Django

Скрипты, приложения и боты

• Python для начинающих: дорожная карта в 2023 году
• Как я написал Telegram-бота для учёта подписок
• Бот для телеграмма, использующий Яндекс.Диск (Python)
• Отслеживаем изменения в doc и docx при помощи Python
• SimpleUI — фреймворк для быстрого создания бизнес приложений на Android
• Книга «Внутри CPYTHON: гид по интерпретатору Python»
• Парсинг данных через api vk и google sheets api на python
• Создаем библиотеку теории игр на питоне: как вообще это будет работать?
• Как я проводил обратную разработку таинственного UDP-трафика в гостиничном номере
• Пагинация в telegram-боте для чайников
• API Честный знак как получить ключ сессии
• EN Effectively Use %timeit, %lprun, and %mprun to Write Efficient Python Code
• EN Distributing Python Main and Submodules on PyPi
• EN 12 Python Scripts for Optimising Your Code Development
• EN Memory management in Python
• EN Most Exciting Python Features from 3.7 to 3.11
• EN Python SDK: The Release
• EN pyaction 4.17.0 Released
• EN Understanding Python Metaclasses
• EN Introducing Inkwell: A lightweight, easy-to-use terminal-based text editor

Развлекательный контент

• Какая ты IT-принцесса?
• Диалог между JS и Python если бы они были людьми
• Видео ПОРА РАЗОБРАТЬСЯ С ООП В PYTHON 3 | BALABOL IT PYTHON PODCAST
• Аудио Новости Python за февраль 2023
• EN What is the funnest project you worked on?

Нашли что-нибудь полезное и интересное для себя? Расскажите, какие материалы понравились вам больше всего, а каких статей не хватило, чтобы следующий дайджест получился ещё лучше.

Если дайджест вам понравился, посмотрите две предыдущие подборки:

А ещё присылайте в комментарии статьи и видео, которые ускользнули от нашего взгляда и не попали в дайджест. Поделитесь полезными материалами с другими читателями! 😉

Узнайте, как написать свою GPT-модель всего за 60 строк кода, какие обновления коснулись Python в версии 3.12 и как повлиять на работу коммунальных служб с помощью машинного обучения.

Big Data / Data Science

• Как ускорить пилотные проекты по анализу больших данных
• Викторианская история больших данных
• Как мы чуть не взломали шифровальщик Phobos с помощью CUDA
• Неудачный опыт: выявление аномалий в данных методами кластеризации
• Книга «Основы Python для Data Science»
• EN Roads and building density in North America. 100GB geodata processing OSM data in PostgreSQL
• EN How to put the whole world into a regular laptop: PostgreSQL and OpenStreetMap
• EN Pandas 2.0 is Here
• EN Exploratory Data Analysis in Python, Using Just 9 functions
• EN A Gentle Guide Of Pandas
• EN Pandas meets Pyarrow? A Data Scientists Dream Come True
• EN NumPy Library: Everything a Newbie Needs to Know
• EN Polynomials in NumPy
• EN Pandas vs Numpy: Which Python Library is Best for Data Analysis and Numerical Calculations?

AI и ML

• Как улучшить точность ML-модели используя разведочный анализ
• О «раздутом пузыре» нейросетей
• 10 первых ошибок в карьере ML-инженера
• Об экшн-трансформере как следующем этапе развития модели трансформер и не только
• Книга «Грокаем алгоритмы искусcтвенного интеллекта»
• Пишем GPT в 60 строк NumPy (часть 1 из 2)
• Пишем GPT в 60 строк NumPy (окончание, 2/2)
• Взгляд компьютерным зрением на работу коммунальных служб
• EN Top 15 Artificial Intelligence Tools
• EN PyTorch vs TensorFlow — spotting the difference
• EN Understanding PyTorch with an example: a step-by-step tutorial
• EN Build PyTorch from Source with CUDA 11.8 with Ubuntu 22.04
• EN Coding your own AI in 2023 with fastai

Веб / Django / Flask

• Пишем сервис для сокращения ссылок на Django, DRF
• Отгадай слово: как мы создали игру с элементами машинного обучения и вышли в ноль за 2 месяца
• Как мы сделали образовательную игру для разработчиков в телеграмме?
• Как изучать язык Python для веб-разработки в 2023 году. Общие ориентиры
• Личный путь и опыт в становлении Python разработчиком
• EN How to change django-ckeditor image properties dialog text colors when using dark theme
• EN Securing Your Django REST API with Authentication and Authorization
• EN Best Practices for Django Development
• EN Django MVT vs Laravel MVC: A Technical Comparison
• EN Encrypto: The Ultimate Guide to Building a Secure File Encryption Web App with Flask and Python
• EN Python WebServer With Flask and Raspberry Pi
• EN Building a Social Network with Flask and Neo4j
• EN Building a Real-Time Twitter Sentiment Analysis Web App with Python and Flask
• EN Building a Voice Assistant using OpenAI API and Flask — by ChatGPT
• EN How to Create a YouTube Transcript Generator Web App with Python Flask with ChatGPT
• EN A Similarity between CSS and Python
• EN 10 Game-Changing No Code/Low Code Tools Every Developer Should Know About

Скрипты, приложения и боты

• VS Code, python, контейнеры — как обуздать эту триаду и разрабатывать внутри контейнера
• Как при помощи Rust в 150 раз ускорить код на Python
• Создание модуля WebAssembly с помощью Emscripten, AssemblyScript и Rust
• Как разработать Telegram-бота для генерации сложных паролей
• Сколько стоит содержать виртуальную девушку? Создаем подругу, записывающую кружочки в Telegram, с помощью 4 нейросетей
• Что нам несет Python 3.12
• История одного соседа ч.2
• EN Extract Tables From Images in Python
• EN How to Code a Caesar Cipher in Python
• EN Stock News Sentiment Analysis with Python with 50 lines of code
• EN Python — Converting Non-Square Images To Square Images

Развлекательный контент

• Я только спросить: разводим ChatGPT на откровенность по методу Илона Маска
• Bing: «Я не причиню вам вред, если только вы не причините мне его первым»
• Видео  Почему в Python реализована глобальная функция len() и что об этом говорит Гвидо ван Россум?
• Видео  Собеседование python разработчик Игорь Шкода. Ведет Олег Кожанов
• Видео  Новинки в Python 3.12 / Опять переписали виртуальную машину / Большая чистка stdlib
• Видео 14 Ideas for Fun Python Free Time Projects

Нашли что-нибудь полезное и интересное для себя? Расскажите, какие материалы понравились вам больше всего, а каких статей не хватило, чтобы следующий дайджест получился ещё лучше.

Если дайджест вам понравился, посмотрите предыдущие подборки:

А ещё присылайте в комментарии статьи и видео, которые ускользнули от нашего взгляда и не попали в дайджест. Поделитесь полезными материалами с другими читателями! 😉

Стек

Набор технологий, которые чаще всего встречаются в вакансиях, не изменился. Как и год назад, от джунов требуется знание SQL, Python, ML и DS/ML-библиотек (CatBoost, GLM, Statsmodels, Pandas), плюс Hadoop, Spark, Hive.

В качестве преимуществ упоминаются высшее образование, опыт маркетинговых исследований, участие в олимпиадах, Kaggle и других соревнованиях.

Среди новых требований стоит выделить опыт работы с облачными платформами, который упоминается в вакансиях всё чаще, а также понимание принципов DevOps. А некоторые компании просят показать опыт в построении CI/CD для ML-моделей.

Больше задач и историй студентов — в нашем Telegram-канале @Elbrus Bootcamp

«Ещё одна тенденция — работодателей все больше интересуют общие IT-компетенции кандидата. Например, умение работать с Git, опыт работы с контейнеризацией и понимание, что данные не берутся просто из файла, а хранятся в кластере» — добавляет Саша Оболонок.

Реальный опыт

Рекрутеры всё чаще обращают внимание на практический опыт работы кандидата. Это означает, что, по крайней мере, часть собеседования будет проходить в формате кейс-интервью.

В тексте вакансии эти требования могут выглядеть так:

Реклама ООО “Эльбрус Буткемп”

Суть алгоритма в том, что он позволяет вставлять файлы в видео и загружать их на YouTube в качестве хранилища. Все файлы состоят из байтов, а байты можно интерпретировать как числа. Каждый пиксель либо белый — 1, либо чёрный — 0.

В итоге получается вот такое видео, каждый кадр которого содержит в себе информацию:

«YouTube не имеет ограничений на количество видео, которые вы можете загрузить. Это означает, что это фактически бесконечное облачное хранилище», — говорит разработчик в описании проекта.

А что, прогресс хранения данных налицо: от магнитофонных кассет до видео на ютубе.

Исходники написаны на Rust и лежат на гитхабе.