Что Anthropic сделала с текстом Claude

2 августа 2026 года в ЕС вступили в силу обязательства по прозрачности ИИ-контента из AI Act. В июле 2026-го Anthropic, как и около 190 других организаций, подписала Кодекс практики по прозрачности ИИ-контента. Теперь компания заявляет, что все новые модели Claude будут «маркировать» сгенерированный текст — и делать это глобально, а не только для пользователей из Евросоюза.

Сначала Anthropic лишь кратко сообщила о маркировке в справочной статье «How Claude marks AI-generated content». 14 августа 2026 года появилось техническое объяснение «How Claude’s text watermark works». В нём компания признаёт: водяной знак не добавляет в текст никаких символов, он меняет выбор слов на основе секретного ключа.

Новые модели Claude будут встраивать статистический водяной знак во все тексты длиннее ~200 токенов (~150 слов).

Маркировка не использует невидимые символы: она смещает выбор между близкими по смыслу словами по секретному ключу.

Проверить водяной знак сможет только Anthropic; посторонние сервисы без ключа не смогут дать достоверный вердикт.

Переводы и переписывания целиком проходят через Claude, поэтому маркируются сильнее всего; обычная правка — слабее.

Чтобы снизить риск, используйте Claude как черновик, а затем переписывайте текст своими словами.

Как работает водяной знак в тексте

Большие языковые модели генерируют текст по одному токену. На каждом шаге у них есть список подходящих кандидатов, и иногда несколько вариантов равноправны по смыслу. Например, после фразы «погода сегодня была холодной и…» модель может выбрать «пасмурной» или «серой». Обычно выбор решает случайность. При водяном знаке случайность заменяется на псевдослучайную последовательность, выведенную из секретного ключа и нескольких предыдущих слов.

Anthropic использует вариант подхода SynthID-Text, опубликованного Google DeepMind в Nature в 2024 году. На каждом «равноправном» шаге модель получает лёгкий «подталкивающий» сигнал в сторону одних кандидатов и от других. Отдельный выбор почти незаметен, но на длине в сотни или тысячи токенов накапливается статистическая закономерность, которую может увидеть только владелец ключа.

Главный нюанс:
Секретный ключ есть только у Anthropic. Поэтому никакой сторонний «детектор ИИ-текстов» не сможет проверить водяной знак Claude — он либо будет искать стилистические признаки, либо угадывать.

Почему это спорно: слова имеют значение

Аргумент критиков прост: никакие два синонима не совпадают по оттенку, ритму и контексту. «Он ухватился за шанс» и «Он воспользовался возможностью» передают одно действие, но звучат по-разному. Если модель выбирает слово не только ради точности, но и ради скрытой метки, качество текста теоретически падает — пусть и на доли процента.

В документе Anthropic приводится пример: выбор между «overcast» и «grey» «в большинстве случаев не сильно влияет на читателя». Джон Грубер в ответ замечает: именно это и делает идею порочной. Компания решает за автора, какое слово «достаточно хорошо», вместо того чтобы каждый раз искать лучшее.

Можно было бы применить ту же логику к калькуляторам, если бы их результаты оставляли следы. К счастью, сумма, рождённая мозгом, не отличается от суммы, полученной на калькуляторе. Сделать помощь подозрительной только тогда, когда инструмент становится достаточно умён, чтобы составить целое предложение, — не принципиальная граница. Это моральная надбавка за саму сложность.

Что это меняет для пользователей

Anthropic честно перечисляет ограничения, но именно они создают проблемы. Водяной знак не доказывает, что текст написал Claude целиком: он лишь повышает вероятность, что Claude участвовал в его создании. Перевод, выполненный Claude, будет маркирован полностью, потому что каждое слово выбрала модель. А вот лёгкая правка человеческого текста может оставить лишь слабый след.

Код в большинстве случаев почти не страдает: там часто есть единственно правильное продолжение. Но комментарии и документация в коде маркируются так же, как обычная проза. Кроме того,Anthropic отмечает, что водяной знак переживает копирование и вставку: он живёт в самой последовательности слов, а не в форматировании.

• Переводы: полная маркировка, потому что каждый токен — выбор модели.
• Лёгкая правка: может оставить след, но не всегда достаточный для детекции.
• Глубокий переписывание: разрушает статистическую картину, но тогда результат уже сложно назвать ИИ-текстом.
• Код: функциональные части почти не меняются, комментарии — подвержены.

Почему это касается не только ЕС

Формально инициатором маркировки стал ЕС: AI Act обязывает провайдеров ИИ маркировать синтетический контент. Но Anthropic объявила о глобальном внедрении, сославшись на отсутствие «устойчивого способа» ограничить функцию по региону. Получается, что европейское регулирование распространяется на всех пользователей Claude, включая тех, кто живёт в России, США и Азии.

При этом неясно, насколько само регулирование требует именно такого подхода. Кодекс практики применяется к текстам длиннее 200 токенов, требует запрета на удаление метки в условиях использования и устойчивости к копированию, OCR и переводам. Но он не обязывает внедрять систему глобально и не заставляет провайдера изменять слова в приватных чатах.

Google уже делает то же самое с Gemini

Google внедрила текстовый водяной знак SynthID в Gemini раньше Anthropic. В статье Nature команда DeepMind пишет, что проанализировала около 20 млн ответов с водяным знаком и без него. Разница в оценках «палец вверх» составила 0,01%, а «палец вниз» — 0,02%; оба отличия оказались статистически незначимыми в пределах 95%-ного доверительного интервала.

Критики указывают: незначимая разница в оценках не означает, что качество не пострадало. Если модель заменяет «bananas» на «pineapple» в примере DeepMind, пользователь вряд ли поставит «дизлайк» из-за фрукта. Но именно такие микровыборы и формируют голос автора. А когда причина выбора скрыта, доверие к тексту падает.

Что делать авторам и разработчикам

Полностью избежать водяного знака при использовании Claude нельзя — он встроен в генерацию. Но можно снизить риск, что ваш текст будет ошибочно отнесён к категории «сгенерировано ИИ» или потеряет индивидуальность.

FAQ

Выводы

Водяной знак Claude — это не злоумышленная функция, а попытка угодить регулятору. Но её побочный эффект серьёзен: модель начинает выбирать слова ради проверяемости, а не ради смысла. Для авторов, юристов, журналистов и разработчиков это означает, что любой прогон текста через Claude может оставить след, который увидит только Anthropic.

Пока публичного детектора нет, риск ложных обвинений невелик. Но как только API проверки появится, вопрос «а не написано ли это ИИ?» станет ещё более неоднозначным. Лучшая защита — не отказываться от инструментов, а помнить: черновик от ИИ — это черновик. Финальный текст должен быть вашим.

Моя письменная работа — это моя работа, а текущая стратегия Anthropic агрессивно враждебна писателям.

Источники

— John Gruber, «Anthropic’s ‘Watermark’ Text Adulteration in Claude Is a Perversion of Writing»
— Anthropic, «How Claude’s text watermark works»
— James Padolsey, «How AI text watermarking works»
— Google DeepMind, «Scalable watermarking for identifying LLM outputs» (Nature, 2024)
— EU Code of Practice on Transparency of AI-Generated Content

В августе 2026 года рынок моделей для генерации кода уперся в новый потолок: Anthropic выпустила Claude Opus 5, OpenAI показала GPT-5.6 Sol в ограниченном доступе, а китайские разработчики предложили открытые веса с результатами уровня флагманов прошлого квартала. Разбираем, что из этого реально купить и как не переплатить.

Что такое SWE-bench и почему он стал главным аргументом

SWE-bench Verified — это набор из 500 реальных задач с GitHub: модели видят описание бага и должны сгенерировать патч, который проходит существующие тесты проекта. Не задачи из LeetCode, а настоящие репозитории с чужой архитектурой и зависимостями. Для оценки кодогенерации это ближе к продакшену, чем большинство альтернатив.

С апреля 2026 года Verified «насытился»: топ выстроился в узкий коридор 95-96%. Поэтому внимание переключилось на SWE-bench Pro — 1865 более сложных задач из 41 репозитория на нескольких языках. Именно здесь видна разница между «хорошо пишет функции» и «разбирается в большом коде».

Claude Opus 5 — лучший баланс качества, цены и доступности: 96,0% на SWE-bench Verified и $5/$25 за миллион токенов.

Claude Mythos 5 лидирует на SWE-bench Pro (80,3%), но доступен лишь ~100 партнёрам программы Glasswing.

GPT-5.6 Sol теоретически первый по Verified (96,2%), но цифра не подтверждена OpenAI, а доступ ограничен ~20 партнёрами.

GLM-5.2 — сильнейший открытый вариант: 62,1% на SWE-bench Pro под лицензией MIT, но сжигает в 2-3 раза больше выходных токенов.

Gemini 3.1 Pro и DeepSeek V4-Pro предлагают ~80% на Verified за $2-3 за миллион токенов — лучшее соотношение цена/качество для массовых задач.

Как устроена верхушка рейтинга

Claude Opus 5 — практичный выбор

Anthropic выпустила Claude Opus 5 24 июля 2026 года по цене старого Opus 4.8: $5 за входящий и $25 за исходящий миллион токенов. На SWE-bench Verified модель набрала 96,0%, а на более сложном SWE-bench Pro — 79,2%. Этого хватает для большинства инженерных задач, а цена остаётся вдвое ниже, чем у Mythos-класса.

Главное ограничение Opus 5 — уступка собственным старшим собратьям на Pro. Если ваша работа связана с большими межрепозиторными изменениями, Mythos 5 и Fable 5 дают 80,0-80,3%, но вы платите $10/$50 за миллион токенов и, в случае Mythos, ещё и проходите отбор в программу Glasswing.

Mythos 5 и Fable 5 — потолок, до которого не дотянуться

В июне Anthropic представила Claude Fable 5 и Claude Mythos 5 — первые модели, преодолевшие 90% на SWE-bench Verified. Обе показывают 95,0% Verified, а Mythos 5 держит лучший результат на Pro — 80,3%. Fable 5 доступен через обычный API любому клиенту, готовому платить Mythos-тариф.

Mythos 5 закрыт примерно для 100 партнёров в рамках программы Glasswing, в основном для исследований в области кибербезопасности и биобезопасности. Это важный нюанс для российских команд: даже если у вас есть бюджет, доступ к модели зависит от одобрения Anthropic, а не только от платёжной карты.

GPT-5.6 Sol — красивое число, которое никто не проверил

OpenAI выпустила GPT-5.6 Sol в ограниченном превью для примерно 20 партнёров, прошедших правительственную проверку. Компания не опубликовала официальных результатов SWE-bench, но сторонние трекеры, включая vals.ai, сообщают 96,2% на Verified.

Пока это не результат, на который можно ориентироваться при выборе инструмента. Цена, если доступ появится, составляет $5/$30 за миллион токенов — чуть дороже Opus 5. Для российских пользователей добавляется и стандартная проблема доступа к API OpenAI, которая уже несколько лет сильнее ограничена, чем у Anthropic или Google.

GLM-5.2 — открытые веса с реальными цифрами

Zhipu AI выпустила GLM-5.2 под лицензией MIT. Модель показывает 62,1% на SWE-bench Pro — выше, чем GPT-5.5 (58,6%), и выше предшественника GLM-5.1 (58,4%). Контекстное окно составляет 1 млн токенов, а обучение проходило на чипах Huawei Ascend, а не NVIDIA.

Цена API — $1,40/$4,40 за миллион токенов, но на практике GLM-5.2 расходует около 43 000 выходных токенов на одну кодинговую задачу против 16 000 у GPT-5.5. Поэтому итоговая стоимость за выполненную задачу ближе к флагманам, чем кажется по прайс-листу. Главное преимущество — возможность скачать веса и развернуть модель у себя. Для команд с требованиями к локальному хранению кода это может перевесить экономию на API.

Gemini 3.1 Pro и DeepSeek V4-Pro — флагманы за разумные деньги

DeepSeek V4-Pro и Gemini 3.1 Pro показывают по 80,6% на SWE-bench Verified — ровно тот уровень, который в апреле считался потолком. DeepSeek стоит $1,74/$3,48 и работает с полностью открытыми весами. Gemini 3.1 Pro стоит $2/$12, имеет окно в 1 млн токенов и 91,7% на LiveCodeBench.

Для массовой разработки — ревью кода, генерация тестов, исправление типовых багов — этих моделей достаточно с запасом. Они не берут первое место, но разница в цене делает их удобной рабочей лошадкой, особенно в интеграциях, где не нужен последний процент качества.

Как читать таблицу моделей

Результаты можно свести к трём осям: качество на Verified, качество на Pro и реальная доступность. Если смотреть только на Verified, четыре модели стоят плечом к плечу в диапазоне 95,0-96,2%. Разница появляется, когда добавляешь цену, условия доступа и более жёсткий бенчмарк.

Как ориентироваться в ценах:
Цены указаны за 1 млн входящих / 1 млн исходящих токенов. На практике важнее стоимость за завершённую задачу: одна модель может быть дешевле за токен, но генерировать в 2-3 раза больше текста.

Вот как распределяются роли:

• Claude Opus 5 — универсальный выбор, если нужен API без листов ожидания и цена ниже Mythos.
• Claude Mythos 5 — для команд с доступом к Glasswing, которые решают самые сложные многофайловые задачи.
• GLM-5.2 — для self-hosted сценариев и требований к открытым весам.
• DeepSeek V4-Pro и Gemini 3.1 Pro — для высоконагруженных сценариев, где важна цена за токен.

Методология: почему Verified больше не разделяет лидеров

Авторы обзора используют три сигнала. SWE-bench Verified даёт понять, справляется ли модель с реальными багами. SWE-bench Pro проверяет, как модель работает с более крупными и разнообразными репозиториями. Третий сигнал — это статус доступа и независимость проверки: официальная цифра, сторонний трекер или собственная оценка вендора.

Важно понимать, что ни один бенчмарк не измеряет продуктивность разработчика напрямую. Модель может отлично генерировать патчи и при этом плохо объяснять архитектуру или наоборот. Поэтому цифры — это фильтр первого порядка: они отсекают явно слабые варианты, но конечный выбор зависит от вашего стека, размера репозиториев и процесса ревью.

Историческая динамика: бенчмарки устаревают быстрее моделей

В марте 2025 года лидером был Claude 3.5 Sonnet с около 49%. В январе 2026 четыре модели одновременно преодолели 78%. В апреле Verified «сел» на плато 76-81%, и внимание перешло на Pro. В июне Mythos-класс впервые превысил 90%, а к концу июля Opus 5 почти догнал его по цене вдвое ниже.

Этот цикл повторяется: бенчмарк насыщается, появляется более сложная версия, цена становится главным разделителем. Для команд это означает, что не нужно гнаться за каждым новым релизом. Достаточно раз в квартал пересматривать соотношение цена/качество и проверять, не появился ли модель с доступным API, который закрывает 80% ваших задач за меньшие деньги.

Что выбрать: чек-лист для команды

Чтобы не утонуть в таблицах, можно пройти по четырём вопросам:

1. Есть ли у вас доступ к API Anthropic, OpenAI или Google? Если нет, открытые веса DeepSeek или GLM-5.2 остаются единственной рабочей опцией.
2. Решаете ли вы локальные баги в одном репозитории или межрепозиторные изменения? Для второго важнее SWE-bench Pro.
3. Какой бюджет на 1 млн исходящих токенов? При высоких объёмах разница между $25 и $3 за миллион ощутима уже на первой неделе.
4. Нужно ли хранить код внутри периметра? В этом случае self-hosted GLM-5.2 или DeepSeek выигрывают у облачных API независимо от бенчмарков.

Когда Verified перестаёт разделять модели, выбор сдвигается с 'кто умнее' на 'кого я могу купить и сколько это будет стоить за реальную задачу'.

FAQ

Выводы

В июле 2026 года рынок моделей для генерации кода разделился на два лагеря. Первый — закрытые флагманы, которые достигли потолка Verified и теперь конкурируют по цене и доступности. Второй — открытые и полуоткрытые модели, которые отстают по верхним цифрам, но выигрывают у крупных вендоров в контроле над данными и стоимости инфраструктуры.

Для российских команд ключевой вопрос не в том, какая модель «умнее», а в том, какая из них реально доступна, не требует сложных схем оплаты и укладывается в бюджет. В этом контексте Claude Opus 5, DeepSeek V4-Pro и GLM-5.2 выглядят наиболее практичными вариантами — каждый под свои ограничения.

Источник: обзор Best AI Models for Code Generation — July 2026 на Awesome Agents. Данные по бенчмаркам и ценам приведены по состоянию на 29 июля 2026 года.

Qwen 3.8-Max — флагман Alibaba с 2,4 трлн параметров (95 млрд активных).

Это первая модель линейки Max, чьи веса выложат в open source.

Модель ориентирована на долгосрочные задачи: автономный кодинг, исследования, чип-дизайн, работу с документами и видео.

Доступна через API QwenCloud с параметром reasoning_effort и интегрируется с Claude Code, Codex и Qoder.

Что анонсировали

Qwen 3.8-Max построена на архитектуре Qwen 3.5 и насчитывает 2,4 трлн параметров, из которых активируются примерно 95 млрд. Это делает её одной из крупнейших публично анонсированных моделей и первой мультимодальной системой Qwen, преодолевшей отметку в 1 трлн параметров.

По заявлению разработчиков, улучшения коснулись четырёх направлений: программирование, реальная рабочая деятельность, исследовательские задачи и долгосрочные сценарии с множеством ограничений. Модель умеет не только отвечать на сложные вопросы, но и доводить задачи до конца — от постановки до рабочего результата.

Ключевые возможности

• Автономный кодинг. В демонстрации модель 16 дней без участия человека развивала проект oh-my-cli: 265 коммитов, 127 pull request'ов и 151 issue. Главная фишка — самообучающийся цикл: требования превращаются в задачи, которые агенты берут в работу, тестируют и сливают в main.
• Научные исследования. Qwen 3.8-Max воспроизвела эксперимент из статьи «Unified Data Selection for LLM Reasoning» с нуля — около 7 600 строк кода, 33 цикла обучения на GPU — а затем улучшила результат на 2,7 балла на бенчмарке AIME24.
• Соревнования. За 24 часа модель построила решение для конкурса WWW2025 Multimodal Dialogue Intent Recognition на платформе Tianchi и обошла 458 из 526 человеческих команд (87%).
• Рабочие сценарии. В тестах Qwen 3.8-Max проектировала интерфейсы, составляла меню ресторана с расчётом себестоимости, проверяла юридические документы и строила сейсмические модели зданий.
• Чип-дизайн. Модель самостоятельно прошла весь фронтенд-флоу цифровой схемы: от RTL до физического layout в OpenROAD, сократив площадь кристалла на 81% и добившись тактовой частоты 500 МГц.

Бенчмарки

В опубликованной таблице Qwen 3.8-Max сравнивается с Claude Opus 4.8, Claude Fable 5, GPT 5.6 Sol и предшественником Qwen 3.7-Max. По внутренним тестам Alibaba новинка обгоняет Qwen 3.7-Max на большинстве задач и приближается к лучшим закрытым моделям в кодинге и мультимодальных бенчмарках. Отдельно отметим PaperBench — 93,0 балла против 90,5 у GPT 5.6 Sol и 64,8 у Qwen 3.7-Max.

Как попробовать

Модель уже доступна через QwenCloud. API совместим с OpenAI и Anthropic, поэтому подключение занимает буквально минуту. Поддерживаются три уровня глубины рассуждений: xhigh, medium и low. По умолчанию включён preserve_thinking.

Минимальный пример на Python:

Кроме прямого API, модель завели в Claude Code, Codex, Qoder CLI, Qwen Code и OpenClaw. Контекстное окно — до 1 млн токенов, максимальная длина ответа — 65 536 токенов.

FAQ

Выводы

Qwen 3.8-Max — это попытка Alibaba вывести флагманскую линейку в open source и при этом конкурировать с лучшими закрытыми моделями. Если открытые веса действительно выйдут под пермиссивной лицензией, у разработчиков появится серьёзная альтернатива для локального запуска и дообучения. Пока же модель можно протестировать через QwenCloud.

Источник: Qwen 3.8-Max: A New Bar for Coding and Cowork.

itertools — это не просто набор функций, а способ мыслить о данных как о потоке. Вместо того чтобы сначала строить список, а потом его перебирать, вы описываете, что должно произойти с каждым элементом, и получаете результат по мере необходимости. В статье разберём три семейства инструментов, покажем рабочие примеры и укажем на типичные ловушки.

itertools — модуль стандартной библиотеки Python, который предоставляет ленивые итераторы для композиции цепочек обработки данных.

Ленивость означает, что элементы создаются по запросу, поэтому можно работать с большими файлами и бесконечными потоками, не загружая всё в память.

Функции разделены на три группы: бесконечные итераторы (count, cycle, repeat), конечные итераторы (chain, islice, groupby и др.) и комбинаторные (product, permutations, combinations).

Многие рутинные задачи — flatten, батчинг, скользящее окно, группировка — решаются в одну строку, если знать правильную комбинацию функций.

Подводные камни: groupby требует предварительной сортировки по тому же ключу; итераторы одноразовые; tee() может неэкономно расходовать память.

Зачем вообще ленивые итераторы?

Обычный подход в Python — сгенерировать список и пройтись по нему циклом. Это просто и читаемо, пока данных немного. Когда файл весит несколько гигабайт, а строки приходят из сети, список становится дорогим: он требует памяти и времени, хотя в каждый момент вам нужен лишь один текущий элемент.

Ленивый итератор не строит коллекцию целиком. Он помнит текущее состояние и умеет «добыть» следующий элемент. Поэтому itertools работает с любыми итерируемыми источниками — файлами, генераторами, сетевыми потоками — и не требует, чтобы весь объём данных поместился в оперативную память.

Память vs скорость:
Ленивость экономит память, но не всегда ускоряет код. Если данные всё равно нужны целиком — например, для сортировки — список может оказаться быстрее. Используйте итераторы там, где важна потоковая обработка.

Три семейства инструментов

Документация Python делит функции модуля на три группы. Такое разделение помогает быстро выбрать инструмент: нужна бесконечная последовательность, преобразование конечной или перебор комбинаций.

Бесконечные итераторы: count, cycle, repeat

count — это range без конца. Ему можно задать начальное значение и шаг, и он будет выдавать числа до тех пор, пока его не остановят снаружи. cycle бесконечно повторяет переданную последовательность, а repeat — бесконечно или заданное число раз возвращает один объект.

Классический трюк — сочетание map и count: map(f, count()) работает как математическое табулирование tabulate(f), знакомое из SML и Haskell.

Конечные итераторы: chain, islice, groupby и другие

Это самая многолюдная группа. Здесь есть функции для склейки последовательностей, фильтрации, нарезки, группировки и пакетной обработки. Их объединяет одно: на вход подаётся конечный или контролируемый итератор, на выходе — тоже итератор.

batched появился в Python 3.12 и сразу стал незаменимым инструментом: партии запросов к API, пакеты строк для вставки в базу, страницы данных. Последняя партия может быть короче — это поведение по умолчанию.

groupby часто путают с SQL-аналогом, но это не тот же инструмент. Python-версия группирует только подряд идущие одинаковые ключи, поэтому перед ней обычно нужна сортировка по тому же ключу. Если забыть про это, результат покажется случайным.

Комбинаторные итераторы: product, permutations, combinations

Эти функции генерируют декартово произведение, перестановки и сочетания. Они незаменимы в тестировании, алгоритмах на графах, задачах оптимизации и даже в простых играх. Все они ленивые, поэтому можно перебирать комбинации по одной, не строя гигантский список.

product с аргументом repeat удобен для перебора многомерных конфигураций: product([0, 1], repeat=3) даст все двоичные triples, как в таблице истинности.

Подводные камни, за которые хватаются новички

Несмотря на простоту отдельных функций, у модуля есть несколько особенностей, которые легко превратить в баг.

• groupby работает только с подряд идущими одинаковыми ключами. Перед вызовом сортируйте данные по тому же ключу, иначе группы разобьются.
• Итераторы одноразовые. После list(iterator) исходный итератор опустошён, и второй проход по нему даст пустой результат.
• tee копирует данные во внутренний буфер, пока все производные итераторы не прочитают их. Если один итератор сильно отстаёт, память может расти не хуже списка.
• zip_longest с бесконечным итератором никогда не остановится. Ограничивайте такие комбинации islice или takewhile.
• product полностью потребляет входные итераторы, чтобы построить пулы значений. С бесконечными последовательностями его использовать нельзя.

Рецепты: от простого к составному

Документация Python включает раздел рецептов — готовые комбинации функций, которые решают частые задачи. Некоторые из них настолько удобны, что со временем превращаются в полноценные функции модуля: так появились accumulate, compress и pairwise.

Для sliding_window сейчас часто используют рецепт из документации или аналог из more-itertools, где функция уже реализована и хорошо протестирована.

Выводы

itertools — это не библиотека для красивых однострочников, а инструмент для правильного мышления о данных. Он помогает отказаться от лишних промежуточных списков, писать компактные конвейеры и работать с потоками, которые не помещаются в память. Главное — не гнаться за краткостью любой ценой: иногда явный цикл понятнее, чем цепочка из пяти функций.

Together, they form an iterator algebra making it possible to construct specialized tools succinctly and efficiently in pure Python.

Источник: itertools — Functions creating iterators for efficient looping. Если в вашем коде до сих пор царят вложенные циклы и огромные списки — попробуйте заменить их на поток. Скорее всего, получится короче, быстрее и понятнее.

Что такое протокол передачи данных

Под протоколом передачи данных здесь понимается формат пакетов (кадров), которые строятся поверх физического уровня. Физический уровень — это уже выбранный интерфейс: RS-232, RS-485, инфракрасный канал, радиомодуль или оптоволокно. От него мы получаем две базовые операции: отправить один байт и принять один байт. Всё остальное — наша задача.

Данные передаются пакетами — кадрами. Хороший кадр позволяет приёмнику понять: где начало сообщения, кому оно адресовано, сколько в нём полезных данных и не повредились ли они по дороге.

Кадр состоит из заголовка, адресов, типа данных, длины, полезной нагрузки, контрольной суммы и концевика.

Для защиты от случайных совпадений заголовок делают многобайтовым, а контрольную сумму считают по всей значащей части кадра.

Парсинг удобно реализовывать конечным автоматом: каждый принятый байт переводит машину в новое состояние.

На хосте данные почти всегда буферизуются; на простых МК часто выгоднее передавать напрямую, чтобы сэкономить ОЗУ.

Структура кадра: из чего собирать пакет

Надёжный протокол обычно включает семь логических полей. Не все обязательны — выбор зависит от задачи.

Заголовок и концевик

Заголовок (frame header) и концевик (frame tail) отмечают границы кадра. Главное требование — минимизировать вероятность случайного совпадения этих байтов в потоке данных. Есть два подхода:

• Подбор характерных байтов. Если данные предсказуемы (например, только ASCII-текст), можно выбрать заголовок из диапазона непечатаемых символов.
• Увеличение длины. Для случайных данных лучше сделать заголовок многобайтовым — например, 0x55 0xAA 0x7E. Вероятность случайного совпадения трёх конкретных байтов подряд падает экспоненциально. Даже если совпадение произойдёт, его отловит контрольная сумма.

Адресация

Адрес назначения нужен в системах типа «один к многим» — например, когда один хост управляет несколькими датчиками по общей шине RS-485. В сложных сетях добавляют ещё и адрес источника, чтобы получатель знал, от кого пришёл пакет.

Тип, длина и данные

Тип данных (data type) говорит, что дальше идёт команда или полезная нагрузка. Длина (data length) указывает число значащих байтов в блоке данных. Вместе они образуют «тело» кадра — ту часть, которую мы действительно хотим доставить.

Контрольная сумма

Контрольная сумма проверяет целостность кадра. Простейший вариант — арифметическая сумма всех байтов тела. Для более серьёзной защиты применяют CRC (циклический избыточный код): он ловит пакетные ошибки и перестановки битов, которые простая сумма пропустит. Выбор алгоритма — компромисс между скоростью вычисления на МК и требуемой надёжностью.

Передача: хост и микроконтроллер

На физическом уровне отправка сводится к посылке байтов один за другим. Но способ организации этой посылки сильно влияет на производительность.

Передача с микроконтроллера

На простых контроллерах вроде семейства 8051 часто используют прямую передачу: процессор загружает байт в буфер UART и ждёт флага готовности. Плюс — данные моментально оказываются на линии. Минус — процессор занят на всё время отправки.

Альтернатива — передача по прерыванию: байты складываются в кольцевой буфер, а прерывание UART отправляет их фоном. Экономит процессорное время, но требует ОЗУ под буфер. На 8051 с его скудной памятью прямая передача часто выигрывает.

Передача с хоста

На ПК данные почти всегда буферизуются операционной системой. Программист работает с тремя уровнями абстракции:

1. Контролы ОС. В Windows — компоненты вроде MSComm (устаревший 32-bit ActiveX, не рекомендуется для новых проектов). Просто, но нужно следить за блокировками при приёме и многопоточностью.
2. Системные API. В Windows и Linux последовательный порт — это файл. Открываем через CreateFile или open(), но перед чтением и записью требуется настройка параметров порта (в Linux — termios со скоростью, чётностью и размером слова).
3. Класс-обёртка. Например, CSerialPort для Windows: он инкапсулирует инициализацию, поток приёма и отправку. После открытия порта вызов WriteToPort отправляет массив байтов, а внутренний поток следит за входящими данными и шлёт сообщения родительскому окну.

Приём и парсинг на конечном автомате

Приём данных на стороне микроконтроллера тоже бывает двух видов: опрос (поллинг) и прерывание. Опрос проще, но отнимает процессорное время. Прерывание эффективнее: байт пришёл — сработала процедура обработки прерывания (ISR, Interrupt Service Routine), процессор отвлёкся на доли миллисекунды и вернулся к задаче.

Где размещать парсер протокола? Если протокол простой, его можно держать прямо в обработчике прерывания: приняли корректный кадр — установили флаг, основной цикл реагирует. Для сложных протоколов лучше писать байты в буфер и разбирать их в главном цикле. Гибридный подход тоже возможен: в прерывании ищем только «команду подключения», а остальное парсим фоном.

Пример: разбор кадра по состояниям

Рассмотрим конкретный формат кадра:

Парсер реализуем через переменную state_machine. Каждое состояние соответствует ожидаемому байту. Если пришёл не тот байт — автомат сбрасывается в ноль. Это защищает от «залипания» в промежуточном состоянии при обрыве связи или помехах.

Совет по стабильности:
Сброс автомата при несовпадении заголовка, адресов, длины, checksum или концевика — ключевая техника. Без неё при обрыве кадра парсер застрянет в промежуточном состоянии, и следующие кадры будут отвергнуты.

Приём на стороне хоста

На ПК приём организуется проще: операционная система уже буферизует входящие байты. Для неблокирующего чтения запускают отдельный поток, который ждёт данных из порта и передаёт их в основной процесс через сообщения или обратный вызов. Класс CSerialPort, например, отправляет родительскому окну сообщение WM_COMM_RXCHAR с каждым новым байтом. Обработчик этого сообщения просто вызывает тот же парсер, что и на микроконтроллере.

Таким образом, логика разбора протокола единая для обеих сторон. Различается только способ доставки байтов в парсер: прерывание ISR на МК и поток ОС на хосте.

Выводы

Проектирование протокола связи для микроконтроллера — это не ракетостроение, но требует дисциплины. Хороший кадр защищает границы (заголовок + концевик), адресует получателя, указывает длину и проверяет целостность. Парсинг на конечном автомате делает код предсказуемым и устойчивым к сбоям.

Главный принцип — сбрасывать автомат при любом нарушении ожидаемого шаблона. Это предотвращает «залипание» и позволяет системе быстро восстановиться после помехи. На основе этой базы можно наращивать надёжность: добавлять повторные передачи, порядковые номера, шифрование — в зависимости от требований проекта.

Хороший протокол — это не тот, который передаёт быстрее всех, а тот, который не ломается при помехах.

Источник: оригинальная статья Leo Liu — Microcontroller Communication Protocol Design (DEV Community).

Попытка №1. Путь в лоб: Классы и интерфейсы

Самый очевидный способ - создать родительский класс с переменными, а языки сделать его наследниками. Но это просто… фиаско. Даже если не писать from/toJson, процесс выглядит так:

1. Объявил переменную в родителе.
2. Прописал её в конструкторе.
3. Повторил то же самое для всех дочерних классов (всех языков).

Если бы я работал на аутсорсе в Индии и мне платили за количество строк кода - это был бы идеальный вариант. Но я хотел, чтобы одной строки при объявлении было достаточно.

Попытка №2. Стандарт (ARB/JSON)

Я поплевался, но решил попробовать - «стандарт» всё-таки. Мало ли, может чего поменялось за годы. Вроде всё завелось, но сам процесс… это боль. Бегать по разным файлам, чтобы добавить одну строчку - так себе удовольствие.

Почему я от него окончательно отказался? Когда данных становится реально много (десятки языков, тысячи строк), ты попадаешь в ловушку: тебе нужно эту махину либо целиком держать в памяти, либо постоянно подгружать и парсить. Ради смены одного слова на кнопке заставлять девайс ворочать тяжелые JSON-ы в рантайме - так себе затея для производительности.

Попытка №3. Таблицы и костыли

Подумал: «Окей, почему бы не подтянуть старый добрый CSV или вообще закинуть всё в табличку?». И тут официальный пакет локализации сказал: «Извини, мужик, тут наши полномочия всё».

Ну, я тоже не пальцем деланный. Решил припахать нейросеть, чтобы она написала мне собственный генератор. Флоу получился такой:

1. Добавляю строку в таблицу.
2. Запускаю генератор.
3. Он лепит «родительский» файл.
4. После Freezed генерит toJson, fromJson…

Короче, весело не было. Мало того, я понимал: если языков станет много, мне придется добавлять их все разом и единовременно, иначе в рантайме всё начнет плеваться ошибками. Плюс та же проблема с памятью: таблица - это структура, которую надо парсить и хранить.

Красный флаг для программиста

Но главная проблема даже не в этом. Необходимость запускать генератор после добавления каждой переменной - это для любого программиста красный флаг.

Что происходит на практике? Когда ты пишешь код и тебе нужно добавить одну несчастную строку, тебе лень (читать: нехочется выходить из потока творения) запускать весь этот цикл с генерацией. Ты просто её хардкодишь в надежде «потом скопом всё добавлю одним махом». А «потом» наступает тогда, когда уже весь проект завален хардкодом, и вычищать его - то еще удовольствие. Даже нейросетки с такими запросами помогают не с первого раза, и с сомнительной эффективностью.

Нутром чуял - флоу неправильный. В итоге я пришел к тому, что называю идеальной локализацией.

Эволюция лени: почему Enum победил интерфейсы

Я начал мучить нейросеть разными вариантами реализации. Для меня в первую очередь был важен флоу работы: мне было тупо лень писать больше одной строки кода, чтобы добавить переменную.

Моя философия проста: строку захардкодить - моментально. Добавление даже одной строки в другом файле требует доп. действий. НО, если действий минимум, то кодер поймет, что выигрыш во времени сейчас мизерный против больших потерь в будущем, и исправно добавит строку в правильное место. Этого не произойдет, если для добавления строки нужно «отчитаться» в десяти местах.

Попытка №4. Рекорды (Records)

Присматривался к рекордам. С ними удобно: не нужно писать конструкторы. Но есть подвох: как только ты добавил переменную в один язык, компилятор тут же сходит с ума и требует добавить её во все остальные прямо сейчас. Никакой гибкости и возможности оставить «на потом».

Идеальный костыль: Enum

В итоге я пришел к самому, казалось бы, «неправильному» способу, который оказался идеальным. Enum. Само название намекает на перечисления и цифры, но оказалось, что хранить в нем буквы и целые фразы - это лучший путь для локализации.

Знаете, мне моё решение так понравилось, что я пошел к нейросетям и проверил его со всех сторон. Все модели остались в полном восторге. Под это дело я даже подготовил монументальную «нейро-статью» на полтора часа внимательного чтения, со всеми графиками, бенчмарками и анализом производительности.

Но потом я заглянул в правила Хабра, прислушался к голосу разума и понял: никто не хочет читать полтора часа сухой статистики. Лучше я просто расскажу вам свою историю «от первого лица», как я докатился до такой жизни. Ну, а если вы совсем уж фанаты цифр - просто скормите этот текст любой нейронке, она вам перескажет всё в лучших академических тонах с графиками на любой вкус.

А здесь мы будем говорить по делу.

Ниже я выкатываю сам код. Код тут не для зубрежки, а лишь чтобы указать направление / идею. Самая большая прелесть этой системы в том, что она оставляет гигантское пространство для любого типа реализации. Это архитектурный каркас, который чертовски сложно сломать. Главное — уловить принцип.

Реализация

Принцип разделения:

• enum Strings → типизированный контракт (что существует).
• translator → источник данных (откуда берётся текст).

Структура файлов - минимальная. Никаких внешних зависимостей:

Ядро - strings.dart

Весь контракт локализации в одном enum. Два режима - хардкод switch и серверный кеш - за одним и тем же

. Даже сообщения об ошибках локализации — сами локализованы:

Список языков - languages_enum.dart

Каждый язык - самодостаточная единица: знает свой код, название, направление текста и как себя загрузить:

Хотите грузить с сервера? Одна строка + loader. И

- тоже одна строка, потому что

уже является registry:

Переводчик - i18n/russian.dart

Как это выглядит в жизни (и почему я перестал хардкодить) Я намеренно не привожу здесь код оберток виджетов или конкретных стейт-менеджеров. Всё это - чистая «вкусовщина». Для работы системы нужен лишь элементарный вещатель событий (Notifier), повешенный на метод смены языка.

Но главное - это мой ежедневный флоу. Сейчас, чтобы добавить строку в UI, я просто вызываю нужный мне ключ: Strings.someKey(). Без контекста, везде.

А если ключа еще нет? Я тупо иду в Strings и добавляю одну строчку в Enum. Всё.

Благодаря дефолтному конструктору, приложению абсолютно плевать, что у меня там еще 100 языков не переведены. Оно компилируется и работает здесь и сейчас. А дальше в дело вступают гит-хуки: при комите нейросетка сама подхватывает изменения и заполняет недостающие поля в переводчиках.

Знаете, какое самое странное чувство? Мне сейчас реально проще и быстрее завести переменную в локализации, чем хардкодить строку в коде. Кажется, это и есть признак здоровой архитектуры - когда делать «правильно» становится физически удобнее, чем делать «быстро» и криво.

Собственно если в кратце это все о чем я хотел рассказать. Если тема зайдет или кто-то сам не сможет допереть, как прикрутить это к своей архитектуре - пишите в комментариях, разберемся.

Надеюсь, мой опыт сэкономит вам пару литров нервных клеток. Всех благ и чистого кода без «магических строк»!

Индекс в базе данных — это вспомогательная структура (чаще всего B-дерево; хеш-индексы, GiST, GIN и другие типы применяются в узких специфических сценариях), которая ускоряет выборку строк по заданным колонкам. По аналогии с оглавлением книги: вместо перелистывания всех страниц СУБД сразу переходит к нужной главе. Но если оглавление построено плохо, пользы от него нет — а вот накладные расходы на поддержку остаются.

В этой статье разберём семь самых разрушительных ошибок индексации в production-SaaS: от параноидального создания индексов «на всякий случай» до игнорирования раздутия и особенностей мультитенантных схем. Каждая ошибка — с примерами SQL, метриками и конкретным фиксом.

Индексы — это налог на запись: каждый INSERT, UPDATE и DELETE обновляет все индексы таблицы.

Индекс на колонке с низкой селективностью (boolean, статус) почти бесполезен — используйте частичные (partial) индексы.

В составном индексе порядок колонок критичен: PostgreSQL может использовать (a, b, c) только если условие начинается с a.

Раздутые индексы на высокоизменяемых таблицах могут занимать в 8 раз больше места, чем нужно — планируйте REINDEX CONCURRENTLY.

В мультитенантных системах индекс по tenant_id один часто недостаточен: добавляйте диапазон времени или тип события.

Внешние ключи в PostgreSQL не индексируются автоматически — после каждого FOREIGN KEY создавайте индекс вручную.

Без EXPLAIN ANALYZE индексы создаются вслепую. Проверяйте реальный план выполнения перед деплоем.

Ошибка 1. Индексировать всё подряд «на всякий случай»

Самая распространённая ошибка — не недостаток индексов, а их избыток из тревожности. Особенно часто в неё попадают junior-разработчики: добавляют индекс на каждую колонку, которая встречается в WHERE, «на всякий случай». Кажется ответственным, но на самом деле вредно.

Каждый индекс — это налог на запись. При INSERT, UPDATE и DELETE PostgreSQL (или MySQL) вынуждена обновлять все индексы таблицы. На таблице с 8 индексами каждая запись трогает 8 структур данных. При низкой нагрузке это невидимо, но при 10 000 записей в минуту это становится узким местом.

Аудит неиспользуемых индексов в PostgreSQL:
Запрос к pg_stat_user_indexes покажет, сколько раз каждый индекс применялся с момента сброса статистики. Если idx_scan = 0 — индекс кандидат на удаление.

Не удаляйте индекс сразу — сначала убедитесь, что он не нужен для редких, но критичных отчётов. Но если он месяцами не используется, смело избавляйтесь.

Ошибка 2. Не понимать селективность

Индекс на булеву колонку — почти всегда бесполезен. Селективность измеряет, сколько различных значений содержится относительно общего числа строк. У boolean всего два значения. Если 95% строк имеют is_active = true, планировщик запросов проигнорирует индекс и сделает Seq Scan — и будет прав.

Правило большого пальца: если у колонки меньше 10–20 уникальных значений относительно размера таблицы, простой индекс по ней один не справится. Используйте частичные или составные индексы.

Ошибка 3. Неверный порядок колонок в составном индексе

Составные индексы мощны, но часто неправильно понимаются. PostgreSQL может использовать индекс (a, b, c) для фильтрации по a, a и b, a, b и c. Но не может эффективно использовать его, если запрос фильтрует только по b или c — ведущая колонка пропущена.

Решение: первыми ставьте колонки с equality-условиями, затем — по селективности, и проектируйте индексы вокруг реальных паттернов запросов, а не вокруг схемы таблицы. Также учитывайте ORDER BY и необходимость покрывающего индекса. Перед созданием обязательно запускайте EXPLAIN ANALYZE.

Ошибка 4. Игнорировать раздутие индексов

Индексы деградируют со временем. Многие инженеры воспринимают их как «поставил и забыл», но это заблуждение. В PostgreSQL при обновлении или удалении строки старые записи в индексе устаревают и накапливаются как раздутие (bloat); их физическое удаление происходит при выполнении VACUUM. На высокоизменяемых таблицах (заказы, события, логи, сессии) раздутие накапливается стремительно.

Таблица с 1 млн живых строк может иметь индекс, раздутый до размеров 8 млн записей. Каждый запрос через такой индекс делает в 8 раз больше работы, чем должен.

REINDEX CONCURRENTLY — ключевое слово. Обычный REINDEX блокирует таблицу, а в production-SaaS это прямой путь к инциденту. CONCURRENTLY перестраивает индекс без блокировок, хотя и медленнее.

Также убедитесь, что autovacuum настроен под вашу реальную нагрузку на запись. Значения по умолчанию в PostgreSQL консервативны и часто недостаточны для SaaS с высокой интенсивностью записи.

Ошибка 5. Индексы на колонках с малым числом уникальных значений в мультитенантных системах

В мультитенантной архитектуре почти каждый запрос фильтрует по tenant_id. Естественное желание — проиндексировать эту колонку. Но для крупных тенантов индекс по tenant_id вернёт слишком много строк, и планировщик предпочтёт Seq Scan. Для маленьких тенантов отдельный индекс по tenant_id может быть полезен.

На серьёзном масштабе правильное решение — партиционирование таблиц по tenant_id, но это архитектурное решение. Практический первый шаг — составные индексы с временными диапазонами.

Ошибка 6. Не индексировать внешние ключи

В PostgreSQL внешние ключи не индексируются автоматически. При удалении родительской строки СУБД должна проверить все дочерние таблицы на наличие ссылающихся записей — и без индекса на внешнем ключе это Seq Scan по каждой дочерней таблице. На таблице orders с 50 млн строк удаление пользователя вызывает полное сканирование.

Сделайте это командным соглашением: в чек-листе миграций обязательный пункт «после каждого FOREIGN KEY — CREATE INDEX».

Ошибка 7. Не использовать EXPLAIN ANALYZE перед деплоем

Большинство решений об индексах принимаются интуитивно. Интуиция ошибается достаточно часто, чтобы это стало проблемой. EXPLAIN ANALYZE показывает, что именно делает планировщик: какие индексы использует, какие игнорирует, сколько строк реально прочитал против оценки, где тратится время.

На что обращать внимание:
• Seq Scan на большой таблице при выборке малой доли строк — возможно, пропущен индекс или планировщик не может использовать существующий индекс.
• Rows Removed by Filter в десятки тысяч — индекс есть, но неправильные колонки или низкая селективность.
• Buffers: shared hit=0 read=45000 — данные не закэшированы (cold cache), страницы читаются с диска. Для диагностики раздутия смотрите общее число буферов и сравнивайте размер индекса с ожидаемым.
• Высокое actual time — проверьте раздутие, актуальность статистики, количество буферов, дисковую подсистему и наличие блокировок. Запустите ANALYZE tablename, чтобы обновить статистику планировщика.

Чек-лист индексации для SaaS

• У каждой колонки внешнего ключа есть индекс?
• Составные индексы упорядочены по селективности, а не по удобству?
• Булевы и низкокардинальные фильтры используют частичные индексы вместо полных?
• Вы запускали EXPLAIN ANALYZE на 10 самых медленных запросов за неделю?
• Есть процесс поиска и удаления неиспользуемых индексов?
• Высокоизменяемые таблицы регулярно проходят REINDEX CONCURRENTLY?
• Autovacuum настроен под реальный объём записи, а не под значения по умолчанию PostgreSQL?
• В мультитенантных таблицах индексы начинаются с tenant_id и включают диапазон времени?

Выводы

Индексы — не фича производительности, которую добавляют, когда всё начинает тормозить. Это проектное решение, которое принимается вместе со схемой, и пересматривается по мере эволюции паттернов запросов. Команды, которые уверенно масштабируются, — не те, у кого больше всего индексов, а те, кто понимает, что каждый индекс стоит, что даёт и когда его пора убирать.

База данных, которая быстра на 10 000 строках и быстра на 50 миллионах, — не случайность. Это результат того, что кто-то считал планирование запросов первоклассной инженерной задачей, а не рутинным дополнением.

Проверьте свои самые медленные запросы этой недели — возможно, одна из этих семи ошибок уже сидит в вашей production-базе.

Источник и материалы:
• Database Indexing Mistakes That Kill SaaS Performance at Scale — оригинальная статья OutworkTech
• PostgreSQL Index Types — официальная документация
• REINDEX — документация по перестроению индексов

Разбираем, почему бидирекционный денойзинг оказался эффективнее привычного лево-направо декодирования, и что это значит для разработчиков интеллектуальных агентов.

Маскированные диффузионные языковые модели (MDLM) превосходят авторегрессионные LLM как модели мира (world models) для текстовых сред благодаря бидирекционному денойзингу и учёту якорей (anchors).

8-миллиардная SDAR обходит 35-миллиардную Qwen-3.5-35B-A3B по метрике MAUVE (0,982 против 0,932) и порождает состояния большего разнообразия.

GRPO-обучение на траекториях от MDLM даёт прирост до +47% на отложенных (held-out) средах (ALFWorld, ScienceWorld, AppWorld).

Экспертная оценка подтверждает высокий реализм (4,75/5) и корректность (4,25/5) сгенерированных состояний.

Ограничения: хрупкая генерация API-ключей, pagination drift и блоковые повторы при высокой temperature.

В контексте обучения с подкреплением (RL) world model — это генеративная модель, которая предсказывает следующее состояние среды на основе текущего состояния и действия агента. Вместо того чтобы взаимодействовать с реальным API или базой данных на каждом шаге обучения, агент может «играть» в симуляции, созданной world model. Это дешевле, быстрее и позволяет порождать редкие или опасные сценарии, которые сложно воспроизвести в реальной системе.

Ранее для текстовых сред чаще всего использовали обычные автрегрессионные LLM: подали префикс — модель дописала продолжение. Но у этого подхода есть фундаментальное ограничение: состояния среды часто содержат якоря (anchors) — фиксированные поля, которые должны оставаться неизменными (например, user_id или status: "error"). Авторегрессионная модель, генерирующая текст строго слева направо, не видит эти якоря до тех пор, пока не дойдёт до них, и рискует сгенерировать противоречивое состояние.

Почему автрегрессионные LLM плохо справляются

Представьте, что модели нужно сгенерировать ответ API о возврате платежа. В схеме зафиксированы поля ticket_id и user_id, а также конечный статус "error". Авторегрессионная модель начинает декодирование с первого поля и не видит финальный статус до самого конца. В результате она может сгенерировать refund_processed: true, хотя статус требует ошибки — получается глобально некорректное состояние.

Этот эффект называется left-to-right bias: causal attention маскирует будущие токены, и модель вынуждена принимать решения без учёта глобальных ограничений. При масштабировании длины траекторий ошибки накапливаются, что приводит к mode collapse — агент видит всё меньше разнообразных ситуаций и переобучается.

Проблема в цифрах:
Исследователи показали, что даже 35-миллиардная авторегрессионная модель (Qwen-3.5-35B-A3B) уступает 8-миллиардной диффузионной по метрике MAUVE, измеряющей согласованность распределений сгенерированных и реальных состояний.

Как работают маскированные диффузионные модели

Маскированные диффузионные языковые модели (MDLM) обучаются итеративно восстанавливать замаскированные токены в последовательности. В отличие от авторегрессионных моделей, они используют бидирекциональное внимание: при подавлении шума каждой позиции модель видит все уже известные и все ещё замаскированные токены одновременно. Это позволяет учитывать якоря с обеих сторон последовательности.

Ключевое преимущество для world modeling — any-order generation. MDLM может заполнять поля состояния в произвольном порядке: сначала зафиксировать статус ошибки, потом подобрать под него корректный код ошибки, а уже затем заполнить остальные поля. Такой подход естественным образом поддерживает глобальную согласованность состояния и снижает накопление ошибок.

Ещё одно отличие — стохастичность самого порядка генерации. В авторегрессионной модели temperature влияет только на выбор токена; в MDLM она влияет ещё и на то, какую позицию раскрывать следующей. Это даёт дополнительную ось разнообразия и помогает избежать коллапса моды (mode collapse) на высоковероятных префиксах.

Результаты: 8B против 35B и zero-shot transfer

Авторы исследования собрали крупный датасет из сотен тысяч траекторий из девяти открытых сред (SWE-bench, CoderForge, TauBench, Gorilla, Toolathlon и других), сгенерированных передовыми моделями. На этих данных они дообучили несколько MDLM (SDAR-8B, SDAR-30B-A3B, WeDLM-8B, LLaDA-2.1-mini) и сравнили с авторегрессионными базовыми линиями (Qwen-3.5-27B, GPT-OSS-20B, GLM-4.7-Flash, Nemotron-3-Nano-30B, Qwen-3.5-35B-A3B).

Генерация состояний

На in-domain тесте SDAR-8B достиг MAUVE = 0,982, тогда как сильнейшая AR-модель (Qwen-3.5-35B-A3B) — всего 0,932. На out-of-domain наборах (API-Bank, OccuBench, Intercode-SQL) разрыв сохраняется: SDAR-8B показывает MAUVE 0,979 против 0,960 у 35-миллиардного конкурента. При этом Self-BLEU у SDAR-8B ниже (0,601 против 0,690), а Distinct-N выше (0,385 против 0,253) — это означает, что диффузионная модель порождает состояния большего разнообразия.

Обучение агентов без дообучения среды

Главный практический тест — можно ли использовать траектории от MDLM для обучения агентов в совершенно новых средах? Авторы применили GRPO (Group Relative Policy Optimization) с траекториями от SDAR-8B и Qwen-3.5-27B на трёх отложенных (held-out) средах: AppWorld, ScienceWorld и ALFWorld. Результаты впечатляют:

• LFM2.5-1.2B на ALFWorld: с 5,7% (база) до 53,6% с SDAR-WM — прирост +47,9% абсолютных пунктов.
• Mistral-7B на ScienceWorld: с 3,3% до 48,4% — прирост +45,1%.
• Qwen3-4B на AppWorld: с 33,3% до 62,0% — прирост +28,7%.
• Во всех девяти пара модель-среда SDAR-WM превосходит Qwen-WM в среднем на +5,3 пункта.

Критически важно: это zero-shot transfer — агенты не видели целевые среды во время обучения world model. Ранее подобные результаты требовали специфической адаптации под каждую среду.

Оценка людьми

Четыре независимых эксперта с опытом работы с LLM-агентами оценили 100 сгенерированных состояний по шкале Лайкера 1–5. Средние оценки SDAR: 4,75 (реализм), 4,25 (корректность исхода), 4,50 (польза для обучения). Коэффициент согласия Криппендорфа α ≥ 0,89 на всех метриках говорит о высокой межаннотаторной надёжности.

Ограничения и подводные камни

Несмотря на впечатляющие цифры, у MDLM как world models есть свои слабые места. Во-первых, модели испытывают трудности с генерацией структурированных полей вроде API-ключей: комбинация safety-alignment базовой Qwen и малого block size при диффузии приводит к искажённым строкам. Во-вторых, при работе с постраничным выводом (pagination) MDLM иногда теряет нумерацию страниц — эффект, который авторы назвали pagination drift.

Также при высоких температурах модель может зацикливаться на блоковом уровне, повторяя одни и те же фрагменты состояния. Авторы отмечают, что все три ограничения, скорее всего, ослабнут с ростом размера модели и специализированным дообучением на задачи работы с инструментами.

Что это значит для разработчиков

Для инженеров, строящих агентных систем, исследование открывает сразу несколько перспектив:

1. Синтетические данные для RL. Если у вас нет доступа к реальному контуру заказчика, MDLM-модель может сгенерировать вполне реалистичные траектории для предварительного обучения агента, прежде чем вы перейдёте к дорогим реальным вызовам.
2. Аугментация редких сценариев. Диффузионная природа MDLM даёт естественный способ порождать редкие ошибки и пограничные случаи, которые плохо представлены в логах production.
3. Эффективность по параметрам. 8-миллиардная диффузионная модель может заменить 30-миллиардную автрегрессионную в задаче симуляции — это снижает требования к инфраструктуре вывода.
4. Управляемость. Возможность задавать якоря и направлять генерацию через маскирование упрощает создание отобранных обучающих выборок под конкретные домены.

Если тема RL и агентов вам близка, загляните в наши материалы: как работает Reinforcement Learning, ускорение Qwen3.6 в llama.cpp и локальный запуск Mistral.

Важно понимать, что MDLM не заменяют полностью реальные среды: они скорее служат мостом между supervised fine-tuning и дорогим RL в production, позволяя дешево итерировать политику агента.

Выводы

Исследование Patronus AI демонстрирует, что архитектурный выбор важнее сырого количества параметров: 8-миллиардная маскированная диффузионная модель превосходит 35-миллиардную авторегрессионную в задаче world modeling благодаря бидирекционному денойзингу и способности учитывать якоря состояния. Для разработчиков агентных систем это открывает путь к дешёвым и разнообразным синтетическим средам для обучения.

Главный вывод исследования: архитектура важнее размера. 8-миллиардная диффузионная модель обходит 35-миллиардную авторегрессионную, потому что видит всё состояние целиком, а не только префикс.

Если вы планируете внедрять RL в агентные пайплайны, стоит следить за развитием MDLM: с ростом масштаба и специализации эта архитектура может стать стандартом де-факто для симуляции текстовых сред.

Источник: Deshpande D. Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL. Zenodo, 2026. DOI: 10.5281/zenodo.20219105. Исследование пока доступно только в виде препринта, его выводы стоит воспринимать с осторожностью.

Инструмент как часть личности

Возьмем типичную ситуацию: переход на новый стек или поддержка старой базы. Допустим, команда третью неделю (а иногда и третий месяц!) обсуждает, оставить Scala или перейти на Kotlin. Аргументы обеих сторон озвучиваются на первой же встрече, а затем просто повторяются от созвона к созвону. Кто-то говорит об экосистеме, кто-то — о кривой обучения. Внешне это выглядит как техническая дискуссия, но решение не принимается.

За годы работы с инженерными командами я заметил закономерность: чем дольше тянется спор, тем меньше в нем остается от сути технологий. Люди спорят о синтаксисе, но неозвученная дискуссия идет о том, чья экспертиза весит больше, чья позиция будет услышана и кто в итоге будет нести ответственность.

Программист, который пять лет пишет на Scala, не просто использует инструмент. Язык стал частью его мышления: как он декомпозирует задачи и выстраивает архитектуру. И когда кто-то предлагает перейти на Kotlin, человек слышит: «То, что ты умеешь, больше не нужно». Отсюда и высокий градус эмоций. Годы практики делают стек частью профессиональной идентичности. Оспорить выбор инструмента — значит задеть человека лично.

Ловушка единомышленников

Отдельная история — когда вся команда пришла из одной среды. Если вы учились в одном вузе, слушали тех же спикеров и одновременно осваивали стек — на старте это кажется преимуществом. Вы понимаете друг друга с полуслова.

Однако со временем команда перестает замечать собственные слепые пятна. Любой «человек со стороны» с его новым взглядом воспринимается как дилетант, пытающийся найти изъяны в идеальной системе. Холивары в таких коллективах особенно вязкие: все одинаково уверены, что «очевидное очевидно», а любое альтернативное мнение априори ошибочно или упоминается лишь в контексте «идея хорошая, но делать ее мы не будем».

Скульптура против Lego: конфликт ценностей

В инженерной культуре сложность часто путают с качеством. Из-за этого возникают одни из самых затяжных конфликтов: когда один разработчик ратует за лаконичность и скорость, а другой — за «высокую архитектуру». Scala появилась именно из этой логики: язык создавался людьми, которые хотели объединить объектно-ориентированное и функциональное программирование в одном инструменте. Получилось мощно и академически красиво, но взаправду сложно. И вопрос, а всегда ли нужно вот настолько сложно, тоже порождает споры.

Хорошая аналогия — скульптура из мрамора против фигурки из Lego. Когда мы видим работы Страцца и Бернини, которые смогли передать в камне эффект тончайшей вуали, мы застываем в восхищении посреди музея. Но создание таких статуй требовало времени, а внести “правки от заказчика” означало бы подвергнуть риску всю работу: попробуйте исправить скол на мраморной статуе, которую ваяли сильно дольше, чем планировалось. В случае с конструкцией из Lego все намного проще: вынул блок, вставил другой, и вот из фигурки кошки уже получился «Тысячелетний сокол».

Чем сложнее язык или технология, тем глубже оказываются ошибки и тем труднее их потом найти. Причем платит за это не только тот, кто писал. Автор ошибки как раз легко может к этому моменту уже уйти на повышение. Но каждый следующий человек, который начнет взаимодействовать с этим кодом, заплатит ту же цену. Технический долг в командах почти всегда описывают одинаково: «это то, что написали до меня». Мы сильно реже склонны упоминать его, имея в виду собственный код и свои планы. Сложные решения, выбранные ради красоты концепции, — один из самых надежных способов создать именно такой долг.

Сложный инструмент — не приговор. Но когда его выбирают ради престижа, а не задачи, споры вокруг него становятся особенно изматывающими.

Конфликт как трудности перевода

Важная вещь, которую часто пропускают: разные люди воспринимают одно и то же взаимодействие по-разному. Для одних горячий спор — нормальный способ думать вслух и нащупывать решение. Для других тот же разговор выглядит как конфликт, который нужно срочно разрядить или который надо зарепортить, тимлиду или сразу в HR.

Представьте, что два инженера увлеченно спорят об архитектуре: перебивают друг друга, говорят громко, каждый настаивает на своем. Третий коллега идет к руководителю и взволнованно сообщает, что в команде глубокий конфликт. Двое из начала абзаца искренне удивляются: какой конфликт, мы просто разговаривали. Но наблюдатель снаружи видит драку.

Проблема возникает, когда команда не договорилась, что считать нормой. Один воспринимает прямую полемику как рабочий режим, другой как личную атаку. Они будут решать разные задачи в одном разговоре и никогда не придут к общему решению, пока не поймут, что разговаривают на разных языках.

Молчание как последствие конфликтофобии

Если порыться в памяти, мы вспомним истории, когда инженер предлагал идею, но получил отказ — причем без объяснений, просто нет. Инженер предлагает снова, и снова получает неаргументированный отказ. В такой ситуации мало кто предложит инициативу в третий раз. Психологи называют это выученной беспомощностью — человек перестает пробовать, потому что система не воспринимает предложения. А объяснять детали система не обучена или не планирует, ведь чем больше информации она даст участникам системы, тем больше поводов для споров может возникнуть.

Проходит полгода, и руководители удивляются: почему никто не проявляет инициативы, почему все приходится тянуть самому. Получается, что боязнь конфликтов через неспособность доносить аргументы порождает дальнейшие проблемы.

А люди оптимизируют поведение под реальные условия. Те, кто уходит из команд, где их не слышали, редко называют настоящую причину даже во время exit-интервью — говорят про оффер, зарплату, должность. Такой отток не попадает ни в какой дашборд, и поэтому его не замечают.

Маленькое трение, умноженное на количество людей и рабочих дней, становится реальной проблемой производительности. Разница в том, что не всегда можно четко измерить, когда человек не доволен. Это не видно на графиках, и поэтому проще игнорировать, но трение точно ощущается человеком изо дня в день.

Команды, которые застревают в спорах о технологиях, обычно делают это не из-за недостатка экспертизы. Оказывается, что, когда нет безопасного способа не соглашаться и обсуждать разные мнения, никакие условия труда и семинары по управлению конфликтами ситуацию не улучшат. Но чтобы исправить эту проблему, сначала нужно признать, что это вообще проблема — и, главное, проблема не техническая.

В России также востребована речевая аналитика прежде всего банками, поставщиками страховых услуг, медицинскими и телекоммуникационными компаниями. Интерес к таким сервисам растет, потому что бизнес уделяет все больше внимания повышению качества клиентского опыта и заинтересован в получении маркетинговой информации, которую в изобилии приносит анализ всех разговоров с клиентами.

Кроме того, росту рынка способствует развитие омниканальных решений связи, в которых также очень часто задействованы сервисы для анализа коммуникаций. Российский рынок речевой аналитики, по ранее опубликованному прогнозу TelecomDaily, растет схожими с мировым темпами: в 2025 году он должен был увеличиться на 16% и составить 1,56 млрд руб.

Если говорить упрощенно, то речевая аналитика — это ИИ-анализ коммуникаций, то есть любых диалогов с помощью больших языковых моделей. Нейросети переводят голос в текст и, выполняя поставленные им задачи, отслеживают соответствие речи оператора или клиента заранее настроенным параметрам.

Такие сервисы умеют выделять диалоги с повышенным, отрицательным эмоциональным фоном, оценивать уровень уверенности в речи менеджера по продажам, наличие в разговоре логики, ключевых слов, соответствия скриптам. На основе этих данных алгоритмы формируют отчеты, которые дают бизнесу представление об уровне сервиса и эффективности продаж.

Разумеется, такой анализ требуется прежде всего в отделах клиентской поддержки и продаж, чтобы контролировать качество работы менеджеров, видеть узкие места, типичные ошибки в коммуникационных сценариях. На основе речевой аналитики можно принимать решения о корректировке бизнес-процессов и даже стратегические. Использование таких сервисов нельзя сравнить с ручным анализом, ведь они достигают нужной цели на порядки быстрее человека.

Если упростить: чтобы проанализировать час разговора с клиентом, порой требуется потратить тот же час. ИИ сделает это за несколько минут.

Речевая аналитика и предубеждения

Сегодня не приходится говорить о том, что речевая аналитика — будущее компаний. Эти технологии уже находятся на высоком уровне развития и внедряются во многих сферах. Еще больше на них возлагается надежд, связанных с тем, что они полностью изменят бизнес и сделают его радикально эффективнее, помогут исправить все недостатки в бизнес-процессах. Однако это не совсем так: ИИ в телекоммуникациях — это условие для принятия верных решений, а не инструмент для устранения проблем.

Например: речевая аналитика способна выявить ключевые маркеры эффективности менеджеров. А вот что делать с результатами анализа, как их обратить на пользу бизнесу — отдельная задача для стратегов. Анализ действительно может показать, например, что менеджеры по продажам допускают ошибки, предлагая конкретный продукт (или не предлагают его вовсе). Однако нейросети просто предоставляют отчет, суммаризируют диалоги и оценивают их результативность, и это лишь констатация факта, с которым необходимо дальше работать.

Второй предрассудок — якобы предельно высокая стоимость внедрения речевой аналитики и похожих ИИ-решений. Какое-то время назад они действительно были доступны только крупному бизнесу, а для среднего и малого оставались далеко не всегда рациональным расходованием средств. Это было связано с высокой ценой решений на этапе их выхода на рынок. Но сейчас стоимость LLM, как и оборудования, на которых они работают, снижается.

Растут конкуренция и выбор ИИ-решений, а общая их эффективность повышается, что делает их внедрение все более оправданным для компаний любого масштаба. Даже с учетом того, что затрат требуют не только оборудование и программы, но и работа квалифицированных сотрудников, которых на рынке пока не хватает ( следовательно, их зарплаты находятся на высоком уровне и растут).

Впрочем, к оценке стоимости проектов по внедрению речевой аналитики необходимо подходить не линейно: их цена должна рассматриваться в контексте повышения эффективности работы бизнеса. Если компания благодаря внедрению ИИ получает полмиллиона дополнительной прибыли, и это стоит ей 300 тысяч на ежемесячную зарплату инженеру — выбор вполне очевиден.

LLM становятся доступнее

Стоимость больших языковых моделей падает, так как их становится больше. Сегодня выбор ИИ-решений в области распознавания и анализа речи на рынке достаточно широк, хотя фундаментально такие технологии разрабатывают лишь несколько крупнейших ИТ-компаний. Но предложение не ограничивается проприетарными LLM: в открытом доступе присутствуют разработки open source, например от LLaMA, Qwen и других компаний.

У моделей с открытым программным кодом есть свои преимущества. Они создаются на основе совместных исследований разработчиков ИИ-решений, обычно поддерживают несколько языков, а главное — компаниям проще кастомизировать их под свои потребности, чем в случае с проприетарными LLM.

При этом стоит отметить, что у отечественных моделей тоже есть важный плюс: они изначально лучше подходят для русскоязычных пользователей, ведь обучаются на русском языке. Это отчасти обусловливает тот факт, что российские решения нередко (но не всегда) дают более качественные ответы, чем зарубежные. Выбор модели в любом случае зависит от потребностей компании в кастомизации продукта, от масштабов и бюджета бизнеса.

То же касается и решения — разворачивать ли ИИ-сервисы в собственном контуре или в облаках. Как правило, среднему и малому бизнесу экономически невыгодно локализовывать ИИ-агентов полностью в своей инфраструктуре.

Принцип работы моделей

Важно понимать, что на сегодняшний день в большинстве случаев нет возможности поставить модели любую задачу и получить решение на основе свободной мысли и воли искусственного интеллекта. Большинство из них формулируют ответы, используя в работе уже загруженную в них информацию, при этом они постоянно нуждаются в обучении. Их внутреннюю базу знаний приходится периодически пополнять, а также при необходимости настраивать доступ моделей к внешним источникам информации. Ими могут быть интернет либо внутренние базы знаний в компании. При этом, если модель ищет информацию в сети, то ее ответы будет сложно верифицировать. Поэтому чаще всего в чат-боты, ИИ-ассистенты, умные помощники операторов контакт-центра встроены модели, которые используют данные только из внутренних информационных систем бизнеса. Они выделяют нужное, формулируют ответы и списки источников, которыми пользовались, а человек только проверяет результаты. Но специалист пока остается последним звеном и фильтром тех решений, которые предлагает нейросеть. Потому что галлюцинации ИИ все равно неизбежны.

Как ни странно, это связано с принципиальным устройством «мышления» моделей: на самом деле у них нет задачи ответить на вопрос верно. Они просто обязаны дать любой ответ. Насколько точным он окажется, полностью зависит от качества данных, на которых обучена модель, и умения сотрудников ставить задачи для ИИ. В этом деле самое важное — понимать, что модель не умеет видеть смыслы и у нее нет обязательного для любого человека интеллектуального бэкграунда.

Проще говоря, у нее отсутствуют априорные знания о явлениях и предметах (солнце — желтое), поэтому идеальный промпт должен быть максимально подробным: не стоит опасаться перегнуть палку с формализацией при описании задач. Может показаться, что такой промпт предназначен ребенку — что же, пока ИИ, к счастью или сожалению, и правда не дорос до уровня человеческого осознания.

Вы знаете, что a + b * c + d вычисляется как a + (b * c) + d. Но как объяснить это машине? Как закодировать правила приоритета операторов так точно, чтобы парсер сам правильно строил дерево разбора?

Pratt parsing — элегантный алгоритм, придуманный Воном Праттом в 1973 году. Он лежит в основе парсеров многих современных языков, но его описания часто сводятся к магическим таблицам приоритетов без объяснения, почему это работает. Эта статья строит интуицию с нуля.

— AST — основная структура данных: оператор над операндами, вычисление снизу вверх.

— Приоритет операторов определяет наклон дерева: выше приоритет — глубже в дерево.

— При падении приоритета алгоритм поднимается по «хребту» дерева — это и есть суть Pratt parsing.

— Левая и правая ассоциативность задаются через LBP и RBP (left/right binding power).

— Полный парсер с поддержкой всех операторов — около 10 строк на Python.

Абстрактное синтаксическое дерево

Наиболее распространённое решение для разбора выражений — абстрактное синтаксическое дерево (AST, Abstract Syntax Tree). В AST каждый оператор стоит над своими операндами. Вычисление идёт снизу вверх: сначала обрабатываются дочерние узлы, затем операция над ними.

Для выражения a + b * c + d правильное AST выглядит так:

Узел * находится глубже, чем +, — это и отражает более высокий приоритет умножения. При вычислении сначала перемножаются b * c, результат складывается с a, затем прибавляется d.

Как приоритет влияет на форму дерева

Здесь кроется главная интуиция Pratt parsing. Приоритет операторов напрямую определяет, в какую сторону «наклоняется» дерево:

• Убывающий приоритет (например, * + ==) — дерево наклонено влево: операторы с большим приоритетом оказываются глубже.
• Возрастающий приоритет (например, == + *) — дерево наклонено вправо.
• Равный приоритет — по соглашению левая ассоциативность, дерево наклоняется влево.

Рассмотрим промежуточное состояние разбора. Пусть мы уже построили дерево I для выражения (a > b + c * d) — это правонаклонное дерево: > наверху, * в самом низу.

Теперь встречаем следующий оператор. Куда вставить новый узел? Зависит от приоритета:

• [I] * e — приоритет * не меньше приоритета * в дереве, вставляем в самый глубокий узел.
• [I] + e — приоритет + ниже *, но выше >, поднимаемся по хребту выше узла *.
• [I] == e — приоритет == ниже всего дерева, всё дерево I становится левым потомком.

Ключевое наблюдение: когда встречается оператор с меньшим приоритетом, мы поднимаемся по правому хребту дерева, собирая узлы с более высоким приоритетом. Это и есть Pratt parsing — алгоритм, который реализует именно этот подъём по хребту.

От интуиции к коду

Начнём с простого случая — правонаклонного дерева. Каждый оператор правоассоциативен, приоритет не учитывается:

Здесь leaf() читает следующий терминал (число или переменную), peek() смотрит на текущий токен без продвижения, advance() читает и сдвигает позицию.

Добавляем приоритет. Рекурсивный вызов передаёт приоритет текущего оператора как порог — это ограничивает, какие операторы следующий уровень может «захватить»:

Это уже работает для правоассоциативных операторов. Но у нас if — разобрали один оператор и вышли. Для левоассоциативных нужен цикл:

Полный Pratt parser

Замена if на while — это и есть процедура подъёма по хребту дерева. Цикл продолжается, пока следующий оператор имеет достаточно высокий приоритет, чтобы «захватить» левую часть. Как только приоритет падает — выходим, и текущее поддерево передаётся вверх по стеку вызовов.

Правая ассоциативность через binding power

До сих пор у нас одно число приоритета на оператор. Но для управления ассоциативностью нужно различать, насколько «сильно» оператор притягивает операнды слева и справа. Вводятся два понятия:

• LBP (left binding power) — сила притяжения левого операнда.
• RBP (right binding power) — сила притяжения правого операнда.

Правила ассоциативности через binding power:

• Левоассоциативные операторы (+, *): LBP == RBP. Правый рекурсивный вызов получает тот же приоритет — следующий оператор с таким же приоритетом не захватывается, строится левое дерево.
• Правоассоциативные операторы (**, =): RBP = LBP − 1. Правый рекурсивный вызов получает чуть меньший приоритет — следующий оператор с таким же приоритетом захватывается, строится правое дерево.

Это финальная версия Pratt parser. Всего 8 строк кода — и корректный разбор всех операторов с любым приоритетом и ассоциативностью.

Итог

Pratt parsing — не хитрый трюк, а следствие простой геометрической интуиции. Деревья разбора наклоняются влево или вправо в зависимости от приоритета операторов. Когда встречается оператор с меньшим приоритетом, алгоритм поднимается по правому хребту текущего дерева — ровно настолько, насколько нужно.

Ключевые детали реализации:

• while вместо if — реализует подъём по хребту для левоассоциативных операторов.
• Передача приоритета в рекурсию — ограничивает, какие операторы «захватываются» на следующем уровне.
• LBP / RBP — контролируют ассоциативность через разницу в единицу.

Понимание этой геометрии делает Pratt parsing прозрачным: каждая строка кода отражает конкретное геометрическое действие с деревом, а не магию таблиц приоритетов.

Почему студент с искусственным интеллектом, как обезьяна с гранатой? Как обезьяна, случайно оказавшаяся с оружием в руках, студент без глубокого понимания принципов работы искусственного интеллекта может запустить процессы, последствия которых будут непредсказуемы и необратимы.

Главная мысль здесь не в том, что студент «глуп» или «опасен сам по себе», а в том, что мощный инструмент в руках человека без системного понимания превращает ошибку в масштабируемое событие. Если раньше незнание ограничивалось локальной неудачей — неверно решённой задачей, плохим кодом, неработающим проектом, — то с ИИ цена непонимания резко возрастает. Искусственный интеллект способен автоматизировать, ускорять, тиражировать и легитимизировать решения. Поэтому ошибка студента уже не остаётся частной: она может быть встроена в код, в продукт, в учебный процесс, в управленческое решение и потом многократно воспроизводиться, оставаясь внешне «умной» и убедительной.

Ещё глубже этот тезис можно раскрыть через проблему снятия когнитивной ответственности. ИИ удобен тем, что снимает с человека часть интеллектуальной нагрузки. Но вместе с нагрузкой он нередко снимает и привычку сомневаться. Студент начинает не исследовать, а принимать; не проверять, а компилировать; не строить понимание, а собирать правдоподобные ответы.

К сожалению не всем присущ осмысленный подход к применению технологий. Всему виной человеческая лень. Именно она толкает студентов на то, чтобы не разбираться в материале, а пытаться переложить всю работу на алгоритмы. Вместо того чтобы использовать нейросети как инструмент для анализа, проверки гипотез или поиска новых идей, многие начинают превращать его в «костыль», подменяющий собственное мышление.

Непредсказуемость последствий связана не только с техническими сбоями, но и с тем, что студент может не видеть социальных эффектов своих действий: утечки данных, дискриминационных выводов, фабрикации источников, ложных рекомендаций, академического мошенничества, автоматизации вредных практик. То есть речь не о том, что «ИИ плох», а о том, что без культуры ответственности любая умная система становится ускорителем хаоса.

Новый лучший друг каждого студента?

С момента появления искусственного интеллекта в нашей жизни подход ко многим вопросам изменился. Я замечаю, что все реже пользуюсь поиском и все чаще задаю вопросы ChatGPT, все реже выбираю реальную фотосъемку и все чаще создаю новую аватарку в нейросети, все реже читаю длинные статьи от начала до конца и все чаще прошу нейросеть коротко пересказать их суть и выделить главное в формате саммари.Кажется, что я такая не одна, ведь по опросу коммуникационного агентства FAVES Communications, проведённому в октябре 2025 года, почти 52% россиян сегодня ориентируются на ответы искусственного интеллекта при поиске через «Яндекс» и Google, причем 43% признают, что доверяют полученной информации и советам (РБК, Публикация компании FAVES Communications)

Сложно переоценить влияние искусственного интеллекта на нашу жизнь и, конечно, это не могло не оказать воздействия на сферу образования. Сейчас школьники и студенты активно используют искусственный интеллект для своей учёбы. Теперь не нужны ни знания, ни ГДЗ, ни Google, ни Википедия. Чтобы написать доклад или сочинение нужно вбить запрос в нейросеть и сразу получить готовый документ с главами и оформлением по ГОСТ. Не нужно умеет решать примеры, можно сфоткать задачу на листке, вбить её в искусственный интеллект и за секунды получить верный ответ. Современные школьники студенты делают через искусственный интеллект практически всё задания, домашки, доклады, даже пишут курсовые и дипломы.

Конечно, в связи с ростом искусственного интеллекта меняются и появляются технологии и отслеживающие его. Сдать курсовую или диплом полностью сгенерированные нейросетью не так просто. Антиплагиат теперь не только отмечает текст который вы взяли из других источников, но и ставит красный значок на вашей работе, если находятся сгенерированные элементы. За это можно получить наказание в виде незачета или отчисления. Есть только один момент. Каким образом он это определяет пока не ясно и неоднократно были случаи того что этот «чудесный антиплагиат» ставил знак сгенерированного и подозрительного документа даже на полностью написанные человеком тексты.

Меры борьбы с искусственным интеллектом приняли и в Высшей Школы Экономики, где студент может использовать нейросети в своих работах, но ему необходимо оправдать это использование, то есть написать в каких моментах и с какой целью в данной работе был применен искусственный интеллект. А если комиссия или преподаватели посчитают текст за сгенерированным и не увидят объяснение причин, то работу аннулируют и не будут проверять.

Почему университеты вводят такие ограничения? Не потому, что боятся технологий, а потому, что защищают сам смысл образования. Для вуза важно не только то, какой текст сдал студент, но и то, кто именно произвёл мысль, аргументацию и вывод.

Генеративный ИИ разрушает эту прозрачность: работа может выглядеть сильной, хотя реальный вклад автора в неё минимален. Поэтому в ВШЭ запрещают не искусственный интеллект как таковой, а его скрытое использование. Формальное основание — академические нормы университета: ИИ можно применять, но только с обязательным раскрытием, где, как и зачем он использовался. Если же преподаватель видит признаки машинной генерации, а студент этого не указал, работа может быть аннулирована, потому что в глазах университета это уже не технологическая помощь, а нарушение принципа самостоятельности и академической честности.

А есть ли плюсы?

Эксперты подчеркивают, что синергия человека и искусственного интеллекта способна значительно повысить качество как принимаемых решений, так и творческой деятельности. Интеграция современных инструментов в повседневную работу человека может не только оптимизировать процессы принятия решений, но и открыть новые горизонты для решений сложных задач, тем самым увеличивая общую производительность (Redefining Cognitive Domains in the Era of ChatGPT: A Comprehensive Analysis of Artificial Intelligence’s Influence and Future Implications - PMC).

Есть свои плюсы и в сфере образования. При правильном подходе LLM могут стать незаменимыми персональными помощниками и наставниками. В сфере обучения и саморазвития ИИ способен адаптироваться к индивидуальному уровню каждого учащегося, оперативно предоставляя обратную связь и подбирая релевантные материалы, что способствует более эффективному усвоению знаний (AI Tools in Society: Impacts on Cognitive Offloading and the Future of Critical Thinking)

А что насчет преподавателей?

Искусственный интеллект меняет сферу образования изнутри, меняются все процессы. Нейросети упрощают работу педагогов, избавляют их рутинных задач и бюрократии и оставляют время и ресурс на самое важное — живое взаимодействие с учениками, развитие критического мышления и творческого потенциала каждого ребёнка. Меняется и наполнение занятий, учителя и преподаватели меняют формат уроков и дополняют их интерактивными элементами при помощи нейросетей.

Нейросети действительно могут снимать часть рутины, но не в магическом режиме «нажал кнопку — и школа работает сама». По данным UNESCO, в вузах и образовании ИИ уже используют для подготовки занятий, поддержки оценивания и административных задач; Microsoft и OpenAI в своих материалах для педагогов тоже прямо называют типовые сценарии: черновики планов уроков, квизы, рубрики, варианты обратной связи, адаптацию материалов под разный уровень учеников.

Нейросети упрощают работу педагога не потому, что «учат вместо него», а потому, что берут на себя часть черновой подготовки. Учитель может за несколько минут получить не готовый идеальный продукт, а основу: план урока, варианты заданий для сильных и слабых учеников, тест с ответами, рубрикатор оценивания, шаблон письма родителям, конспект по новой теме или набор интерактивных упражнений. Меняется и само наполнение занятий: вместо одного стандартного объяснения для всех преподаватель может быстро собрать несколько версий материала — короткую, углублённую, игровую, дискуссионную или встроить в урок квиз, кейс, ролевой сценарий или симуляцию.

При этом, большинство образовательных организаций остаются консервативными в вопросах новых технологий и не готовы уступать свои рабочие задачи роботам и искусственному интеллекту.

Риски и опасности

Мой младший брат освоил нейросети раньше, пока учился в школе и страшно представить какое поколение вырастет из них. Его ровесники и он сам вообще перестали делать домашнее задание и задачи на уроках сами. А зачем, если есть искусственный интеллект, который решит все за секунду?

Но вместе с удобством пришла и новая проблема — молодые люди всё меньше напрягают мозг, всё чаще доверяют машине и всё реже испытывают радость собственного открытия. Учителя жалуются, что детям трудно формулировать мысли, обосновывать ответы и рассуждать без цифровой подсказки. Замглавы администрации президента Максим Орешкин отмечает, что традиционные домашние задания для школьников практически утратили смысл из-за развития технологий искусственного интеллекта. Парадокс в том, что искусственный интеллект, созданный для расширения возможностей человека, постепенно лишает его практики мышления, если не научить пользоваться им осознанно и с умом.

У подрастающего поколения навыки самостоятельного решения задач не формируются: дети копируют ответы ИИ для домашних заданий, теряя практику логики и анализа. Без цифровой грамотности они слепо верят моделям, рискуя дезинформацией, а привязанность к виртуальным собеседникам тормозит эмпатию и живое общение.

10 лет назад ГДЗ были в основном складом готовых ответов. Ребёнок брал уже существующее решение, переписывал его и чаще всего оставлял следы: одинаковые формулировки, типовой ход решения, несоответствие своему обычному уровню, привязка к конкретному учебнику или номеру задания. Учитель хотя бы примерно понимал, с чем имеет дело: перед ним списанный ответ.

На уровне мотивации почти ничего не изменилось: и десять лет назад, и сейчас часть школьников хочет не понять материал, а как можно быстрее сдать работу. ИИ — это уже не склад, а машина по производству правдоподобия. Он не просто даёт готовое решение, а подстраивает его под запрос: может переписать другим стилем, упростить, усложнить, сделать «как будто писал восьмиклассник», добавить ошибки, изменить структуру, даже сымитировать рассуждение. То есть если ГДЗ помогали списать, то ИИ помогает скрыть сам факт списывания.

Вполне возможно, что массовое использование ИИ студентами и школьниками — это не столько бунт против учёбы, сколько адаптация к системе неадекватной нагрузки? Когда образование превращается в конвейер дедлайнов, отчётов, презентаций и формальных заданий, ученик начинает оптимизировать не мышление, а выживание. В этом смысле нейросеть становится не источником проблемы, а самым удобным ответом на неё. Она позволяет быстро производить тот объём учебного продукта, который система требует, но не успевает осмыслять. ИИ здесь выступает как зеркало: он показывает, сколько в современном образовании осталось настоящего понимания, а сколько — ритуальной занятости.

Пессимистический прогноз предупреждает, что в течение ближайших десяти лет неконтролируемое и чрезмерное использование LLM может привести к постепенному ослаблению некоторых когнитивных функций у людей. Основной риск – это «когнитивная лень» и утрата навыков вследствие постоянного облегчающего воздействия ИИ, когда человек привыкает получать готовые решения без усилий. Исследователи уже фиксируют тревожные тенденции: чрезмерное доверие результатам, выданным ИИ, способно притуплять критическое восприятие и аналитику, высказывается обеспокоенность по поводу сужения кругозора и творческого мышления.

В начале 2025 года в Media Lab Массачусетского технологического института было проведено исследование, в рамках которого студенты были разделены на три группы и выполняли задание по написанию серии коротких эссе. Первая группа выполняла работу самостоятельно, вторая использовала поисковую систему Google, а третья – языковую модель ChatGPT. В процессе работы проводилась запись электроэнцефалограммы (ЭЭГ) каждого участника.

Анализ данных, полученных на ограниченной выборке, выявил, что участники, использовавшие ChatGPT, продемонстрировали минимальную мозговую активность, наихудшие результаты по лингвистическим и поведенческим показателям, а также выраженную тенденцию к снижению когнитивной нагрузки по мере написания каждого последующего эссе. При повторном выполнении задания без использования искусственного интеллекта, участники демонстрировали ухудшение памяти относительно ранее написанных текстов и снижение активности ритмов, что свидетельствует об ослаблении глубокой памяти.

В противоположность этому, студенты, работавшие без использования искусственного интеллекта, демонстрировали повышенную нейронную активность и удовлетворение от процесса. У них наблюдалась активация областей головного мозга, отвечающих за творческое мышление, процессы запоминания и семантическую обработку информации.

У третьей группы лиц было зафиксировано формирование так называемого когнитивного долга – накопившегося дефицита глубокого обучения, который негативно влияет на способность к критическому анализу и повышает восприимчивость к манипуляциям и поддающимся стереотипным убеждениям.

Получается, что большинство новых технологий направлены на, чтобы сделать нашу жизнь проще, но из-за этого мы становимся ленивее и страдает наш мозг, творческое мышление и когнитивные функции.

Этические и правовые аспекты

Технологии уже радикально меняют учебный процесс, а вот нормы, правила и культура обращения с ними заметно отстают. С одной стороны, искусственный интеллект обещает персонализированное обучение, снижение нагрузки на преподавателей и расширение доступа к качественному контенту, с другой — обостряет старые проблемы академической честности, неравенства и защиты данных и параллельно рождает новые типы злоупотреблений, вроде «делегирования» всего процесса обучения машине.

Особое внимание следует уделить академической добросовестности и набирающей обороты тенденции «цифрового плагиата». Работы, созданные с использованием генеративных моделей, формально представляются уникальными, однако они не отражают ни трудозатрат, ни глубокого понимания автора, что обесценивает саму концепцию оценивания как способа проверки усвоения учебного материала. В ответ на это образовательные учреждения принимают различные меры: от прямых запретов и попыток обнаружения текстов, созданных искусственным интеллектом, до более продуманного подхода, при котором использование нейросетей интегрируется в учебные задания как допустимый инструмент, а критерием оценки становится не сам факт применения ИИ, а уровень критического осмысления и личный вклад обучающегося.

Правовое регулирование в данной сфере пока носит фрагментарный характер, особенно в Российской Федерации. Специального законодательства, которое бы целенаправленно регулировало использование ИИ именно в образовании, в настоящее время не существует. Поэтому применяются существующие правовые нормы: Федеральный закон «Об образовании», законодательство о персональных данных, нормы об авторском праве и отдельные нормативные акты, связанные с национальной стратегией развития искусственного интеллекта до 2030 года.

Это приводит к тому, что многие виды деятельности фактически подпадают под действие законодательства (например, сбор и анализ учебной статистики платформами ИИ или генерация учебных материалов), однако участники образовательного процесса не в полной мере осознают свои права и обязанности, особенно в случаях ошибок, допущенных алгоритмами, или утечек конфиденциальных данных.

На стыке этических и правовых аспектов постепенно формируется ключевая идея: нейросети не упраздняют роль преподавателя и обучающегося, а значительно повышают ответственность за использование технологий. Если рассматривать ИИ исключительно как инструмент для ускорения текущих процессов, система образования рискует усугубить существующие недостатки и несправедливости, просто в более автоматизированном и менее явном формате.

Вывод

В фокусе всей дискуссии об искусственном интеллекте в образовании — не технологии, а человек и качество обучения. Нейросети одновременно усиливают лучшие практики (персонализацию, доступность, автоматизацию рутины) и обостряют слабые места системы — неравенство, академическую нечестность, зависимость от готовых ответов и уязвимость персональных данных.

По моему мнению важно использовать искусственный интеллект с умом, не подменять им свое мышление, а использовать как новый ресурс, который помогает мыслить и обучаться быстрее. Было бы ошибкой впадать и в крайности и демонизировать инструмент. Калькулятор не убил математику, а поисковые системы не уничтожили исследовательское мышление. Искусственный интеллект — это ресурс, и, как любой ресурс, он усиливает то, что уже есть. Если есть мышление — он ускоряет его. Если мышления нет — он маскирует его отсутствие, причём временно. Настоящий вызов не в том, чтобы запретить студентам пользоваться ИИ или разрешить без ограничений. Вызов в том, чтобы научить работать с ним так, как работает хороший специалист: задавать правильные вопросы, проверять ответы, спорить с машиной, а не слепо ей доверять. Не отдавать мышление на аутсорс, а использовать новый инструмент для того, чтобы мыслить глубже и быстрее.

Главный вывод: искусственный интеллект в школе и вузе должен работать как инструмент развития мышления, а не как сервис по обходу усилий и ответственности. Главное, что надо понять — использовать новые технологии нужно осознанно, использовать искусственный интеллект, как помощник, а не замену собственным мозгам.

Но если убрать романтику и посмотреть на структуру, становится видно странное сходство. Мертвые языки могут похвастаться строгими правилами, формальными системами и дисциплиной мышления. И в этом они пугающе похожи на программирование.

Морфология вместо порядка — как типы вместо позиций

В английском все решает порядок слов. Поменял местами — поменял смысл. В латыни или древнегреческом важнее не позиция, а форма слова — окончание. Именно оно показывает, кто субъект, кто объект, кто инструмент действия.

Чем это похоже на код? Как минимум тем, что поведение объекта определяется его типом и свойствами, а не тем, в какой строке он стоит.

Когда вы разбираете сложное латинское предложение, вы не можете просто «прочитать слева направо». Приходится держать в голове несколько гипотез, пока финальный глагол не «закроет» всю конструкцию.

Это тренирует рабочую память и способность декомпозировать структуру.

Санскрит как формальная грамматика

Санскрит часто называют «инженерным языком древности». Его грамматику описал Панини — почти четыре тысячи правил, работающих как система мета-инструкций.

Там есть рекурсия. Есть правила, которые применяются к другим правилам. Есть даже строгая формальная логика вывода словоформ.

По сути, это древний DSL для генерации корректных выражений. Если вам близки алгоритмы и формальные системы, санскрит — это прекрасная «логическая тренировка». Он заставляет мыслить через правила, а не через интуицию.

А практический смысл есть?

Есть побочный бонус: примерно 60% английской лексики и до 90% научной терминологии имеют латинские и греческие корни. Это не делает вас лучшим разработчиком автоматически, но улучшает понимание терминов и документации.

Но главный эффект — когнитивный. Когда вы учите язык с жесткой морфологией и формальными правилами, мозг привыкает к структурному мышлению. А программирование — это и есть работа со структурами.

По данным World Economic Forum, 44% профессиональных навыков обновятся к 2027 году. Елена Соколова, Product Owner в Компьютерной Академии ТОП (ранее работала карьерным консультантом в Яндекс Практикуме и Нетологии, реализовывала проекты в Carlsberg Group, Лента, РЖД, Danone), за 850+ часов консультаций помогла специалистам устроиться в Яндекс, EPAM, МТС, Сбер и Ozon. Основная проблема, которую она видит: люди учатся хаотично, не понимая системы.

Разбираемся, какие компетенции станут обязательными в 2026 году и как они связаны между собой.

Первый блок — универсальные навыки, которые нужны всем, второй — техническая специализация по направлениям, третий — навык-усилитель для тех, кто хочет системно влиять на продукт и процессы.

Универсальные навыки: фундамент для всех направлений

Рынок требует не десять абсолютно разных скиллов, а три связанных блока компетенций. Первый — универсальные навыки, без которых сложно расти в любом направлении IT.

Когнитивное лидерство

Аналитическое и креативное мышление заняли первое и второе места в рейтинге навыков будущего по версии World Economic Forum 2024. Это способность разбирать сложные задачи на части, находить нестандартные решения и выстраивать логические цепочки. Вдобавок — устойчивость, гибкость и любознательность: качества, которые помогают адаптироваться к меняющимся требованиям рынка и осваивать новые инструменты.

На консультациях часто встречаются сильные технические специалисты, которые застревают на одной позиции годами. Проблема не в недостатке знаний кода, а в неумении анализировать карьерную ситуацию и принимать решения в условиях неопределенности.

Как развивать: решайте задачи на алгоритмы на LeetCode или Codewars, участвуйте в хакатонах, разбирайте чужой код на GitHub и пытайтесь объясняйть логику решений.

Техно-гуманитарная грамотность

IT-специалист в 2026 году необязательно должен быть разработчиком, но должен понимать, как работают технологии и как правильно ставить им задачи. Грамотность в области ИИ и больших данных (AI & Big Data Literacy) заняла седьмое место в рейтинге WEF — это умение сформулировать запрос к нейросети, оценить качество данных, выбрать подходящий инструмент для задачи.

Продакт-менеджер, который понимает принципы работы машинного обучения, может грамотно поставить задачу дата-сайентисту: объяснить, какие метрики важны, какие данные доступны и какой результат нужен бизнесу. Без этого понимания команда тратит недели на уточнения и переделки.

На собеседованиях в топовые компании проверяют не только технические знания, но и умение объяснить, как технология решает бизнес-задачу. Кандидат может знать Python, но если он не понимает, зачем компании нужна автоматизация, это становится проблемой.

Как развивать: экспериментируйте с ChatGPT, Claude или Gemini, изучайте основы работы с API, читайте документацию инструментов, которыми пользуетесь ежедневно.

Для тех, кто хочет системно освоить работу с ИИ, существуют специализированные программы — например, «Нейросети для увеличения дохода» и «Искусственный интеллект для жизни» в Академии ТОП учат не просто генерировать контент, а ставить корректные задачи моделям и интегрировать их в рабочие процессы.

Эмоциональный интеллект

Чем больше команд работает удаленно и чем активнее ИИ забирает рутинные задачи, тем выше ценность навыков, которые невозможно автоматизировать. Эмпатия, активное слушание и лидерство социального влияния заняли восьмое и девятое места в рейтинге World Economic Forum. Эти компетенции помогают выстраивать сотрудничество, разрешать конфликты и вести команду к результату.

Тимлид замечает, что разработчик стал медленнее закрывать задачи и меньше общается в чате. Специалист с развитым эмоциональным интеллектом не отправляет формальное сообщение о несоблюдении сроков, а назначает личный созвон, выясняет причину и помогает решить проблему до того, как она повлияет на проект.

В большинстве случаев решающим фактором было не только знание технологий, но и умение объяснить решение понятным языком и продемонстрировать навыки командной работы. Научить фреймворку можно за месяц, научить человека слушать и договариваться значительно сложнее.

В удаленных командах эмоциональный интеллект становится критичнее: нет невербальных сигналов, сложнее считывать настроение, легче возникают недопонимания.

Как развивать: давайте и запрашивайте обратную связь у коллег, анализируйте конфликты, наблюдайте за тем, как опытные менеджеры ведут сложные переговоры.

Селф-менеджмент

Мотивация и самосознание заняли четвертое место в рейтинге навыков будущего по версии World Economic Forum. Это способность управлять собственными ресурсами, удерживать фокус в условиях постоянных переключений и не выгорать при плотных дедлайнах.

Один специалист работает восемь часов, но половину времени тратит на переключения между задачами, проверку уведомлений и созвоны. Другой выделяет два часа глубокой работы утром, когда концентрация максимальна, закрывает мессенджеры и за это время делает больше. При одинаковом стеке технологий второй получает повышение быстрее, потому что стабильно выдает результат.

Понимания своих триггеров выгорания и умения вовремя установить границы. Специалисты, которые работали на износ и брали все задачи подряд, часто уходили из профессии через полгода. Те, кто умел выстраивать границы, отказываться от неприоритетных задач и распределять нагрузку, строили долгосрочную карьеру.

Как развивать: отслеживайте время, которое тратите на разные типы задач, анализируйте, в какое время дня вы наиболее продуктивны, и планируйте сложные задачи на эти часы. Учитесь отказываться от задач, которые не влияют на ключевые метрики проекта.

Специализация: что нужно знать по направлениям

Универсальные навыки — это фундамент, но на рынке труда оценивают конкретные компетенции. Требования различаются в зависимости от направления, но общая тенденция одна: работодатели ждут не просто знания инструментов, а понимания, как эти инструменты решают бизнес-задачи.

Программист

В 2026 году от разработчиков по умолчанию ждут уверенной работы с вебом, API, инструментами разработки и базовой архитектурой. Вот что стало обязательным минимумом для позиции Junior:

• Базовое программирование: переменные, циклы, функции, основы объектно-ориентированного программирования, уверенное владение хотя бы одним языком — Python, JavaScript, Java или C#. Плюсом идут TypeScript, Go или Kotlin.
• Веб и API: понимание протокола HTTP, работа с REST и JSON, базовые знания GraphQL, HTML и CSS для понимания фронтенда, SQL и основы NoSQL-баз данных. Тренд 2026 года — реактивные API и стриминг-данные в реальном времени.
• Инструменты разработки: Git для контроля версий, базовое понимание CI/CD, умение работать с Docker для контейнеризации приложений, навыки деплоя в облако хотя бы на базовом уровне.
• Алгоритмы и структуры данных: работа с массивами, списками, хэш-таблицами, понимание основных алгоритмов сортировки и поиска, базовое представление о сложности алгоритмов (нотация Big O).

Многое зависит от направления. Во фронтенде нужны JavaScript или TypeScript и React, в бэкенде — Python, Java или Go. Важный момент: импортозамещение делает обязательным опыт работы с отечественными платформами. В вакансиях на позицию Junior Backend Developer все чаще встречается требование знания Yandex Cloud или VK Cloud — это уже не плюс в резюме, а базовое ожидание.

Часто встречаю резюме, где перечислены десять языков программирования, но кандидат не может объяснить базовые принципы работы. Работодатели проверяют не количество технологий в резюме, а глубину понимания. Лучше знать один стек хорошо, чем пять поверхностно.

Для тех, кто выбирает разработку как основное направление, важна структурированная база. Программы по программированию в Академии ТОП дают практический стек под востребованные языки — от Python до Java — с проектами в портфолио и помощью в трудоустройстве.

Дизайнер

Среди множества направлений дизайна — графического, UX/UI, 2D, 3D, motion, интерьерного — веб остается одним из самых востребованных. В 2026 году от веб-дизайнера ждут базовых умений работать с Figma, понимания технологий, данных и того, как меняется пользовательский опыт.

• Работа с ИИ: умение ставить задачи моделям и оценивать результат. ИИ не заменяет дизайнера, но специалист, который не умеет его использовать, проигрывает в скорости.
• Адаптивный дизайн: проектирование интерфейсов под разные устройства и разрешения экрана, понимание сеток и основ HTML/CSS.
• Знание UX/UI: построение удобных пользовательских сценариев, навигации, проведение базового юзабилити-тестирования.
• Базовое понимание кода: не обязательно писать код самостоятельно, но понимать, как работают HTML, CSS и JavaScript, чтобы грамотно общаться с разработчиками и не предлагать решения, которые невозможно реализовать.
• Интерактив и анимация: применение CSS/SVG-анимаций и простых эффектов для повышения вовлеченности пользователей.
• Системное мышление: понимание связи данных, логики и поведения пользователя.

Дизайнеры, которые понимают, как работает код, получают офферы на 30-40% выше рынка. Они говорят с разработчиками на одном языке и экономят недели на правках.

Освоить веб-дизайн с учетом требований 2026 года можно на практических программах — курс по веб-дизайну в Академии ТОП обновляется под актуальные требования рынка и включает работу с адаптивностью, основами кода и UX/UI-проектированием.

Маркетолог

Маркетолог в IT — это связующее звено между продуктом, аудиторией и цифрами. В 2026 году нужно понимать, что стоит за данными, как работает автоматизация и где ИИ действительно помогает.

• Аналитика и данные: умение читать цифры (конверсии, retention, LTV), сегментировать аудиторию по поведению, работать с инструментами аналитики.
• Креатив: генерировать идеи и использовать новые форматы.
• Автоматизация и CRM: настройка email-цепочек, триггерных сообщений, персонализации контента в зависимости от действий пользователя.
• Понимание целевой аудитории: изучение поведения пользователей, построение customer journey map, создание точных предложений на основе данных.
• Личный бренд: активность в digital-среде и профессиональных сообществах.
• Работа с ИИ: умение ставить задачи моделям для генерации контента и проверять результаты на фактические ошибки.
• Системное мышление: понимание того, как маркетинговые решения влияют на продукт, продажи и техподдержку.

Специалист должен быть с аналитическим мышлением, который сначала проверяет, куда ведет ссылка, насколько релевантно предложение сегменту аудитории и нет ли технических проблем на посадочной странице. Без этого подхода бюджет уходит на A/B-тесты, которые не дают результата.

Для системного понимания digital-маркетинга существуют программы, которые учат работать с данными, автоматизацией и ИИ — курсы по маркетингу в Академии ТОП помогают собрать портфолио под реальные задачи и освоить современные инструменты аналитики.

Системное мышление и программирование: навык-усилитель

Программирование никуда не исчезло — оно стало глубокой специализацией. Навык критически важен для аналитиков, дата-сайентистов, продуктологов, digital-маркетологов и специалистов по автоматизации. World Economic Forum не включает его в топ-10 универсальных навыков, потому что это компетенция для конкретных ролей, но именно она дает значительное преимущество.

Почему программирование важно в 2026 году

1. Основа для работы с ИИ и данными. Продвинутые промты для GPT напоминают программирование. Чтобы интегрировать модель в продукт или дообучить ее, нужно знание языков — например, Python. Дата-аналитик, который умеет писать SQL-запросы и Python-скрипты, обрабатывает данные значительно быстрее того, кто работает только в Excel.
2. Прямое воздействие на бизнес-метрики. Написание скрипта для автоматизации еженедельного отчета экономит восемь человеко-часов в неделю. Создание простого чат-бота на Python снижает нагрузку на службу поддержки на 30%.
3. Язык создания цифровых продуктов. Понимание того, как работают бэкенд и фронтенд, позволяет менеджерам, маркетологам и продуктологам ставить технически грамотные задачи и говорить на одном языке с разработчиками.
4. Страховка от поверхностной автоматизации. No-Code инструменты хорошо решают типовые задачи. Но когда нужна кастомизация, сложная логика или интеграция несовместимых систем, без кода не обойтись. Специалист, который знает код, решает задачи, недоступные другим.

Программирование в 2026 году — это не про то, чтобы стать разработчиком мирового уровня. Это про системное мышление, возможность создавать решения и глубоко влиять на цифровую среду. Это навык для тех, кто хочет не просто адаптироваться к изменениям, а активно влиять на них.

Частые вопросы

Можно ли войти в IT без технического образования?

Да. Многие направления доступны новичкам без знания математики. Важнее базовая цифровая грамотность, аналитическое мышление и умение работать с ИИ даже на пользовательском уровне.

Какие навыки прокачивать в первую очередь?

Базовую цифровую грамотность, аналитическое мышление и умение работать с ИИ. Эти компетенции универсальны и применимы в любом направлении IT.

Насколько важен английский в 2026 году?

На старте достаточно уровня B1 для чтения документации и работы с инструментами. Для международных команд потребуется B2 и выше.

Станут ли ИИ-инструменты угрозой для специалистов?

Нейросети автоматизируют рутину и становятся помощниками, а не конкурентами. Специалисты, которые умеют работать с ИИ как с инструментом, получают преимущество перед теми, кто их игнорирует.

В 2026 году на рынке нужны специалисты, которые понимают IT шире своей роли и умеют сочетать технические компетенции с софт-скиллами. Сфокусируйтесь на универсальных навыках для фундамента, выберите специализацию под конкретное направление и при желании углубиться в технологии — добавьте программирование как навык-усилитель. Ваша карьера в IT зависит от того, насколько правильно вы подходите к обучению сегодня.

Реклама. Рекламодатель АНО ДПО «Академия Топ», ИНН 7730257499, erid: 2W5zFJ5yya8

Что такое катастрофическое забывание

Представьте пианиста, который десять лет играл классику, а потом решил освоить джаз. На первом уроке джаза он вдруг полностью забывает Баха, а уже через неделю больше не помнит простейших гамм.

В машинном обучении это явление называют катастрофическим забыванием. Нейросеть, когда обучается на новой задаче, стирает знания о старой, и это не сбой конкретной архитектуры или фреймворка — это особенность самого способа обучения нейросетей.

Как выглядит забывание на практике

Возьмём простую ситуацию. Мы обучаем нейросеть распознавать собак (Задача A) — она показывает 95% точности, потом даём ей новую задачу — классифицировать котов (Задача B). После обучения по новой выборке сеть отлично отличает котов (92%), но если снова проверить её на собаках — точность падает с 95% (как было изначально на собаках) до 10%, то есть до уровня случайного угадывания.

Это не потому, что у сети не хватает параметров. Исследования показывают: ёмкости модели достаточно, чтобы хранить знания по обеим задачам. Проблема в другом — в том, как работает градиентный спуск.

Почему обучение стирает старое

Градиентный спуск видит только текущие ошибки и стремится минимизировать функцию потерь именно для новой задачи. То, что было важно для старой, в этот момент не учитывается.

Во время обучения сеть перемещается по пространству весов, чтобы найти минимум потерь. Для Задачи A она находит подходящее устойчивое решение. Когда приходит Задача B, алгоритм начинает с тех же весов, но дальше шаг за шагом уводит их в новое направление под новую цель. Многие параметры для старой задачи при этом переписываются.

В итоге то, что помогало распознавать собак, оказывается теперь непригодным для собак, а подходит только для котов. Алгоритм не учитывает, как теперь работает старая задача — он смотрит только на текущие задачи.

Дилемма стабильности и пластичности

Чтобы понять, почему катастрофическое забывание вообще возникает, нужно вспомнить о главной проблеме — дилемме стабильности и пластичности. Это правило работает не только для нейросетей, но и для любых систем, которые учатся последовательно.

Пластичность — это способность учиться новому. Когда сеть встречает новую задачу, ей нужно быть гибкой, менять веса и быстро подстраиваться под новые данные.

Стабильность — противоположное качество: умение сохранять старые знания, не давая им разрушиться при каждом обновлении весов.

Проблема в том, что нельзя увеличить и стабильность, и пластичность одновременно. Если сеть слишком гибкая — она хорошо впитывает новое, но моментально забывает старое. Если наоборот — слишком стабильная, то перестаёт учиться и застывает на месте.

Это ограничение встроено в саму природу обучения через распределённые параметры. Каждый нейрон обновляет свои веса локально, исходя только из текущей ошибки. И те же механизмы, что помогают сети адаптироваться к новому, одновременно приводят к тому, что старое знание постепенно стирается.

Потеря геометрии ландшафта: почему архитектура нужна

Чтобы понять, почему одни нейросети подвержены катастрофическому забыванию сильнее других, нужно разобраться в процессе оптимизации. Во время обучения модель корректирует миллионы параметров, минимизируя функцию потерь. Этот процесс можно визуализировать как перемещение по многомерному ландшафту потерь (loss landscape), где каждая точка представляет уникальную конфигурацию весов.

Ландшафт потерь состоит из областей с разными значениями функции потерь:

• Локальные минимумы — области с низким значением потерь, где модель показывает хорошее качество
• Высокие области — конфигурации параметров с большой ошибкой

При обучении на первой задаче (например, классификация собак) модель сходится к одному минимуму. При переходе ко второй задаче (классификация кошек) градиентный спуск направляет модель к совершенно другому минимуму, который может быть далеко от первого. Это приводит к перезаписи весов и потере знаний из предыдущей задачи.

Критический фактор — геометрия этих минимумов. В одних архитектурах минимумы узкие и острые (sharp minima) — небольшое возмущение параметров резко увеличивает функцию потерь. В других минимумы широкие и плоские (flat minima) — модель более устойчива к изменению весов.

Исследования показали, что архитектуры с skip connections, например ResNet, как раз формируют такие плоские минимумы — это делает их более устойчивыми к изменению весов, даже когда модель дообучается на новой задаче, её настройки остаются близки к старым, и забывание происходит не так сильно.

Это объясняет, почему современные архитектуры забывают меньше старых. У них принципиально другое устройство процесса обучения — более стабильное, которое труднее случайно сломать при добавлении новых задач.

Как нейроны конкурируют друг с другом

Внутри нейросети каждый нейрон отвечает за определённые признаки, когда сеть обучается распознавать собак, одни нейроны начинают реагировать на уши, другие — на форму морды или лапы. Это и есть специализация — каждый нейрон берёт на себя свою часть работы.

Но когда мы начинаем дообучать ту же сеть на новой задаче, например на распознавании котов, часть этих же нейронов переиспользуется. Теперь они начинают подстраиваться под морды котов, их уши и хвосты. Постепенно сеть перенастраивает внутренние связи так, чтобы быть полезной для новой задачи, и старые навыки теряются.

Нейронам не могут одинаково хорошо специализироваться и на собаках, и на котах. Одни и те же группы нейронов работают на разные задачи, из‑за чего старая специализация стирается.

Исследования показывают, что если две задачи активируют одну и ту же часть нейронов, эффект забывания становится сильнее — до 40–50%. Получается, сеть забывает не из‑за нехватки параметров, а потому что внутренние ресурсы перекрываются. Она просто переучивает старые нейроны на новую роль и не создает новые.

Почему повторное обучение не спасает

Можно подумать, что проблему легко решить: просто чередовать старую и новую задачу. Сначала немного обучаем сеть на собаках, потом на котах, потом снова на собаках — и так по кругу. Это действительно помогает, но не решает проблему полностью.

Когда сеть обучается на новой задаче, обновление весов всё равно изменяет параметры, которые нужны для старой. Даже если повторно возвращать старые данные, оптимизатор начнёт переписывать часть старых знаний. Эффект забывания уменьшается, но не исчезает.

Кроме того, такое обучение становится дорого по ресурсам. Нужно хранить старые выборки, чередовать их с новыми, настраивать порядок подачи данных. Это не подходит для потоковых систем, где задачи появляются одна за другой, или для областей с ограничениями по хранению данных, например, банковская сфера или медицина.

Как разработчики пытаются найти баланс

На практике дилемма стабильности и пластичности проявляется в выборе параметров обучения. Например, в методе регуляризации разработчики могут настроить, насколько сильно защищать старые данные от изменения.

Если усилить регуляризацию — старые знания лучше сохранятся, но сеть хуже будет учиться новому. Если ослабить — сеть быстро впитает новую задачу, но забудет старую. Получается постоянный выбор: жертвовать старым или новым.

Любая точка на этом спектре — компромисс. Нет такого параметра, который позволит и запомнить всё прошлое, и учиться на будущем — на данный момент, это главное ограничение.

Хуже того, что даже если удаётся сохранить старые знания, появляется другая проблема. После обучения на множестве последовательных задач сеть теряет саму способность учиться. Её нейроны либо перестают реагировать на новые данные, либо повторяют одну и ту же реакцию.

Методы борьбы с забыванием

Исследователи разработали несколько способов снизить катастрофическое забывание. Но ни один из них не решает проблему полностью — у каждого есть свои ограничения.

Elastic Weight Consolidation (EWC) — защита важных весов

Это метод, который старается определить, какие параметры критичны для предыдущей задачи, и защищает их от сильных изменений. Когда сеть дообучается на новой задаче, алгоритм смотрит: если какой-то параметр был очень важен для собак, его не надо сильно менять при обучении на котах.

Звучит хорошо, но есть минусы. Вычислять важность параметров дорого по ресурсам, и метод всё равно не гарантирует полного сохранения знаний.

Rehearsal — повторение старых примеров

Этот способ работает просто: сеть хранит в памяти часть примеров из старой задачи и время от времени подмешивает их при обучении на новой. Это снижает забывание, но требует хранить старые данные, что может быть невозможно из-за ограничений по памяти или приватности.

Архитектурные подходы — разные задачи, разные параметры

Самый радикальный способ — выделить разные части сети под разные задачи. Тогда обучение одной задачи вообще не трогает другую, потому что используются разные параметры. Забывания нет, но сеть становится огромной — чем больше задач, тем больше параметров.

HyperMask (2024 год) использует специальные маски, которые позволяют переиспользовать до 85% параметров между задачами, сохраняя изоляцию.

Современные гибридные методы

CURLoRA — метод, который комбинирует математическое разложение матриц с ограничениями при дообучении. Он показывает хорошие результаты на больших языковых моделях: например, для модели Mistral 7B удалось снизить ухудшение с 53 896 до 5,44 по метрике perplexity. Но такие методы заточены под конкретные модели и не всегда переносятся на другие архитектуры.

Пример на практике

Простой эксперимент на PyTorch показывает, как это выглядит. Сеть обучается на двух задачах: сначала на A, потом на B. Полный код доступен в оригинале в файле catastrophic-forgetting-demo.py.

Без защиты: точность на старой задаче падает с 93,6% до 53,6% — потеря 40%.

С методом EWC: точность падает с 91,8% до 74,4% — потеря 17,4%, что на 52% лучше. Но на новой задаче EWC тормозит обучение: вместо 95,6% получается только 73,8%.

Здесь видно главное: в каждом методе нужно выбирать чем жертвовать. Либо памятью, либо вычислением, либо производительностью на новой задаче. Вы не решаете проблему катастрофического забывания полностью, вы только управляете ею.

Как катастрофическое забывание проявляется в продакшене

В реальных системах катастрофическое забывание выглядит не как внезапный сбой, а как постепенное ухудшение работы — дрейф модели. Модель, обученная на прошлых данных, уверенно работает сегодня, но через пару месяцев начинает ошибаться. Это и есть то же самое забывание, только в замедленном виде.

Исследования показывают, что 75% компаний сталкиваются с падением качества моделей без постоянного мониторинга.

Если модель полгода не обновлять, ошибки на новых данных вырастают примерно на треть. А если просто дообучать её на новых данных, часто улучшается работа на свежих примерах, но при этом падает точность на старых — классическая форма забывания.

В итоге разработчику приходится выбирать из двух зол: либо держать несколько моделей под разные типы данных, либо мириться с тем, что качество со временем падает. Некоторые компании даже полностью переобучают модели каждый месяц, чтобы вернуть стабильность, хотя это дорого.

Понимание механизма забывания помогает объяснить, почему идея «просто дообучить модель на новых данных» не работает. Это также оправдывает сложные и затратные пайплайны мониторинга, проверки метрик и периодического переобучения.

Например, в рекомендательных системах забывание снижает точность старых сегментов пользователей на 20–25%. В медицинском AI модели, обновленные на новых пациентах, теряют около 18% точности на старых группах — и это уже риск для качества диагностики.

Для инженеров это значит одно: катастрофическое забывание — не теоретическая проблема. Это реальный фактор, который нужно учитывать, если вы строите систему, которая учится на живых данных.

Новые подходы: не бороться, а обойти проблему

Исследователи всё больше приходят к выводу, что катастрофическое забывание нельзя вылечить напрямую. Вместо этого стоит менять сам способ, как модели обучаются и обновляются.

Сегодня развиваются три основных направления:

1. Непрерывное предобучение

Модель постоянно обновляет свои знания, когда появляются новые данные, но делает это аккуратно — чередуя новую информацию со старой из кеша. Такой подход сохраняет примерно 90–95% исходных способностей модели, при этом добавляя свежие знания.

2. Непрерывное дообучение (fine-tuning)

Здесь используется идея модульности: новая задача обучается поверх базовой модели, но сама база остаётся “замороженной”. Получается, что каждая дополнительная функция подключается как надстройка, не ломая основную логику. Это похоже на плагины, где каждая новая задача — отдельный модуль, не влияющий на предыдущие.

3. Множество моделей вместо одной

Третий подход — вообще отказаться от идеи универсальной модели, которая знает всё. Вместо этого создают ансамбли: набор специализированных моделей, которые работают вместе. Каждая отвечает за свой участок задачи, и таким образом проблема забывания просто не возникает — разные знания не мешают друг другу.

Все три подхода не устраняют забывание напрямую, но делают его несущественным. По факту вам просто нужны разные модели под разные задачи.

Если вы никогда не будете обучать одну и ту же модель сначала на задаче A, а затем на задаче B, проблема забывания исчезает.

Это немного философское наблюдение: не пытаться побороть ограничение, а выстраивать архитектуру вокруг него.

Вопросы, которые остаются

Существует ли математический предел, ниже которого забывание уже невозможно снизить?

Некоторые исследования указывают на такие пределы, но точные границы пока не найдены.

Как выбирать баланс между стабильностью и пластичностью?

Сейчас это делается вручную через подбор параметров методом проб и ошибок. Но нет чёткого понимания, как именно рассчитать оптимальный баланс для конкретной задачи.

Влияет ли размер модели на забывание?

Практика показывает, что большие модели забывают меньше, но почему это происходит и как именно зависит сила забывания от размера — неясно.

Можем ли мы достичь теоретического максимума?

Даже если знать предел, можно ли разработать процедуру обучения, которая его достигает? Сейчас методы работают примерно на 70% от теоретически возможного оптимума.

Как ведут себя большие модели?

Ранние данные показывают, что большие модели забывают данные по-другому, чем маленькие сети. Но системного описания этих различий пока нет.

Эти вопросы нужны, потому что от них зависят архитектурные решения. Если бы мы могли точно рассчитать границу забывания, можно было бы строить системы с запасом прочности. Если бы умели находить оптимальный баланс, не пришлось бы подбирать параметры вручную.

Выводы, которые можем сделать

Катастрофическое забывание — не техническая ошибка, которую можно исправить очередным алгоритмом. Это фундамент того, как работают распределённые системы обучения.

Дилемма стабильности и пластичности встроена в саму природу нейросетей. Каждый нейрон обновляет свои веса на основе текущей задачи, и механизма для сохранения прошлого просто нет. То же свойство, что позволяет сети учиться, одновременно делает её уязвимой перед забыванием.

Это означает, что правильная постановка задачи — не «как победить забывание», а «как управлять им осознанно». В одних случаях важна стабильность — сохранить старые знания любой ценой. В других важна гибкость — быстро учиться новому. Большинство реальных систем требует баланса.

Для разработчиков, которые работают с продакшен ML, это значит следующее: последовательное обучение сложнее одноразового обучения в принципе, и никакой алгоритм этого не изменит. Системы, которые хорошо справляются с меняющимися данными, не пытаются впихнуть всё в одну модель. Они признают ограничение и строятся вокруг него — с мониторингом, переобучением, специализированными моделями или ансамблями.

Я всё думаю над тем, о чём говорить на своём канале. Казалось бы, инфы в интернете — вагон и маленькая тележка: бери, читай, вдохновляйся. Но вот что удивительно — про то, как тестировать данные, как они перетекают из одной таблицы в другую и не превращаются в тыкву, пишут мало.

А зря.

За свою практику я встречала разные подходы к организации Data QA. В этой статье я расскажу про самый простой и быстрый вариант, который можно «собрать на коленке», а потом уже развивать. С примерами кода и тем, зачем SQL нам нужен в этой жизни.

И небольшой дисклеймер. Если вы знаете, как сделать это на Python стильно модно молодежно, обязательно напишите мне об этом в комментариях, я с удовольствием почитаю про ваш подход.

Также подписывайтесь на мой ТГ, который я почти не веду.

Базовый сценарий

1. Есть таблица-источник source_table.
2. Разработчик запускает свой код (Spark, Airflow или что у него там), и данные магическим образом перекладываются + преобразуются.
3. На выходе получаем result_table.

Вопрос: как это тестировать?

Самый быстрый и простой путь

Подготовка:

1. Создаём таблицу-источник.
2. Наполняем её данными (синтетика или реальные примеры с прода).

Действие:

1. Запускаем ETL код.
2. Сравниваем данные «как было» и «как стало».

После теста:

1. Удаляем таблицу-источник.
2. Удаляем таблицу-приёмник.

На коленке это можно собрать так:

1. CREATE TABLE …
2. INSERT INTO …
3. Ручной запуск пайплайна (Spark/Airflow).
4. Какой-нибудь скрипт для сравнения результатов.

Рабочая схема? Да.

Удобная? Нет.

Где хранить эти скрипты?

Можно, конечно, прилепить их к задаче в Jira в виде файликов. Но выглядеть это будет как «фигня на палке». Через месяц никто не вспомнит, что это было и зачем.

Поэтому я решила собрать свой Python-проект для автоматизации. А вы можете склепать себе такой же, и жизнь сразу станет легче.

Архитектура проекта

Минимальный стек

1. Utils — мелкие, но полезные

Здесь мы храним всякую мелочёвку. Например, функцию для открытия JSON:

Важно отметить, что данные я всегда стараюсь хранить в виде массива с json. Так удобнее использовать.

2. APIClient — для триггеров

Здесь всё максимально тривиально: клиент для вызова API и запуска ETL джоб.

3. PostgreSQLClient — основной игрок

Класс для подключения, запросов, создания таблиц, вставки данных и удаления.

Фикстуры (conftest.py)

API фикстуры

Я показываю пример, как поднимаю один API клиент. Но у вас их может быть много: например, разные сервисы или разные перекладчики.

DB фикстура

Пример для дефолтной PostgreSQL, но вы можете добавить фикстуры для поднятия GreenPlum или ClickHouse.

Как хранить данные?

А теперь самый сок, которым я обмазываюсь сейчас.

Конечно, можно создать отдельный скрипт на чистом sql для создания и редактирования своих табличек: больших и маленьких. Но, если честно, это так *цензура* неудобно.

Поэтому я придумала хранить схему и данные в отдельных json файлах и налету генерить скрипты. Да, Америку я вновь не открываю, и очень жаль.

В директории тестов я создала папку resources, где храню эти файлы.

Конечно, в таком виде вы не передадите ничего в Postgres и ничего не слепите. Так что я услужливо предоставляю вам код, чтобы вы его копировали и вдохновлялись.

Вы можете взять и пропихнуть эти куски кода прямо в тело теста, но я предпочитаю оборачивать это дело в фикстуры-управленцы, которые будут делать это за меня и записывать отдельными шагами в Алюр:

Отдельное удовольствие мне даёт вот эта строчка кода db_client:PostgreSQLClient.Она значит, что если так вышло, что у меня есть куча разных PostgesSql, я могу в эту фикстуру прокинуть нужный мне клиент без дополнительных приседаний. И это, конечно, прекрасно.

Пример: подготовка данных

Самые внимательные уже заметили, что в примере выше я поднимала postgres-клиента.

Так что разницы почти никакой (ну, кроме тех случаев, когда внезапно очень даже есть 🙃).

И сам тест

Конечно, можно сравнивать всё это дело через всякие прослойки типа Pandas.

Но, камон, у меня что, куча времени сидеть, читать доки и писать суперсложные датафреймы ради пары простых проверок? Нет.

Позвольте мне радостно строчить свой первозданный код с дефолтными проверками и быть довольной этим минимализмом.

Это я отвлеклась. Вот такой код у меня получается. Я не очень люблю сверять даты и названия таблиц, у меня генерит тест на лету:

Итог

• Ручные скрипты → боль и страдания.
• Автоматизация через Python+pytest → быстро, удобно, воспроизводимо.
• JSON-файлы позволяют хранить схемы и данные в читаемом виде.
• Allure даёт красивые отчёты.

В итоге у вас появляется настоящий фреймворк для Data QA, который легко расширять и масштабировать.

Мы поговорили с экспертами и попросили их поделиться задачами, которые помогут прокачать логику и навыки работы с данными. Заодно узнали, зачем вообще новичку браться за алгоритмы. Решения оставим в комментариях. Не подглядывайте сразу, а сначала попробуйте свои силы.

Зачем вообще решать алгоритмические задачи

Алгоритмы в начале карьеры нужны не всем. Эксперты честно говорят, что практика на реальных маленьких проектах может дать больше пользы. Но выкидывать алгоритмы из своего обучающего трека точно не стоит, и вот почему.

Разработчик Валерий Жила говорит, что на алгоритмы можно смотреть по-разному:

С одной стороны, алгоритмы новичкам не нужны — пусть лучше берутся за практические проекты, даже если это просто репозиторий на GitHub, который можно запустить на локалхосте. С другой — это как классическая литература или высшая математика. Напрямую в работе может не пригодиться, но здорово прокачивает мозги и помогает найти общий язык с другими разработчиками.

А Константин Шибков, senior Java-разработчик в СДЭК, автор канала «Три монитора», вспоминает, что задачи стали для него тренировочным залом для мозгов:

Когда я был новичком, знаний для полноценного приложения не хватало, а тренироваться хотелось. LeetCode показал мне, когда использовать массивы, деревья, словари, множества, и как эффективно обходить или искать данные. А просмотр чужих решений после своего помогал находить новые приёмы.

Даже если вы не мечтаете прямо сейчас попасть в Google или Amazon, алгоритмические задачи — это отличная тренировка. Они помогут:

• развить логику и выстроить чёткий план решения,
• натренировать декомпозицию — разбивку сложного на простое,
• мыслить в терминах массивов, графов и деревьев.

В бигтехе эти навыки проверяют особо тщательно: Яндекс, OZON и другие компании любят устраивать отдельные алгоритмические сессии. Бонусом вы будете готовы и к ним.

Простые задачи — лучший вход

Начинать сразу со сложного или среднего уровня — это как пытаться пробежать марафон без единой тренировки. Эксперты однозначно советуют начинать с чего-нибудь лёгкого. Чем проще задача, тем выше шанс её довести до конца.

Например, Merge Two Sorted Lists — простая задача, которая учит работать с указателями. Разобравшись, можно попробовать Merge k Sorted Lists — это более сложная задача с тем же базовым подходом.

Нужно в первую очередь освоить базовые структуры данных. Научиться видеть в них инструмент с понятной и простой функцией, как лопата или молоток.

Почему простые задачи действительно приносят пользу:

• вы быстро получаете результат и мотивацию продолжать,
• можно сосредоточиться на логике, а не на дебаге сложных условий;
• легче отрабатывать приёмы и паттерны, которые потом повторяются в сложных задачах.

Где искать задачи для практики

Загляните на специальные онлайн-сервисы для практики алгоритмического программирования. Вот список популярных в русскоязычной среде сайтов:

• LeetCode — мировой лидер, база задач от простых до сложных для подготовки к интервью
• Codeforces — сообщество для соревнований и обучения
• CodeRun — российская платформа с задачами на алгоритмы и регулярными контестами
• Timus Online Judge — портал с архивом олимпиадных задач, востребованный у студентов и олимпиадников
• Advent of Code — ежегодный онлайн-марафон задач в формате адвент-календаря, стилизованный под приключения
• Codewars — геймифицированная платформа с заданиями по разным языкам и уровням сложности

Как-то раз я завалил экзамен по алгоритмам в университете, будучи уверенным, что предмет — элементарный. Взялся за материалы, LeetCode, Advent of Code, Codewars и пару месяцев плотно ими занимался. Решал по 5−10 задач в день. Экзамен я пересдал на отлично. На последующих собеседованиях уже получалось интуитивно нащупывать решения.

Что решают разработчики, чтобы держать мозг в тонусе

Попросили экспертов выбрать задачи, которые они сами считают полезными для развития алгоритмического мышления.

Валерий Жила:

1. Two Sum — найти два числа в массиве, сумма которых равна заданному значению. Чему учит: работать с хэш-таблицами и быстро находить соответствия. Базовый паттерн, который часто встречается в других задачах.
2. Number of Islands — посчитать количество связных компонент на карте. Чему учит: обходить граф DFS/BFS, думать в терминах связности элементов.
3. Decode String — декодировать строку с вложенными структурами. Чему учит: использовать стек, вложенные циклы и парсинг данных.

Совет: «Если сухой LeetCode наскучил, попробуйте Advent of Code».

Константин Шибков:

1. Maximize Distance to Closest Person — выбрать место в ряду, чтобы максимизировать расстояние до ближайшего соседа. Чему учит: работать с краевыми случаями, искать оптимальную позицию по условию.
2. Merge Two Sorted Lists — объединить два отсортированных списка в один. Чему учит: работать с указателями и аккуратно обрабатывать данные в упорядоченных структурах.
3. Move Zeroes — переместить все нули в конец массива, сохранив порядок остальных элементов. Чему учит: оптимизировать алгоритм без создания дополнительных структур.
4. Partition to K Equal Sum Subsets — разделить массив на K подмножеств с равной суммой элементов. Чему учит: использовать поиск с возвратом, оптимизировать перебор.

Никита Дубко, старший руководитель продуктов Яндекс Контеста, автор канала mefody.dev

1. Мандарины и апельсины 2.0 — выбрать n ящиков так, чтобы в них оказалось не менее половины всех мандаринов и апельсинов. Чему учит: использовать свойства возрастающих последовательностей, минимизировать количество проходов по данным и находить решение без полного перебора.
2. Ча-ча-ча — определить итоговую оценку по набору буквенных оценок с ограничением, что итог не может быть более чем на балл выше худшей. Чему учит: работать со строками и символами в ASCII/UTF-8, а также применять решение в лоб, когда оно эффективно.

Совет: «Тренируйтесь не только решать, но и объяснять, почему ваш алгоритм работает и укладывается в ограничения. Этот навык ценят на собеседованиях».

Как не сломаться на старте: выгорание и ошибки новичков

Практика алгоритмов должна прокачивать мозг, а не выматывать его. Но у многих новичков энтузиазм быстро сменяется усталостью — чаще всего из-за завышенных ожиданий и неверной стратегии.

Главные ловушки:

• Гонка на износ. План «100 задач за месяц» звучит амбициозно, но в реальности превращается в марафон без подготовки.
• Залипание на одной задаче. Если вы часами бьётесь над решением, азарт сменяется усталостью.
• Кажется, что все остальные ушли далеко вперед. Вы видите только чужие успехи, но не видите их ошибки.
• Синтаксическая ловушка. Новички пытаются угадать код, вместо того чтобы проработать логику на бумаге.
• Держать всё в голове. Легко потеряться в деталях, если не набросать план на бумаге.

Если задача по зубам, решение само скомпилируется в голове. Иногда полезно просто отойти, попить чаю или лечь спать.

Что советуют эксперты:

• Решайте по одной задаче в день, как утреннюю разминку для мозга.
• Чередуйте лёгкие и средние задачи, чтобы тренироваться в комфортном темпе, но с небольшим вызовом. Так вы будете расти без ощущения, что тонете.
• Если за час решение не приходит, то посмотрите разбор без кода, а затем напишите свой вариант.
• Отмечайте, какой приём вы отработали — это даёт чувство прогресса.
• Записывайте решение пошагово. Даже опытные разработчики часто начинают с блокнота.

Я получал удовольствие, когда решал задачу своим способом, проходил все тесты и потом видел в чужом коде приёмы, о которых даже не думал.

Как продолжать развиваться

Когда лёгкий уровень перестанет пугать, и вы будете уверенно разбираться в массивах, строках и базовых структурах данных, двигайтесь дальше. Как в спорте: если всегда работать с одной гантелью, прогресса не будет.

1. Освойте новые темы. Начните с самых популярных направлений, которые часто встречаются в реальной разработке и на собеседованиях:

• сортировки,
• графы,
• строковые алгоритмы,
• деревья.

2. Устройте себе челлендж. Например, «30 задач за 30 дней». Берите не количеством, а регулярностью. Можно чередовать дни по уровням сложности.

3. Используйте готовые подборки. Есть отличные списки от экспертов. Приведём лишь некоторые из них

• LeetCode Patterns — задачи сгруппированы по типам и темам;
• Blind 75 — 75 самых популярных задач для собеседований;
• GfG‑160 — 160 задач для тех, кто хочет по-настоящему прокачать алгоритмы

4. Пробуйте альтернативные платформы. Чтобы не застревать в одном формате, чередуйте площадки. Разные интерфейсы и условия помогут смотреть на задачи с нескольких сторон.

Однажды на работе мне нужно было распределить посылки по ячейкам постамата так, чтобы максимально эффективно использовать пространство. По сути, это была вариация задачи Partition to K Equal Sum Subsets: разложить элементы по контейнерам без перегруза. Я использовал поиск с возвратом и оптимизацию, которые до этого отрабатывал на алгоритмических задачах. Закрыл задачу быстрее, чем если бы разрабатывал всё с нуля.

Но стоит учесть, что код на LeetCode отличается от того, что мы обычно пишем в прод. У нас на работе даже есть локальный мем «по-литкодовски», когда код — максимально короткий, без попытки быть понятным и простым. Главное для него — быть эффективным. Когда переносишь алгоритмы решения в реальный мир, нужно выделять алгоритм в изолированный класс или метод. Так вы сможете проверить его тестами и сделать более понятным для других.

Выводы

• Алгоритмические задачи развивают логику, структурное мышление и умение разбивать проблему на шаги. Навыки пригодятся и на собеседованиях, и в реальной работе.
• Начинать лучше с простых задач, чтобы закрепить основы и избежать выгорания.
• Нужно научиться не только решать задачи, но и объяснять, почему алгоритм работает.
• Ищите задачи на разных платформах, чтобы сохранить интерес и прокачивать навыки в разных форматах.
• Лучше решать по одной задаче в день, чем десяток в выходные.
• Не гонитесь за чужим темпом и чередуйте уровни сложности.
• Личный опыт экспертов показывает, что алгоритмы могут спасти на экзамене и ускорить поиск рабочих решений.

Читайте также:

Алгоритм Дейкстры: как работает и где используется

ТОП-15 алгоритмов, которые реально нужны на бэкенде

Что такое хэш-таблицы и как их использовать

Квиз: какой стек технологий тебе подходит?

Рабочий план: как изучить новый стек за 3 месяца

Сегодня их рекомендательная система экономит более $1 млрд в год, удерживая подписчиков и увеличивая время просмотра. И именно ее решил изучить разработчик на платформе BeyondIT.

В основе персонализации — анализ каждого клика, паузы, поиска и жанровых предпочтений. Алгоритм строит уникальный «профиль зрителя» и превращает библиотеку из тысяч фильмов в персональную витрину.

Такой подход помогает избежать «паралича выбора» и быстрее находить интересный контент.

Сердце системы — матричная факторизация

Ключевая технология, популяризованная ещё во времена конкурса Netflix Prize в 2006 году — матричная факторизация.

Она превращает гигантскую и разреженную таблицу «пользователь — фильм» в два компактных набора «скрытых факторов»: вкусов пользователя и характеристик фильмов.

Перемножив их, алгоритм предсказывает оценку, даже если зритель ещё не видел конкретный фильм. Обучение идёт методом стохастического градиентного спуска, с учётом смещений (bias terms) и регуляризации, чтобы модель не переобучалась.

Больше, чем просто «похожие на вас»

Современный Netflix учитывает десятки сигналов: от истории просмотров и пропусков до времени суток, устройства, локальных трендов и намерений поиска.

Интерфейс и обложки фильмов постоянно проходят A/B-тесты, чтобы максимизировать вовлечённость.

Помимо классического коллаборативного фильтра, используются модели глубокого обучения, такие как Neural Collaborative Filtering, способные находить сложные, нелинейные зависимости, и мультизадачное обучение.

Это нужно для баланса между точностью, разнообразием и новизной рекомендаций.

Реакция в реальном времени

Предпочтения меняются и Netflix реагирует на них за миллисекунды. Платформа а реальном времени обрабатывает миллионы событий в секунду, обновляя рекомендации на лету.

Инфраструктура включает Kafka, Spark, микросервисы в AWS, кэширование в памяти и edge-вычисления для минимальной задержки.

Почему это важно

Такой масштаб требует устойчивости, низкой задержки и отказоустойчивости. Рекомендательная система Netflix — это не только алгоритмы, но и мощная инженерная экосистема, в которой даже хэш-таблицы играют ключевую роль для мгновенного доступа к данным.

Совместно с экспертами Kursfinder я проанализировала более 80 предложений, чтобы отобрать 56 лучших курсов по Big Data. В начале статьи представлены 10 самых лучших, нам мой взгляд, учебных программ. Далее идет список из 19 курсов по Data Science, за ним следуют 11 курсов Power BI и 7 курсов по машинному обучению. В конце статьи вы найдете подборку бесплатных вариантов по изучению аналитики и дополнительную информацию о профессии специалиста по работе с большими данными. Полный список курсов по Big Data вы найдете в каталоге Kursfinder.

ТОП-10 лучших курсов по Big Data в 2026 году

1. Python, BI и BigData от ProductStar — программа для изучения инструментов аналитики с нуля при поддержке ИИ-помощника.
2. Менеджмент AI- и BigData-продуктов от ProductStar — быстрый старт в профессии.
3. Большие данные (Big Data) и интернет вещей (IoT) от МИПО — обучение в рамках профессиональной переподготовки специалистов.
4. Большие данные (Big Data) и интернет вещей (IoT) от Профессионального стандарта — востребованная специальность в сжатые сроки.
5. Аналитик данных от Eduson Academy — обучение у топовых экспертов.
6. Программирование для анализа данных от Skypro — углубленный курс по бизнес-аналитике.
7. Профессия Data Analyst от GeekBrains — бесплатные консультации для успешного развития карьеры.
8. Аналитик данных от Яндекс Практикум — курс с возможностью стажировки в компаниях-партнерах.
9. Аналитик данных от Skypro — комплексная программа с содействием в трудоустройстве.
10. Машинное обучение от Skillfactory — магистратура с престижным дипломом МФТИ.

Курсы адресованы тем, кто стремится освоить современные технологии обработки данных, машинное обучение, методы аналитики и визуализации. Big Data обучение подойдет как новичкам, желающим начать карьеру в Data Science, так и действующим аналитикам, разработчикам и специалистам смежных профессий для улучшения навыков и расширения компетенций.

Онлайн-курсы по Big Data

1. Python, BI и BigData | ProductStar

Онлайн-курс технологии Big Data не требует специальной подготовки и адресован широкой аудитории слушателей. Вы освоите высокоуровневый язык программирования Python, научитесь использовать язык запросов SQL и нейросети для работы с данными, сможете разрабатывать рекомендательные системы и визуализировать данные с помощью популярных инструментов Power BI и Tableau. В конце обучения выполняется финальный проект, который пополнит ваше профессиональное портфолио.

• Стоимость: 109 451 рублей
• Длительность: 6 месяцев
• Формат обучения: видеолекции, текстовые материалы, практические задания, работа над итоговым проектом
• Сертификат: электронный диплом о прохождении обучения

Кому подойдет: новичкам для старта в аналитике, специалистам для систематизации знаний или перехода на новый карьерный уровень.

Преимущества:

• доступна оплата в рассрочку;
• постоянно обновляемые учебные материалы;
• обширная библиотека знаний по профессии;
• отработка практических навыков составляет 70% учебного времени;
• бонусные курсы по программированию, английскому языку, Google Sheets и Excel;
• ИИ-помощник для эффективной учебы;
• бесплатные консультации по развитию карьеры.

Недостатки:

• без гарантии трудоустройства.

Программа обучения:

• Введение в Python
• Системы контроля версий
• Разработка API
• Анализ и визуализация с Yandex DataLens
• Работа с Power BI и Tableau
• SQL для анализа данных
• Python и создание ML-моделей
• Нейросети, NLP, рекомендательные системы

Ознакомиться с полной программой >>>

2. Менеджмент AI- и BigData-продуктов | ProductStar

Онлайн-курс в интенсивном формате поможет за короткий срок освоить методы внедрения ML-задач и создания AI-стратегий, а также познакомит со спецификой взаимодействия с командами аналитиков, маркетологов и разработчиков. Участники научатся работать с большими данными, рассмотрят способы создания датасетов и их применением в машинном обучении. Отработка практических навыков выполняется на реальных кейсах IT-компаний.

• Стоимость: 45 540 рублей
• Длительность: 2 месяца
• Формат обучения: видеолекции, текстовые материалы, практические задания, работа над итоговым проектом
• Сертификат: электронный диплом о прохождении обучения

Кому подойдет: для желающих точечно прокачать навыки работы с данными.

Преимущества:

• возможность быстрого старта в профессии;
• обучение в индивидуальном темпе;
• помощь ментора на весь период учебы;
• наполнение портфолио выполненными проектами;
• карьерные консультации.

Недостатки:

• обратная связь от ментора может быть с задержкой.

Программа обучения:

• Возможности ML для оптимизации бизнеса
• Машинное обучение и ИИ-продукты
• Внедрение задач машинного обучения
• Создание и запуск датасетов, работа с моделями
• Введение в SQL
• Нейронные сети и рекомендательные системы
• Методы анализа Big Data
• Хранение, обработка и масштабирование данных

Ознакомиться с полной программой >>>

3. Большие данные (Big Data) и интернет вещей (IoT) | МИПО

Содержательный курс в рамках профессиональной переподготовки подойдет специалистам любого уровня, включая новичков. К обучению приглашаются слушатели со средним профессиональным или высшим образованием. Под руководством российских и зарубежных экспертов с многолетним опытом студенты научатся обрабатывать и анализировать большие объемы информации, работать с базами данных и интернетом вещей, познакомятся с digital-экономикой и методами цифровой трансформации. Выпускники могут претендовать на позиции аналитика Big Data или IoT-аналитика.

• Стоимость: 58 249 рублей
• Длительность: 4 месяца
• Формат обучения: лекции, онлайн-вебинары, текстовые материалы, упражнения, тесты
• Сертификат: официальный диплом о переподготовке

Кому подойдет: начинающим специалистам любого профиля со средним профессиональным или высшим образованием, инженерам и тем, кто планирует сменить сферу деятельности.

Преимущества:

• учебная программа соответствует актуальным требованиям рынка;
• доступна оплата в рассрочку;
• можно обучаться в ускоренном темпе;
• кураторская поддержка с обратной связью;
• отработка практических навыков на реальных кейсах.

Недостатки:

• нужно дождаться старта очередного потока обучения.

Программа обучения:

• Работа с базами данных
• Обработка и интерпретация данных
• Цифровая экономика
• Технологическое обновление бизнеса
• Big Data

Ознакомиться с полной программой >>>

4. Большие данные (Big Data) и интернет вещей (IoT) | Профессиональный стандарт

Big Data обучение с нуля подойдет для освоения востребованной профессии в сжатые сроки. Занятия в дистанционном формате охватывают современные технологии и методы работы с большими данными. Вы изучите особенности анализа и хранения информации, познакомитесь с инструментами визуализации данных, системного администрирования и возможностями их применения в бизнесе.

• Стоимость: 18 000 рублей
• Длительность: 3 месяца
• Формат обучения: предзаписанные видеоуроки, учебники, дополнительные материалы, практические задания, тесты
• Сертификат: диплом установленного образца о профессиональной переподготовке

Кому подойдет: желающим освоить новую инженерию в сфере Big Data.

Преимущества:

• доступная стоимость при высоком качестве обучения;
• есть рассрочка оплаты;
• соответствует требованиям профессиональных стандартов;
• обучение без отрыва от работы;
• помощь персонального куратора во время учебы.

Недостатки:

• только для участников, имеющих среднее профессиональное или высшее образование.

Программа обучения:

• Введение в профессию
• Цифровая экономика и цифровая трансформация
• Методы и системы обработки Big Data
• Оборудование для хранения больших данных
• Инструменты визуализации и презентация результатов
• Аналитика и управление данными

Ознакомиться с полной программой >>>

5. Аналитик данных | Eduson Academy

Качественный курс, разработанный топовыми аналитиками. Предназначен для освоения профессии с нуля. Для прохождения обучения достаточно школьных знаний математики. Изучаются основные инструменты анализа, обработки и визуализации Big Data, прогнозирование с помощью Python, создание базы данных, работа с SQL-запросами и применение различных видов аналитики. Также вы освоите методологию Agile и принципы командной работы, научитесь создавать информативные презентации, закрепите практические навыки на интерактивном тренажере.

• Стоимость: 98 200 рублей
• Длительность: 6 месяцев
• Формат обучения: лекции, тренажеры, решение кейсов, домашние задания
• Сертификат: удостоверение государственного образца о повышении квалификации, диплом о прохождении курса

Кому подойдет: новичкам без опыта в IT.

Преимущества:

• обучение в комфортном темпе;
• более 70% учебы — практика на реальных задачах;
• 8 проектов для портфолио;
• материалы курса и обновления доступны всегда;
• годовая кураторская поддержка;
• подготовка к собеседованиям;
• гарантированное трудоустройство или возврат денег.

Недостатки:

• набор группы под конкретную дату.

Программа обучения:

• Задачи и сферы работы аналитика
• Возможности Excel для обработки данных
• Автоматизация работы
• Анализ данных для бизнеса
• Юнит-экономика и создание системы метрик
• Описательная, диагностическая и маркетинговая аналитика
• Проведение А/В-тестирования
• SQL и Python для аналитика

Ознакомиться с полной программой >>>

6. Программирование для анализа данных | Skypro

Курс ориентирован на новичков, желающих освоить популярные инструменты для работы с данными, включая Python и SQL. В программу включено изучение программирования, математической статистики, логики и бизнес-процессов. С помощью экспертов-аналитиков студенты научатся обрабатывать и анализировать большие массивы данных, работать с бизнес-метриками, отслеживать динамику рынка и тренды, проводить статистические тесты, формулировать и проверять гипотезы.

• Стоимость: от 191 988 рублей
• Длительность: определяется индивидуально
• Формат обучения: уроки в видеоформате, онлайн-вебинары, упражнения
• Сертификат: диплом о профпереподготовке

Кому подойдет: для обучающихся с нуля, независимо от предыдущего опыта работы.

Преимущества:

• стандартный или индивидуальный тариф;
• возможно обучение в мобильном браузере;
• общение с экспертами в формате Q&A;
• домашние задания с проверкой;
• доступ к учебным материалам без ограничений по времени;
• бесплатный годовой курс разговорного английского языка;
• обучение работе с нейросетями — в подарок;
• бесплатные консультации по старту и развитию карьеры;
• помощь с трудоустройством.

Недостатки:

• набор группы под конкретную дату;
• гарантия трудоустройства только при обучении на индивидуальном тарифе.

Программа обучения:

• Инструменты аналитики
• Основы математической статистики
• Обработка данных
• Автоматизация работы с Big Data
• Методы прогнозирования экономических показателей
• Формулирование гипотез на основе данных

Ознакомиться с полной программой >>>

7. Профессия Data Analyst | GeekBrains

Углубленный курс, предназначенный для стартующих в аналитике данных с нуля. Под руководством опытных преподавателей вы научитесь применять продвинутые инструменты для сбора и обработки информации из различных источников, работать с Big Data, проверять гипотезы, проводить сплит-тестирование, визуализировать результаты анализа данных. После каждого теоретического занятия выполняются практические упражнения, а выполненный во время обучения проект пополнит ваше профессиональное портфолио.

• Стоимость: 133 416 рублей
• Длительность: 12 месяцев
• Формат обучения: онлайн-занятия, уроки в записи, практические упражнения, тесты, проектная работа
• Сертификат: официальный сертификат о прохождении обучения

Кому подойдет: новичкам без специальных знаний.

Преимущества:

• беспроцентная рассрочка;
• живое общение с преподавателями;
• обратная связь от кураторов по результатам домашних заданий;
• проекты для портфолио;
• более 500 часов практики;
• дополнительные курсы по основам математики и статистики;
• помощь карьерных специалистов в подготовке к трудоустройству.

Недостатки:

• обучение рассчитано на длительный период.

Программа обучения:

• Знакомство с Data Science
• Возможности Python для работы с данными
• Язык запросов SQL
• Методы прогнозирования
• A/B-тестирование
• Маркетинговая и продуктовая аналитика
• Алгоритмы и структуры данных
• BI-инструменты

Ознакомиться с полной программой >>>

8. Аналитик данных | Яндекс Практикум

Онлайн-курс с регулярно обновляемой программой и специалистами Яндекса в качестве наставников. Участники подробно узнают о профессии, освоят ключевые инструменты аналитики, включая Python, SQL и BI, изучат методы тестирования и способы визуализации данных, пройдут основы линейной алгебры, познакомятся с алгоритмами и машинным обучением. Предусмотрены стажировки у партнеров, выполнение проектов для портфолио, прохождение технических собеседований.

• Стоимость: от 102 820 рублей
• Длительность: от 7 месяцев
• Формат обучения: интерактивный учебник, воркшопы, практические задания, работа над проектами
• Сертификат: диплом о профессиональной переподготовке

Кому подойдет: начинающим с нуля и Junior-специалистам.

Преимущества:

• базовый или расширенный курс;
• обучение можно совмещать с работой;
• первые занятия доступны без оплаты;
• актуальная учебная программа;
• более 70% программы отводится практике;
• онлайн-консультации с экспертами;
• возможно пройти стажировку в компаниях-партнерах;
• бесплатный курс по нейросетям для аналитиков;
• содействие в трудоустройстве.

Недостатки:

• нужно дождаться старта очередного потока обучения.

Программа обучения:

• Функции и задачи аналитика данных
• SQL и BI для работы с данными
• Возможности Python для обработки и анализа данных
• Продвинутая аналитика для бизнес-задач
• Специализация по продуктовой или BI-аналитике

Ознакомиться с полной программой >>>

9. Аналитик данных | Skypro

Онлайн-курс для желающих освоить профессию с нуля. Студенты учатся работать с данными, осваивают SQL, Python, Excel и Power BI. Программа предполагает выполнение практических заданий, мастер-классы с реальными кейсами, поддержку наставников, помощь в подготовке резюме и портфолио специалиста. Выпускники получают диплом о профессиональной переподготовке и содействие в трудоустройстве.

• Стоимость: 169 596 рублей
• Длительность: определяется индивидуально
• Формат обучения: уроки в видеоформате, онлайн-вебинары, упражнения
• Сертификат: диплом о профпереподготовке

Кому подойдет: новичкам без IT-образования и независимо от предыдущего опыта работы.

Преимущества:

• выбор из 2 тарифных планов;
• живое общение с экспертами;
• можно учиться с мобильного устройства;
• проверка домашних заданий с ревью от преподавателей;
• бессрочный доступ к материалам программы;
• курсы по визуализации данных и английскому языку в подарок;
• консультации со специалистами по развитию карьеры;
• гарантия устройства на работу.

Недостатки:

• набор группы под определенную дату;
• трудоустройство гарантируется при обучении на более дорогом тарифе.

Программа обучения:

• Введение в профессию
• Инструменты и технологии для аналитики данных
• Работа с данными и автоматизация процессов
• Обработка больших массивов данных
• Методы прогнозирования
• Проверка гипотез
• Виды тестирования

Ознакомиться с полной программой >>>

10. Машинное обучение | Skillfactory

Онлайн-программа в рамках магистратуры МИФИ по направлению «‎Прикладная математика и информатика»‎ поможет с азов освоить работу с данными и ML-моделями. Вы научитесь разрабатывать системы прогнозирования и принятия решений, исследовать гипотезы, автоматизировать процессы с помощью технологий машинного обучения, собирать, обрабатывать и анализировать большие данные, проводить е A/B-тестов, применять инструменты маркетинговой аналитики и многое другое. Фундаментальный курс помимо содержательной теоретической базы включает интенсивное практическое обучение, которое позволит наработать опыт и создать профессиональное портфолио.

• Стоимость: 198 000 рублей за семестр
• Длительность: 2 года
• Формат обучения: предзаписанные материалы, онлайн-лекции, семинары, тесты, проекты, хакатоны, тренажеры
• Сертификат: диплом магистра

Кому подойдет: специалистам без опыта в IT, выпускникам и действующим специалистам технических направлений.

Преимущества:

• удобное расписание;
• обучение с нуля до продвинутого уровня;
• актуальные учебные материалы;
• преподаватели — эксперты в области Data Science и ML;
• реальные кейсы от партнеров в качестве проектов для портфолио;
• диплом престижного вуза;

Недостатки:

• для поступления требуется диплом бакалавра или специалиста по любому направлению;
• старт программы раз в год.

Программа обучения:

• Программирование на Python
• Математика для анализа данных
• Сплит-тестирование
• Машинное обучение
• Внедрение ML-моделей
• SQL для работы с базами данных
• Big Data и рекомендательные системы

Ознакомиться с полной программой >>>

Еще 19 курсов по Data Science

Предлагаю ознакомиться с подборкой курсов, охватывающих изучение современных технологий и аналитических методов для работы с данными.

1. BIG DATA для менеджеров от Product Live — онлайн-курс научит применять ИИ, большие данные и машинное обучение для оптимизации бизнес-процессов и повышения прибыли. Программа длится 6 месяцев и ориентирована на владельцев компаний, руководителей отделов и направлений. Участники научатся работать с фреймворками и датасетами, организовывать работу с DS-командой и планировать BD-проекты, решат 18 бизнес-кейсов, разберут внедрение искусственного интеллекта на реальном примере. Проводятся индивидуальные консультации с ментором.
2. Введение в Data Science от Skillbox — авторский курс от экспертов Сбера рассчитан на полгода. Подходит новичкам и начинающим аналитикам. Вы с нуля изучите инструменты дата-сайентиста, подтянете математику, статистику и теорию вероятностей, научитесь писать код, работать с данными, разрабатывать ML-модели, выполнять когортный и разведочный анализ, формулировать гипотезы и прогнозировать результаты. Практическая часть включает 50 заданий и выполнение итогового проекта, который войдет в ваше портфолио.
3. Библиотеки Python для Data Science: Numpy, Matplotlib, Scikit-learn от GeekBrains — практико-ориентированный курс содержит более 400 часов упражнений для отработки навыков. Эксперты объяснят, как извлекать необходимую информацию из API, баз данных и файлов, как эффективно работать с большими массивами данных, проводить анализ, формулировать и проверять гипотезы. Дополнительно изучаются основы математики и статистики. Предоставляется бесплатный доступ к облачной платформе Yandex для практики во время учебы. Проводятся карьерные консультации.
4. Data Science: быстрый старт от ProductStar — интенсивная программа поможет всего за пару месяцев освоить Python, писать чистый код, работать с ML-инструментами, создавать рекомендательные системы. Обучение можно проходить в индивидуальном темпе и совмещать с работой. После каждого урока проводится разбор кейсов и выполнение практических заданий. После завершения учебы выдается сертификат, а в поиске работы помогают специалисты Карьерного центра.
5. Data Science в медицине от GeekBrains — специализированный курс фокусируется на применении аналитики в медицине, использовании машинного обучения и статистики для работы с Big Data. Подходит для обучения с нуля. Занятия рассчитаны на 9 месяцев и включают знакомство с языками программирования и базами данных, изучение финансовой математики, статистических методов, сплит-тестирования и юнит-экономики. Предусмотрена бесплатная консультация перед началом обучения, отработка практических навыков на интерактивных тренажерах, проверка работ с ревью от преподавателей, выполнение командных проектов.
6. Математика + Machine Learning для Data Science от Skillfactory — объединенный онлайн-курс длится 5,5 месяцев, за которые участники разберутся в применении математических и статистических закономерностей в ML и нейросетях. Программа ориентирована на новичков. Студенты разбирают практические кейсы и участвуют в хакатонах, решают задачи по машинному обучению, предобработке данных, линейной и логистической регрессии, изучают принципы работы с алгоритмами и методы построения рекомендательных систем. Выдается сертификат о завершении обучения, предоставляется бесплатная консультация по развитию карьеры.
7. Data Science в медицине от Skillfactory — совместная программа с Сеченовским университетом адресована специалистам в сфере исследований, медицины, фармакологии, биологии. Обучение можно совмещать с работой. Участники освоят Python и его библиотеки, научатся обрабатывать и визуализировать данные, применять DS-инструменты и ML-алгоритмы для решения задач в своих сферах деятельности, получат доступ к цифровой платформе больших медицинских данных и опыт работы над реальным проектом. Выпускникам выдается диплом о переподготовке.
8. Профессия Специалист по Data Science плюс от Яндекс Практикума — углубленное обучение займет 15 месяцев, в течение которых вы научитесь анализировать Big Data, строить ML-модели для принятия решений и прогнозирования, создавать рекомендательные системы, а также выполните более 20 проектов. Курс подойдет как новичкам без технического образования или опыта в IT, так и специалистам по работе с данными. Первые занятия доступны для бесплатного изучения.
9. Data Science: введение в машинное обучение от Слёрма — программа для начинающих DS-специалистов, владеющих Python, поможет разобраться в алгоритмах и задачах ML. Эксперты курса расскажут о ключевых подходах к созданию нейросетей и форматах работы с данными, объяснят, как использовать библиотеки для анализа данных и применять машинное обучение для решения задач бизнеса. На отработку практических навыков отводится более 130 часов. Обучение без углубления в математику, выполнение итогового проекта, отработка вопросов с собеседования.
10. Data Science для Маркетинг Директора от Digital Business School — курс для собственников бизнеса, маркетологов, product-менеджеров и других специалистов, которые хотели бы использовать аналитику данных для повышения эффективности маркетинга и бизнеса в целом. Состоит из 3 уроков и 3 практикумов. Вы узнаете, как собирать и обрабатывать информацию, использовать метрики для решения маркетинговых задач и внедрить DS в своей компании. Есть бесплатное вводное занятие. Доступ к остальным учебным материалам открывается сразу после оплаты.
11. Онлайн-курсы Python для аналитиков от Международной школы профессий — двухнедельное обучение для тех, кто хочет освоить программирование с нуля и получить практический опыт работы с популярным языком. Курс охватывает такие темы, как основы синтаксиса и структуры данных, работу с файлами и библиотеками, расчет метрик и визуализацию данных. Вы также освоите Selenium WebDriver для автоматизации задач и системой контроля версий. В ходе обучения слушатели создадут три полноценных проекта, которые можно добавить в портфолио. Обучение проходит в онлайн-формате и длится два месяца, что дает возможность совмещать занятия с работой.
12. Специалист по Data Science от Яндекс Практикума — содержательный курс предназначен для тех, кто хочет освоить профессию аналитика данных с нуля. В течение 8 месяцев студенты изучают Python, библиотеки для анализа данных, SQL, методы машинного обучения, а также выполняют практические проекты для портфолио. Программа включает содействие в трудоустройстве, по окончании выдается диплом о профессиональной переподготовке.
13. Data-инженер от Слёрма — онлайн-занятия адресованы разработчикам, аналитикам данных, специалистам по управлению базами данных. За 4 месяца студенты изучат автоматизацию ETL-задач, инструменты для визуализации и отчетности, для обработки, интеграции и хранения данных. Проводятся регулярные встречи с практикующими экспертами. Для ознакомления с форматом обучения предоставляется трехдневный бесплатный доступ к курсу.
14. Data Scientist с нуля от Брунояма — углубленный курс для начинающих рассчитан на 8 месяцев. За это время освоите программирование на Python, работу с SQL и базами данных, изучите методы машинного обучения, обработки и визуализации данных, рассмотрите этапы проведения A/B-тестирования, познакомитесь с возможностями применения нейронных сетей. Удобный график обучения, акцент на практику, поддержка наставника, индивидуальная помощь с трудоустройством.
15. Аналитик PRO от Changellenge Education — комплексный курс посвящен изучению ключевых инструментов аналитики данных и адресован тем, кто только начинает карьеру в этом направлении, Junior-специалистам и представителям смежных профессий. Опытные преподаватели научат использовать Python, SQL и Excel, создавать продвинутые финансовые модели, тестировать бизнес-гипотезы, работать с маркетинговой и продуктовой аналитикой, Tableau и BI-системами. Вас ждет более 300 часов практики, встречи с экспертами, командная и самостоятельная работа над проектами.
16. Курс DP-100: Проектирование и реализация решений Data Science в Azure от Эврики — трехдневный семинар по использованию служб Azure для различных целей машинного обучения. Программа, состоящая из 10 модулей, ориентирована на дата-сайентистов со знанием Python. С помощью эксперта вы научитесь применять инструменты Azure Machine Learning Tools, тренировать модели в ML Designer, создавать хранилища данных, взаимодействовать с вычислительной средой, создавать и запускать конвейеры. По окончании выдается сертификат.
17. Программирование на Python. Уровень 4. Анализ и визуализация данных: Pandas, Numpy, Matplotlib от Специалист.ru — интенсивная программа для аналитиков, программистов, представителей научных специальностей. Вы познакомитесь с возможностями популярного высокоуровневого языка, применяемыми для анализа и визуализации данных, освоите работу с библиотеками, различные способы построения диаграмм и графиков. Занятия построены на реальных кейсах из сферы обработки данных. Предусмотрено тестирование, выдается удостоверение о повышении квалификации.
18. Data Science проекты от New Professions Lab — экспресс-курс для менеджеров и дата-сайентистов включает 4 видеоурока и 2 тестовых задания. Участники рассмотрят, из каких этапов состоит анализ данных, как определиться с метрикой для оценки ML-модели и оценить эффективность ее внедрения, каким образом проводится сплит-тестирование и как визуализировать результаты DS-проекта. Учебные материалы доступны бессрочно, после прохождения обучения выдается сертификат.
19. Большие данные с BigData Team от BigDataTeam — аналитика big data обучение подойдет разработчикам, аналитикам и другим специалистам по работе с данными. За 10 занятий общей длительностью 80 часов участники научатся взаимодействовать с распределенными файловыми системами, освоят такие инструменты Hadoop, MapReduce, Hive, Spark, Kafka и Cassandra, научатся эффективно обрабатывать и анализировать большие данные, готовить отчеты на основе больших массивов информации. Практические задания выполняются студентами на реальном кластере, что позволяет получить опыт работы в реальных условиях.

Еще 11 дополнительных курсов Power BI

Power BI представляет собой комплексное программное решение для анализа и визуализации данных. В этом разделе представлены специализированные курсы, которые помогут улучшить навыки аналитики, автоматизации отчетности и построения эффективных дашбордов.

• Профессия Data-аналитик от Skillbox.ru — углубленное обучение в течение 12 месяцев предназначено для желающих с нуля освоить новую профессию в сфере аналитики данных. Программа включает изучение математических основ анализа и статистики, программирование на Python, применение SQL для работы с базами данных, а также визуализацию с помощью Power BI. Слушатели научатся извлекать, очищать и анализировать данные, строить аналитические отчеты и дашборды, проводить сплит-тесты и формулировать гипотезы. Выпускники смогут претендовать на должности маркетингового, продуктового или финансового аналитика, специалиста по Data Science или BI-аналитика.
• Excel и Google-таблицы: от новичка до эксперта от Eduson Academy — двухнедельный онлайн-курс адресован пользователям, желающим освоить все функции Excel и Google-таблиц для эффективной работы с данными. Программа охватывает темы от работы с формулами и функциями до анализа данных и создания сложных отчетов. Участники научатся обрабатывать большие объемы информации, использовать сводные таблицы и графики, а также автоматизировать задачи с помощью макросов. Обучение проводится на интерактивных тренажерах.
• Power BI и Power Query от SF Education — интенсивная программа продолжительностью 1 месяц подходит широкой аудитории слушателей и нацелена на изучение инструментов для сбора, обработки и анализа данных. Участники научатся собирать информацию из различных источников и подготавливать ее для анализа, интегрировать BI c различными приложениями, использовать возможности BI-системы для аналитических задач и визуализации данных. По окончании выдается диплом международного образца.
• BI-аналитик от Eduson Academy — онлайн-курс предназначен для тех, кто хочет пройти big data обучение и стать специалистом в области бизнес-анализа, работать с большими объемами данных. Обучение длится 4 месяца. Участники освоят навыки работы с Power BI и Tableau, научатся создавать отчеты, дашборды и анализировать данные для принятия стратегических решений. Программа курса включает темы по основам статистики, прогнозированию, построению аналитических моделей и визуализации данных, а также предполагает выполнение практических заданий, что помогает закрепить теорию на реальных примерах.
• Профессия BI-аналитик от GeekBrains — обучение продолжительностью 8 месяцев поможет вам стать востребованным специалистом в области бизнес-анализа. Занятия включают изучение таких инструментов для работы с данными, как Python, SQL, Power BI, Power Query и другими. Вы освоите методы обработки информации, формирования аналитических отчетов и создания дашбордов. Предусмотрены практические задания, в том числе на реальных кейсах, индивидуальные консультации с наставниками и помощь в трудоустройстве.
• «BI-аналитик» с нуля от Skypro — программа в рамках профессиональной переподготовки. Участники изучат основы Python, научатся писать запросы на SQL, собирать из разных источников и преобразовывать, использовать функционал BI-систем для аналитики, визуализировать данные в виде графиков, диаграмм и презентовать результаты своей работы. Занятия проводятся на собственной образовательной платформе онлайн-школы, предоставляется кураторская поддержка и помощь в трудоустройстве.
• BI-аналитика от OTUS — онлайн-обучение для аналитиков данных, продуктовых и маркетинговых аналитиков, product- и project-менеджеров, стремящихся углубить свои знания в области бизнес-аналитики. Продолжительность курса составляет 4 месяца. Вы научитесь работать с большими данными и применять решения с открытым исходным кодом, визуализировать метрики с помощью Power BI, Tableau и отечественной системы Analytic Workspace, создавать интерактивные дашборды с использованием Python и его библиотек. Особенностью курса является акцент на практическом применении знаний и погружение в решение реальных кейсов.
• Аналитик Power BI c 0 от IQBI — практико-ориентированная программа для изучения аналитики с применением Power BI. Подойдет как новичкам, так и действующим аналитикам, желающим систематизировать свои знания. Рассматриваются инструменты Power Query, DAX и M, автоматизация процессов, работа с базами данных и визуализация сведений. Длительность варьируется от 5 недель при обучении на базовом уровне и до 5 месяцев при выборе тарифа PRO. Важной особенностью курса является получение сертификата от партнеров Microsoft.
• Анализ данных в Power BI от Специалист.ru — экспресс-курс знакомит с функционалом программных решений для бизнес-анализа. Освоите основные операции в BI и инструменты визуализации, научитесь обрабатывать информацию и создавать модели данных, писать запросы и сценарии на языке DAX, передавать данные в облачную платформу Power BI и вести там совместную работу над отчетами. Выдается удостоверение о повышении квалификации и диплом международного образца. Можно учиться очно.
• Power BI для бизнес-аналитики от Stepik — комплексное обучение для всех, кто хочет овладеть инструментами Power BI и научиться преобразовывать сырые данные в интерактивные и визуально привлекательные отчеты. Вы научитесь подключать различные источники информации, работать с Power Query для преобразования и очистки данных, создавать сложные модели с использованием DAX-функций, разрабатывать и публиковать отчеты для различных пользователей и устройств. Более 80 уроков, домашние задания, тесты, доступ к электронному учебнику и файлам проекта, персональная поддержка преподавателя.
• Power BI: от новичка до уверенного бизнес-пользователя от Udemy — авторский курс для начинающих пользователей, желающих быстро освоить функциональные возможности Power BI. Состоит из 128 лекций общей продолжительностью 15,5 часов. В рамках обучения вы научитесь импортировать сведения из различных источников (Excel, PDF, Web, CRM и ERP системы), очищать и трансформировать ее, создавать модели данных, визуализировать информацию в понятных отчетах и настраивать дашборды. Доступ к лекциям остается навсегда. По окончании программы выдается сертификат.

Еще 7 дополнительных курсов по машинному обучению

В этой подборке собраны курсы, которые охватывают специализированные темы по ML, такие как нейронные сети, работа с большими данными и продвинутые методы анализа. Эти курсы подойдут как для тех, кто уже знаком с основами машинного обучения, так и для начинающих.

• Машинное обучение от Нетологии — углубленный курс создан для разработчиков, аналитиков и Junior-специалистов в сфере машинного обучения. Программа длится 10 месяцев. Участники познакомятся с возможностями нейронных сетей, научатся грамотно формулировать задачи для проектов Data Science, определять алгоритмы и метрики, разрабатывать ML-модели, составлять отчеты об исследованиях и создавать рекомендательные системы. Выпускникам выдается диплом о профессиональной переподготовке, и предоставляется помощь в трудоустройстве.
• Профессия Machine Learning Engineer от Skillbox — годовое обучение востребованной профессии с нуля по обновленной программе. Научитесь уверенно работать с Python и SQL, извлекать и обрабатывать информацию из различных источников, включая файлы, API и базы данных. Получите опыт в проведении EDA, d создании ML-моделей, включая нейросети и трансформеры. Сможете решать задачи прогнозирования, внедрять решения в бизнес-процессы с использованием Big Data и алгоритмов машинного обучения. Выполните более 80 практических заданий и 3 проекта, которые пополнят ваше портфолио.
• Machine Learning и Deep Learning от Skillfactory — углубленная программа рассчитана на 20 недель и разработана для новичков, программистов и аналитиков со знанием Python. Студенты учатся применять этот язык для обработки и анализа данных, полученных из разных источников. Также изучаются ML-модели и алгоритмы, построение рекомендательных систем, разработка и оптимизация нейросетей. Выпускникам предоставляется помощь с поиском стажировки и работы.
• Программирование Python и машинное обучение от Coddy School — занятия для школьников 12-16 лет, желающих научится программировать и познакомиться с базовыми концепциями машинного обучения. Ребята изучат популярные библиотеки Python и научатся применять их для решения практических задач, разберут принципы Machine Learning и методы анализа данных. Курс занимает от 7 месяцев, включает разработку простых ML-моделей и их применение на практике. Программа адаптирована для юной аудитории, что позволяет эффективно усваивать сложные темы в доступной форме.
• Machine Learning. Advanced от Otus — дистанционный курс продолжительностью 6 месяцев адресован аналитикам, программистам, дата-сайентистам и инженерам машинного обучения. Вы познакомитесь с продвинутыми методами ML, сможете настраивать окружение и писать код, применять инструменты автоматизации, решать сложные кейсы с временными рядами, обучением с подкреплением и системами рекомендаций. Живые вебинары с опытными преподавателями, активная практика и работа над проектами. После окончания курса можно претендовать на позицию дата-сайентиста уровня Middle+.
• Онлайн-курс по машинному обучению от Irs.academy — 9 онлайн-уроков для новичков, программистов и аналитиков. Студенты изучат методы предобработки данных, освоят работу с линейной и логической регрессией, получат навыки работы с алгоритмами, построения рекомендательных систем и визуализации полученных данных. 3 тарифа обучения, комфортный график занятий, новые уроки открываются при условии выполнения домашних заданий, которые проверяются экспертами. После защиты проекта выпускники получают сертификат.
• Python: анализ данных и машинное обучение от LoftSchool — интенсивный курс для начинающих поможет за 7 недель освоить популярный язык программирования Python и его библиотеки, применяемые для аналитики. Также вы научитесь использовать возможности нейросетей, работать с Machine Learning, подбирать метрики для оценки качества алгоритмов и выполните проект для портфолио. Отработаете навыки на практических воркшопах, поработаете в команде, получите экспертное ревью вашего проекта.

Бесплатные курсы по теме

Освоить методы работы с большими данными можно без затрат на обучение. Бесплатные курсы отлично подходят тем, кто начинает карьеру в сфере Data Science и ML.

1. Введение в аналитику — Skillbox

Занятия для всех, кто хочет изучить основы аналитики данных и выбрать подходящую профессию в этой области. Программа рассчитана на 1 месяц, за который вы узнаете о различных специализациях, выявите свои сильные стороны, определитесь с дальнейшим обучением и получите представление о своей будущей карьере.

Главное о курсе:

• обзор 11 направлений, включая BI и продуктовую аналитику;
• интерактивный разбор с реальными примерами;
• содержит профориентационный тест;
• предоставляется бессрочный доступ к материалам.

2. Введение в Data Science‎ и машинное обучение — Stepik

Вводный курс для широкой аудитории. Вы познакомитесь с методами машинного обучения, включая деревья решений и нейронные сети, научитесь использовать популярные библиотеки Python, работать с базами данных, удаленными серверами и системой контроля версий.

Главное о курсе:

• подходит для начального уровня;
• 30 уроков, тесты, практические упражнения;
• рекомендации от ведущих специалистов в области DS и ML;
• выдается сертификат о прохождении обучения.

3. Введение в дата-аналитику — Хекслет

Мини-курс для начинающих, который знакомит с профессией и задачами аналитика данных. Участники узнают, чем такой специалист может помочь бизнесу и какие существуют направления в аналитике, как применяется Python для анализа данных. В практической части вы научитесь работать с электронными таблицами Google, писать запросы к базе данных на SQL, выполнять визуализацию.

Главное о курсе:

• обновленная учебная программа;
• обучение в комфортном темпе;
• практика на интерактивных тренажерах;

4. Нейронные сети — Stepik

Онлайн-занятия для школьников старших классов, студентов, научных работников. Для успешной учебы необходимо знать математику на школьном уровне и уметь программировать на Python. Участники ознакомятся с алгоритмами, применяемыми для обучения различных нейросетей, научатся проводить анализ данных и визуализировать результаты исследований.

Главное о курсе:

• для обучения достаточно школьного уровня математики;
• 24 видеоурока, тесты, задачи;
• доступ к материалам открывается сразу после регистрации на сайте;
• предоставляется сертификат Института биоинформатики.

5. Анализ данных в R‎ — Stepik

Программа подходит для студентов, научных работников и старшеклассников. Охватывает основные этапы статистического анализа с помощью языка программирования R, включая обработку данных, применение статистических методов и визуализацию данных.

Главное о курсе:

• длительность — 3 недели, по 4–5 часов в неделю;
• основы статистического анализа в R;
• работа с данными и библиотеками;
• инструменты визуализации результатов.

6. Основы Python и анализа данных — Яндекс.Практикум

Курс для желающих освоить профессию аналитика данных с нуля. Студенты изучат основы анализа данных с помощью SQL, Python и инструментов BI, что поможет получить востребованные навыки для работы в различных сферах аналитики.

Главное о курсе:

• более 70% обучения отведено практике;
• работа с SQL, Python, PostgreSQL и DataLens;
• проекты на основе реальных кейсов.

7. Hadoop. Система для обработки больших объемов данных — Stepik

Занятия подготовлены для студентов старших курсов и разработчиков начального или среднего уровня. Учащиеся познакомятся с методами обработки и хранения больших данных с использованием платформы Hadoop.

Главное о курсе:

• актуальные учебные материалы;
• 33 урока, 12,5 часов видео;
• более 200 тестов и 29 интерактивных задач;
• занятость — 3 часа в неделю.

8. Основы программирования и анализа данных на Python — teach-in

Видеоурок по основам работы с Python с нуля. Рассматриваются возможности этого языка, области его применения, базовые принципы программирования, такие как работа с циклами, условиями, рекурсией и автоматизацией. Обучение сопровождается практическими примерами.

Главное о курсе:

• длительность — 1,5 часа;
• введение в Python и его применение в различных сферах;
• основы программирования;
• ответы на вопросы студентов.

9. Курс лекций по Big Data — Sergey Petrovich

10 уроков на платформе YouTube посвящены основам работы с большими данными и машинному обучению. Big Data обучение ориентировано на студентов, начинающих специалистов в сфере Data Science, а также всех, кто хочет разобраться в принципах анализа, хранения и обработки больших объемов информации. Рассматриваются ключевые концепции больших данных, алгоритмы машинного обучения, регрессия, глубокое обучение и другие актуальные темы.

Главное о курсе:

• введение в машинное обучение;
• Python для анализа данных;
• взаимосвязь Интернета вещей (IoT) и Big Data;
• регрессия и методы прогнозирования.
• технологии хранения и анализа данных;
• основы глубокого обучения.

Профессия аналитика больших данных

Сфера Big Data стремительно набирает популярность в мире, поскольку данные становятся основой для принятия решений в бизнесе, медицине, финансах и других отраслях.

Чем занимается аналитик больших данных?

Аналитик больших данных (или специалист по Big Data) — это профессионал, который занимается обработкой и анализом массивов данных, которые невозможно эффективно обрабатывать с помощью традиционных инструментов. Его работа заключается в создании и оптимизации алгоритмов, которые позволяют извлекать полезную информацию из больших объемов данных, чтобы сделать бизнес-процессы более эффективными и прибыльными. Это включает в себя работу с различными источниками данных, их очистку, а также создание моделей, которые помогают в принятии обоснованных решений.

Навыки специалиста по Big Data

Успешный аналитик больших данных обладает следующими знаниями и навыками:

• знание языков программирования, например, Python, R;
• опыт работы с SQL, NoSQL, Hadoop, Hive;
• уверенное владение рабочими программами Excel и Power BI;
• умение применять алгоритмы машинного обучения для прогнозирования и анализа данных;
• математическое и статистическое мышление, внимательность, способность анализировать данные и выявлять закономерности;
• знание бизнес-анализа и отчетности, понимание того, как данные могут помочь в принятии бизнес-решений;
• умение работать в команде;
• навыки презентации для представления результатов исследований.

Где учиться на аналитика больших данных?

Фундаментальное образование по этой специальности можно получить в высших учебных заведениях. Например, в Санкт-Петербургском государственном университете есть очная программа бакалавриата Искусственный интеллект и наука о данных, которая займет 4 года. Пройти дистанционное обучение аналитик больших данных по двухлетней магистерской программе предлагает Высшая школа экономики.

Если вас интересует быстрый старт в профессии или точечное совершенствование знаний, имеет смысл обратить внимание на онлайн-курсы. При выборе такого формата обучения на освоение инструментов аналитики данных, Machine Learning и работы с Big Data вам понадобится от нескольких недель до 1 года. Самостоятельный поиск подходящего курса может занять много времени, поэтому предлагаю вам воспользоваться подборкой, представленной в этой статье.

Сколько зарабатывает аналитик больших данных?

Зарплата аналитиков больших данных зависит от опыта специалистов, региона и типа компании. Согласно данным hh.ru, крупного онлайн-портала по поиску работы и сотрудников, начинающие специалисты по Big Data могут рассчитывать на заработную плату от 60 0000 рублей до 100 000 рублей в месяц. Зарплата опытного специалиста составляет в среднем от 150 000 рублей в месяц и выше.

Заключение

Аналитика данных становится основой для принятия решений и развития бизнеса. Технологии обработки больших данных применяются во многих сферах, включая финансовые услуги, здравоохранение, маркетинг, науку, что создает постоянный спрос на высококвалифицированных специалистов. Если вы хотите стать экспертом в одной из самых перспективных областей, Big Data курсы станут первым шагом на пути к успешной карьере. Это отличный способ не только изучить теорию, но и развить практические навыки, освоить новейшие инструменты для работы с большими данными и повысить свою конкурентоспособность на рынке труда.

Подборки по схожим темам:

1. Лучшие курсы по анализу данных
2. Лучшие курсы для бизнес-аналитиков
3. Лучшие курсы по системной аналитике

Если вы обнаружили в статье устаревшую или некорректную информацию, сообщите, пожалуйста, об этом в комментариях. Там же вы можете поделиться информацией о проверенном вами онлайн-курсе, и я с удовольствием добавлю его в подборку.

Реклама. Рекламодатель: АО «НСПК» ИНН 7706812159, erid: 2W5zFH8wt5E

Наверняка вы сталкивались с zip–архивами, сохраняли фото в jpeg или смотрели видео в 144p — всё это примеры сжатых данных. Когда мы говорим о сжатии (компрессии), то имеем в виду уменьшение исходного размера без потери содержимого. Так можно хранить больше информации, быстрее её передавать и считывать.

Методы сжатия данных принято делить на 2 категории: с потерей и без потери. Рассмотрим их подробнее.

Сжатие с потерями (lossy)

При сжатии данных с потерями мы безвозвратно удаляем часть информации. Но делаем это так, чтобы не потерять общую суть.

Например, надо сжать картинку для сайта, чтобы он быстрее прогружался. Ниже два варианта одного изображения. Один исходник, второй сжатый. Как думаете — какой где?

По идее исходник должен уступать оригиналу в визуальном плане, однако разницы между этими изображениями практически не видно.

Оригинал — первое изображение в формате png. Второе — сжатый вариант в формате jpeg.

Казалось бы, вариант 2 должен был потерять качество, и это произошло. При компрессии были удалены некоторые похожие оттенки цветов и лишние детали, а размер файла уменьшился с 2.38МБ до 145 КБ. При этом визуально он все еще выглядит неплохо.

То же самое происходит и при работе с аудио и видео. В файле могут содержаться звуки, которые не воспринимает человеческое ухо, статичные элементы, которые не изменяются от кадра к кадру. Всё это излишки, которые можно отбросить без потери смысла.

Сжатие данных без потерь (lossless)

При методах сжатия без потерь мы не удаляем лишние данные, а стараемся упаковать их более компактно.

Допустим, нам нужно составить список покупок. Мы можем записать его так:

Однако некоторые продукты повторяются здесь несколько раз, поэтому эту запись можно сделать более компактной вот так:

Популярные алгоритмы сжатия данных без потерь

Давайте рассмотрим три наиболее распространенных метода сжатия без потерь.

Huffman coding

Метод Хаффмана позволяет нам компактно закодировать данные при помощи манипуляций с частотой объектов и выстраивания дерева. А еще его включают в себя многие другие алгоритмы и форматы сжатия.

Рассмотрим пошагово кодирование Хаффмана на примере сжатия слова: «compression».

Шаг 1 — строим таблицу частотности

Определяем, сколько раз тот или иной символ встречался в тексте. Записываем символы в таблицу в порядке убывания. Под ними указываем частоту.

Шаг 2 — строим дерево

Записываем символы как листья дерева. Их частотность будет весом.

Находим два крайних правых листа и строим над ними новый. Записываем в него символы и сумму их частот.

Мы создали лист «in» с весом 2. Формируем листы дальше.

Теперь мы построили лист «ein» с весом 3 из «in» и «e». Продолжаем до тех пор, пока не создадим последний лист.

Шаг 3 — кодируем текст

Мы закончили строить дерево. Теперь можно приступить к кодированию знаков.

Вершина «oscmprein» является корнем нашего дерева, так как обладает наибольшим весом — 11.

Каждая линия означает один бит. Для линий справа это единица, слева — ноль. Теперь при помощи битов линий мы кодируем каждый символ. Для этого необходимо представить путь от корня до нужного знака. Сочетание битов линий на пути будет нашим кодом.

Например, между «o» и корнем «oscmprein» есть только одно ребро, которое равно нулю. Следовательно, «o» это 0. От корня до «s» ведут две линии: один и ноль. Значит, код будет 10. И так до узла «n», код которого 11111111.

В итоге получим следующую кодировку символов:

В изначальном варианте «compression» весит 88 бит, но благодаря методу Хаффмана мы сжали его до 48 бит.

Lempel-Ziv-Welch (LZW)

Метод Лемпеля создает словарь, где кодирует символы, слова и сочетания слов. Давайте рассмотрим принцип работы данного алгоритма на примере текста: «The big big big cat sat on the mat mat mat. The big big cat ate the fat fat rat. The cat cat cat sat sat sat.»

Шаг 1 — создаем словарь

Начнем с создания словаря, содержащего все возможные одиночные символы и их коды. В нашем случае мы будем использовать ASCII-коды для простоты:

Шаг 2 — сжимаем текст и расширяем словарь

Теперь будем читать каждый символ из фразы. Если он уже есть в словаре, то считаем комбинацию символов:

• Читаем «T». Проверяем его в словаре. Записываем код (84).
• Проверяем его сочетание со следующим символом. «Th» нет в словаре.
• Присваиваем для «Th» код 256.
• Читаем «h». Есть в словаре, пишем код (104).
• Проверяем «he». Этого сочетания нет в словаре.
• Присваиваем код 257.

Продолжаем этот процесс для всей фразы. Как только данный метод наткнется на комбинацию знаков, которая уже есть в словаре, он заменит её кодом. Не каждый знак по отдельности, а всё сочетание.

Например, слово «big» повторяется пять раз. Первое повторение мы закодируем по коду символов «b», «i», «g»: 98 105 103.

Так как в словаре нет сочетаний «bi» и «ig», присвоим им новые коды и добавим в словарь:

При следующем повторении мы закодируем «big» как 260 261, а не 98 105 103.

В итоге получим вот такой код:

Исходная фраза весила 73 байта, но мы сжали её до 53 байт.

Deflate

На самом деле с этим алгоритмом мы уже сталкивались. Ну, почти. Он основан на двух методах сжатия без потерь: LZ77 и коде Хаффмана. LZ77 — более старая версия LZW. Они отличаются только тем, что LZ77 не создает словарь с кодами — вместо этого он использует ссылки. Для примера возьмем текст: «The big big big cat sat on the mat mat mat».

Шаг 1 — определяем повторяющиеся подстроки

Это будут:

• big;
• cat;
• mat.

Шаг 2 — создаем ссылки

Ссылки записываем в следующем формате:

Например, буква «b» в слове «big» является пятым по порядку символом, если смотреть относительно всего текста. При счете с нуля её индекс — 4. Слово состоит из трех букв. Поэтому наша ссылка выглядит так:

Аналогично с cat (16,3) и mat (31,3).

Шаг 3 — сжимаем текст

Последовательно записываем наш текст, заменяя повторения ссылками:

Шаг 4 — применяем метод Хаффмана

Далее в дело вступает сжатие данных методом Хаффмана. По вышеописанному принципу мы разбиваем этот код на отдельные знаки, ранжируем их по частотности, строим дерево и кодируем каждый символ.

Алгоритмы сжатия с потерями

JPEG (для изображений)

Сжатие данных исходного изображения в jpeg происходит в четыре этапа.

Этап 1 — переводим в цветовое пространство YCbCr

YCbCr — цветовой профиль, который условно можно представить как три маски.

Y — чёрно-белая картинка, которая демонстрирует уровень яркости.

Cb — синий канал.

Cr — красный канал.

Так мы сможем отделить цвета от яркости.

Если что, отсутствие синих и красных оттенков нормально, потому что каналы Cb и Cr не представляют напрямую синий и красный цвета. Они показывают отклонения от нейтрального серого в сторону сине-желтого (Cb) и красно-зеленого (Cr) спектров.

Этап 2 — Дискретное косинусное преобразование (DCT)

На этом этапе нужно понять, как много деталей содержится в разных частях изображения. Для этого делим картинку на блоки 8 на 8 пикселей. Далее раскладываем каждый блок на паттерны при помощи дискретного косинусного преобразования. Паттерны — это пространственные волны, которые мы можем представить в виде 64 картинок.

Комбинируя их, можно повторить любое изображение 8x8 пикселей.

У каждого паттерна есть свой вес, который можно менять — его называют коэффициентом. DCT определяет, на какие паттерны с какими коэффициентами можно разложить блок.

Этап 3 — Квантование

Есть объекты, которые человеческий глаз не видит, либо почти не видит, поэтому некоторые детали на фото не нужны. Найти их помогает таблица квантования. В ней прописаны значения коэффициентов, по которым становится понятно, важны детали на блоке или нет. При помощи этих значений мы округляем коэффициенты паттернов до целых чисел. Если они близки или равны нулю, то содержат минимум важных деталей. Последовательности нулей удаляем, и вместо них записываем в скобках один ноль и число его повторений.

Этап 4 — сжатие Хаффмана

Да-да. Здесь опять вступает в игру метод сжатия Хаффмана, который сжимает нашу последовательность еще сильнее.

MP3 и ACC (для аудио)

MP3 и ACC — это два формата компрессии аудио с потерями. Сжатие в них работает аналогично сжатию в jpeg.

Этап 1 — раскладываем звук на волны

Мы раскладываем звук на несколько кусочков — фреймов. Эти фреймы разделяем на волны.

Этап 2 — находим у волн лишние частоты

У каждой волны есть своя частота. Некоторые частоты человек не воспринимает, поэтому MP3 использует психоакустическую модель. Она удаляет такие частоты, а еще заменяет похожие волны одной.

ACC использует более свежую и, потому, совершенную версию психоакустической модели, благодаря чему точнее определяет излишние частоты.

Этап 3 — округляем коэффициенты частот

Далее начинается квантование. Мы округляем коэффициенты частот. Те, что слышим хуже, получают меньше битов, и наоборот.

Если последовательность частот равна нулю, то удаляем нули и заменяем их записью по типу:

(0, количество повторений). Точно как с jpeg.

Этап 4 — пропускаем через алгоритм Хаффмана

В конце получаем последовательность битов, которые означают коэффициенты частот. Проводим сжатие данных алгоритмом Хаффмана.

H.264 и HEVC (для видео)

H.264 и HEVC — это стандарты видео сжатия. Еще их называют кодеки. Вот основные этапы сжатия видео:

Этап 1 — разбиение на кадры и блоки

Разбиваем видео на кадры. Каждый кадр раскладываем на блоки:

• 16x16 пикселей в H264.
• 64x64 в HEVC (H.265).

Благодаря этим небольшим блокам мы можем отслеживать изменения в кадрах.

Этап 2 — формируем I,P,B-кадры

Далее мы сравниваем последовательности блоков кадров между собой. Если видим смещения, то создаем векторы, в которые записываем информацию о направлении смещений и их длине в пикселях.

Этим методом формируем три категории кадров:

1. I-кадры (intra-coded frames) — это опорные кадры, которые кодируются без учета других кадров. Они содержат полную информацию о текущем изображении и служат отправной точкой для декодирования других кадров. Такие кадры наиболее «тяжелые» по объему, но необходимы для восстановления видео.
2. P-кадры (predictive frames) основываются на предыдущих I- или P-кадрах. В них кодируется только информация о различиях между текущим кадром и предыдущим, что значительно сокращает объем данных.
   
3. B-кадры (bi-predictive frames) используют как предыдущие, так и последующие кадры для предсказания текущего кадра. Это делает их наиболее эффективно сжимаемыми, поскольку они могут использовать информацию из двух направлений — как вперед, так и назад. Однако их обработка требует больше вычислительных ресурсов.
   

P и B кадры — это не статичные изображения, а всего лишь информация о том, какая часть кадра изменилась, в каком направлении и как.

Представим последовательность кадров:

В I-кадре статичная картинка. В первом P-кадре мы повторяем предыдущий I-кадр и благодаря информации о смещении дорисовываем его часть. То же самое проделываем со вторым P-кадром относительно первого P-кадра.

Таким образом, мы как бы изучаем все кадры, создаем болванку и дублируем её в следующих кадрах, дорисовывая некоторые фрагменты.

Этап 3 — выводим коэффициенты

Далее работаем с кадрами так же, как с jpeg. Прогоняем через дискретное косинусное преобразование и выводим коэффициенты деталей.

Этап 4 — округляем, убираем излишки и кодируем по Хаффману

Округляем их при помощи квантования, сокращаем коэффициенты близкие или равные нулю и используем метод сжатия Хаффмана.

Инструменты для сжатия данных

ZIP и GZIP

ZIP и GZIP — это утилиты для архивирования файлов. Они уменьшают размер данных без потери информации.

• ZIP использует алгоритмы из метода Deflate, который мы рассматривали выше. Преимущества ZIP в том, что он поддерживается практически на всех операционных системах и способен сжимать несколько файлов.
• GZIP используется на серверах для уменьшения объёма данных, передаваемых по сети. GZIP также основан на алгоритме Deflate, но в нем нет реализации методов сжатия многокомпонентных архивов. Это значит, что он не умеет сжимать несколько файлов.

FFmpeg

FFmpeg — фреймворк, который применяется для сжатия, конвертации и обработки медиафайлов.

FFmpeg поддерживает широкий набор кодеков и форматов, включая H.264, H.265 для видео и AAC, MP3 для аудио.

Но его возможности не ограничиваются только сжатием. По сути, это движок с инструментами для редактирования медиафайлов. Здесь мы можем сделать нарезку, применить фильтры, конвертировать в другие форматы и много чего еще.

7-Zip

7-Zip — бесплатная утилита для сжатия данных, которая поддерживает формат 7z, а еще там есть ZIP, RAR, и TAR.

Основное преимущество 7-Zip в его высоком уровне сжатия. Здесь применяется метод сжатия LZMA. Это модифицированная версия LZ77.

LZMA, так же как и LZ77, ищет повторяющиеся последовательности и заменяет их ссылками. Но еще он использует метод Маркова для предсказания вероятности появления символов.

7-Zip также поддерживает создание защищённых паролем архивов с шифрованием и работает на большинстве платформ, включая Windows и Linux.

Преимущества и недостатки различных методов сжатия

Баланс между эффективностью сжатия, скоростью и качеством данных

Сжатие без потерь

Лучше всего подходит для текстов, программного кода, баз данных и других типов данных, где принципиально важно сохранить всю информацию. При этом приходится мириться с ограниченным уровнем сжатия, особенно если мы используем данные, где мало повторяющихся элементов. Это может быть критично при работе с медиафайлами.

Поэтому методы сжатия данных без потерь лучше применять, когда сохранение качества данных важнее эффективности сжатия и скорости.

Сжатие с потерями

Позволяет достичь значительно большего уменьшения размера файлов за счёт удаления излишков данных, таких как мелкие детали изображения или неслышимые частоты в аудио.

Подходит только для данных, где не критично потерять часть информации. При этом стоит иметь в виду, что алгоритмы сжатия с потерями могут сильно убить качество, если использовать высокую степень сжатия.

Методы сжатия с потерями уместны когда для нас важнее скорость и компактность, чем изначальное качество.

Как выбрать метод сжатия данных

Выбор способа сжатия данных зависит от задачи.

Для хранения архивов

Zip, 7-zip или RAR-архивы станут отличными инструментами, если нам нужно просто сохранить набор файлов на компьютере.

Они умеют компрессировать сразу несколько файлов при помощи методов сжатия без потери данных.

Для сжатия веб-сайтов

Для оптимизации сайта подойдет формат gzip. Он умеет сжимать html и css без потерь, благодаря чему веб-страницы быстрее прогружаются.

Для изображений

Когда мы делаем снимки на смартфон для соцсетей, JPEG формат будет оптимальным выбором, поскольку сохраняет баланс между качеством и размером файла.

Но если мы увлекаемся профессиональной фотографией, то стоит выбрать RAW формат — он содержит максимум данных, которые нужны для обработки.

Для видео

Для любительской съемки и просмотра видео подойдет Кодек H264. Но если мы занимаемся видеопроизводством профессионально, то для редактирования нам подойдут форматы вроде ProRes. А финальную версию можно сохранить в H.265 (HEVC).

Для аудио

Чтобы послушать музыку на смартфоне или в машине, нам хватит MP3 или ACC формата. Но для аудиофилов и тех, кто занимается музыкой профессионально, подойдет формат без потери данных FLAC.

А с какими методами сжатия работаете вы? Расскажите в комментариях👇

Однако недавнее открытие показало, что сочетание этих команд может достичь тьюринг-полноты. Это означает, что они способны имитировать поведение любой другой вычислительной системы, включая выполнение сложных алгоритмов и программ.

Доказательство

Исследователи показали тьюринг-полноту комбинации команд find и mkdir с помощью реализации систем тегов (tag systems).

Система тегов — это триплет (m, A, P), где m — положительное целое число, A — конечный алфавит, включающий символ завершения H, и P — правило производства для каждого символа алфавита.

Конструкция цикла

Простейшая демонстрация заключается в создании бесконечного цикла:

Эта команда рекурсивно создает каталоги, попадая в бесконечный цикл. Для ограничения глубины создания каталогов можно использовать опцию -maxdepth:

Пример FizzBuzz

Используя опцию -regex команды find, можно фильтровать имена файлов и выполнять действия в зависимости от результата:

Этот код создает иерархию каталогов, где выводится FizzBuzz, если количество каталогов кратно 15, Buzz — если кратно 5, Fizz — если кратно 3, и количество каталогов в противном случае.

Реализация систем тегов

Системы тегов — это пример, показывающий, как можно реализовать тьюринг-полный механизм с помощью команд find и mkdir. В данном примере используется система тегов с m = 2 и алфавитом из четырех символов.

Этот код демонстрирует, как с помощью комбинации команд find и mkdir можно реализовать тьюринг-полную систему тегов.

Алгоритм Дейкстры — это алгоритм на графах для нахождения кратчайших путей от заданной вершины до всех остальных вершин во взвешенном графе с неотрицательными весами рёбер, предложенный нидерландским математиком Эдсгером Дейкстрой в 1956 году. Алгоритм Дейкстры используют для решения «задачи о кратчайших путях с единственным источником». Она заключается в поиске кратчайших путей от заданной вершины до всех остальных во взвешенном графе с неотрицательными весами.

Алгоритм Дейкстры — классический алгоритм нахождения кратчайших путей от одной вершины до всех остальных во взвешенном графе с неотрицательными весами рёбер.

Сложность простейшей реализации — O(n² + m), с очередью приоритетов (двоичной кучей) — O((n + m) log n), что делает алгоритм эффективным на разреженных графах.

Алгоритм не работает с отрицательными весами рёбер. Для таких задач используют алгоритм Беллмана-Форда (сложность O(nm)) или алгоритм Джонсона.

Применяется в навигации (Google Maps, GPS), маршрутизации в компьютерных сетях (OSPF), робототехнике, системах бронирования и игровых движках.

Для закрепления материала рекомендуем порешать задачи на acmp.ru — ссылки на практические задачи приведены в конце статьи.

Далее будем использовать следующие обозначения, описывающие характеристики графа:

• n — количество вершин в графе;
• m — количество ребер в графе;
• s — стартовая вершина.

Алгоритм Дейкстры выполняется за n итераций. На каждой итерации выбирается вершина v с минимальным значением d[v] среди непомеченных вершин. Эта вершина v затем отмечается как помеченная.

Далее на текущей итерации происходит этап релаксации. В этом этапе просматриваются все ребра (v, to), исходящие из вершины v, и проверяется, можно ли улучшить значение d[to].

То есть, если длина рассматриваемого ребра равна l, тогда d[to] = min(d[to], d[v] + l). При успешной релаксации, то есть когда удалось улучшить расстояние до вершины to, в массиве p указывается, что предшественником на кратчайшем пути к вершине to является вершина v, то есть p[to] = v.

На этом итерация заканчивается.

По завершении n итераций все вершины графа оказываются помеченными, и алгоритм заканчивает выполнение.

Важно заметить, что если из начальной вершины s невозможно построить путь до некоторых вершин графа, их значения d[v] останутся бесконечными. Алгоритм можно завершить досрочно, как только будет выбрана вершина с бесконечным значением расстояния.

Рассмотрим работу алгоритма на примере. Будем искать кратчайшие пути от вершины 4.

Изначально массивы u (посещений), d (расстояния) и p (предков) для графа из примера имеют следующие значения:

На первой итерации мы выбираем вершину v с наименьшим значением d[v]. Очевидно, что на первом шаге будет выбрана стартовая вершина — 4.

Помечаем её посещённой u[4] = true.

Дальше проходим по всем соседям вершины 4 и пытаемся улучшить для них значения в массиве d. Для всех вершин, расстояние до которых удалось улучшить, в список предков записываем вершину 4. На первой итерации удалось улучшить расстояния до вершин 1, 5, 6. В результате значения массивов u, d, p изменились следующим образом:

На следующем шаге выбираем вершину 6. Улучшаем расстояния до вершин 3 и 7.

Следующая непосещённая вершина с минимальным весом — 1.

Расстояние от вершины 4 до вершины 1 равняется 3. Пытаемся улучшить расстояние до всех её соседей. Так, например, можно улучшить расстояние до вершины 5. Ранее оно было равно 8, а после релаксации это значение уменьшается:

d[5] = min(d[5], d[1] + l) = min(8, 3 + 2) = 5.

И аналогичным образом мы проходим все оставшиеся итерации.

Выбираем непосещённую вершину с минимальным значением d[v]. На этой итерации будет выбрана вершина 7. Ни для одного её соседа длину кратчайшего пути улучшить не удалось.

На следующей итерации будет посещена вершина 2. От неё удалось улучшить путь до вершин 0 и 3.

Далее посетив вершину 5 улучшаем путь до вершины 8.

На последующих итерациях помечаются посещёнными вершины 8, 0 и 3. От них нельзя улучшить путь ни до одного из их соседей.

После окончания работы алгоритма значения массивов u, d, p:

Реализация на C++

Оценим скорость работы алгоритма. Он состоит из n итераций, внутри каждой из которых осуществляется поиск вершины с наименьшим значением d[v] (при простейшей реализации n итераций). Также за время работы алгоритма m раз производится попытка релаксации.

Таким образом асимптотика алгоритма равняется O(n^2+m).

С учётом оценки скорости работы алгоритма очевидно, что на его производительность влияет плотность графа. Так, например, для разреженных графов (с относительно небольшим числом рёбер по сравнению с числом вершин) алгоритм Дейкстры в стандартной реализации будет не очень эффективен. Но это можно исправить, ускорив операцию поиска минимального элемента использованием двоичных куч. Тогда время работы алгоритма можно сократить до O(n log n + m).

Где используется

Этот алгоритм универсален, поэтому его можно использовать в разных сферах.

Например, в навигационных системах и картографии алгоритм Дейкстры может помочь проложить маршрут для пешеходов или автомобилей, избегая пробок и выбирая оптимальные дороги.

В робототехнике этот алгоритм применяется для планирования движения роботов, чтобы они могли перемещаться в пространстве используя кратчайшие пути и обходя препятствия.

В системах бронирования для поиска наиболее быстрых и дешевых билетов с учетом возможных пересадок.

В компьютерных сетях алгоритм Дейкстры используется для определения оптимального маршрута передачи данных между узлами сети, минимизируя задержки и повышая эффективность передачи. Если вы работаете с базами данных, также рекомендуем прочитать: SQL — полный путеводитель от первых запросов до оконных функций.

Ограничения

Основным ограничением алгоритма является невозможность работы с отрицательными весами рёбер, так как в этом случае возможны циклы с отрицательной суммой весов, что приведет к бесконечным попыткам уменьшения длины пути.

Из-за своей большой временной сложности алгоритм Дейкстры в стандартной реализации может быть не очень эффективен для больших графов, поэтому на практике часто используют разные эмпирические улучшения, с учетом специфики задачи. Также стоит отметить, что для больших графов также требуется выделение значительных ресурсов памяти.

Алгоритм Дейкстры не приспособлен для работы с динамически изменяющимися графами. То есть если во время работы алгоритма изменятся значения весов, то в итоге вы скорее всего получите неверные результаты.

Какие еще есть алгоритмы для поиска кратчайшего пути

Алгоритм Беллмана-Форда вычисляет кратчайшие пути от одной вершины ко всем остальным, но в отличие от алгоритма Дейкстры, способен работать с графами, имеющими рёбра с отрицательными весами. Его временная сложность составляет O(nm). Для графов с большим числом рёбер этот алгоритм может работать медленнее, чем Дейкстра. Другие алгоритмы и их применение — в нашем разделе Алгоритмы.

Алгоритм Джонсона позволяет найти кратчайшие пути между всеми парами вершин. Он комбинирует алгоритмы Дейкстры и Беллмана-Форда и имеет временную сложность O(n^2 log n + nm). Он может быть более эффективным для графов с малым количеством ребер.

Алгоритм А* — это эвристический метод поиска кратчайшего пути, который может работать быстрее, чем алгоритм Дейкстры, при условии использования хорошей эвристической функции. А* применяется в задачах маршрутизации и навигации, особенно в играх и робототехнике.

Модификации алгоритма Дейкстры для разреженных графов. Для графов с малым числом ребер относительно количества вершин можно использовать специальные оптимизации:

• Алгоритм Дейкстры с очередью с двойным приоритетом. Применение специализированных структур данных, таких как очереди с двойным приоритетом, может ускорить выполнение алгоритма на разреженных графах.
• Алгоритм Дейкстры с помощью дек (deque). Это улучшение алгоритма Дейкстры для разреженных графов, использующее дек для более эффективного управления очередью вершин.

Алгоритм Флойда-Уоршелла предназначен для нахождения кратчайших путей между всеми парами вершин. Его временная сложность составляет O(n^3), что делает его менее эффективным для очень больших графов, но он может быть выгодным для плотных графов с небольшим числом вершин.

Практика

Для закрепления темы вы можете порешать задачи на алгоритм Дейкстры на acmp.ru:

• 132. Алгоритм Дейкстры
• 1381. Алгоритм Дейкстры-2
• 1383. Дейкстра за O(M log N)
  
• 133. Заправки
• 134. Автобусы
• 1382. Транспортировка
• 469. Химическая тревога
• 1384. Защищенное соединение

Кстати, Kata Academy набирает студентов на обучение JavaScript. Это отличная возможность, так как вы не платите за обучение, пока не устроитесь Javascript-разработчиком! Подробности здесь → Курс по JavaScript-разработке от Kata Academy.

Теорема Пифагора

Начнём с простенькой формулы. Известная всем со школьной скамьи теорема, которая гласит: квадрат гипотенузы равен сумме квадратов катетов в прямоугольном треугольнике. Она широко используется в инженерии (например, архитектуре), физике и информатике.

Возьмем c как длину гипотенузы, а a и b — длины катетов. Получаем запись a^2 + b^2 = c^2.

Логарифмы

С логарифмами сталкивались все в старших классах школы — эта функция возведения в степень, только наоборот: у нас есть возведённое в степень число, и мы хотим узнать, в какую степень нужно возвести основание.

Звучит определение логарифма примерно так: результат логарифма по основанию a от b будет являться такое число c, для которого справедливо a^c = b. Логарифмы, которые записываются без основания как log(x) — натуральные, то есть в его основание будет константа e.

Сможете реализовать функцию, которая бы проверяла достоверность log(xy)=log(x)+log(y)?

Математический анализ

f'(x)=lim(h→0)h

Теперь пример посложнее. Перед вами уравнение определения производной. Сможете реализовать код, который бы аппроксимировал бы производную функцию в заданной точке, вычисляя наклон секущей линии через две точки функции? При условии, что эти две точки находятся очень близко друг к другу.

Функция derivative() аппроксимирует производную функцию f в точке x. На выходе в примере мы получаем наклон касательной к f(x) = x^2 при заданном x=3. А поскольку производная для квадратичной функции от x всегда равна 2x, мы ожидаем, что скрипт выдаст ответ 6. В реальности, реализованная функция должна выдать очень близкий к нашему значению результат.

Универсальный закон всемирного тяготения Ньютона

Закон сформулирован следующим образом: сила притяжения прямо пропорциональна произведению их масс и обратно пропорциональна квадрату расстояния между их центрами. Для

• F — вычисляемая сила притяжения;
• G — гравитационная постоянная (6,674 * 10^(-11) Н(м^2)/кг^2);
• m1 и m2 — масса двух объектов;
• r — расстояние между центрами двух масс;

будет справедлива запись F=G(m1*m2/r^2).

Комплексные числа

Комплексные числа вселяли в нас ужас — i^2 = -1. Между тем, они часто используются для решения полиномиальных уравнений (то есть таких, в которых используются многочлены типа x^2=x^3).

Комплексные числа упрощают анализ электрических цепей, облегчают описание квантовой механики и играют ключевую роль в обработке сигналов.

Реализация комплексных чисел на JavaScript предполагает создание структуры для обработки как действительной, так и мнимой частей комплексных чисел, поскольку JavaScript изначально не поддерживает комплексные числа.

В нашем примере мы создаём мнимую единицу i в виде комплексного числа с 0 действительной частью и 1 в качестве мнимой, затем возводим i в квадрат чтобы доказать, что результатом будет -1.

Нормальное распределение

Основополагающая формула в статистике и теории вероятностей. Она описывает разброс данных вокруг среднего значения.

Теорема утверждает: сумма многих независимых случайных величин будет приблизительно соответствовать нормальному распределению. Приведенное выше уравнение представляет функцию плотности вероятности нормального распределения, где:

• x — переменная;
• μ — среднее значение распределения;
• σ — стандартное отклонение распределения;
• e — основа натурального логарифма (~2.71828);
• π приблизительно равно 3.14159.

Сможете написать функцию для вычисления математического ожидания для заданного x?

Уравнение Шрёдингера

Возьмём формулу из квантовой механики. Уравнение Шрёдингера описывает, как квантовое состояние физической системы изменяется со временем. Уравнение предоставляет способ вычисления амплитуды вероятности положения и импульса частиц, позволяя предсказывать множество физических свойств и явлений, таких как уровни энергии, структуры связей и поведение электронов в атомах.

Реализация этого уравнения на JavaScript, определенно, выходит за рамки простых функций языка. Сможете с ним справиться? Мы не справились, поэтому приводим концептуальное решение.

Делитесь в комментариях, какие хитрые формулы вы ещё знаете. А если приложите код — то мы обязательно дополним материал вашим примером.

Интересуетесь новыми возможностями и языками программирования? Возможно, позиция SRE-инженера в Deckhouse, компании Флант, станет для вас отличным шансом применить свои знания на практике и участвовать в разработке инновационных проектов.

Ниже — транскрибация ролика, дополненная ссылками.

Шесть лет назад я, Виндертон, будучи в состоянии аффекта, выкладываю вот этот вот ролик, который посмотрело уже больше 100 тысяч человек: «Техническая литература для программистов». Чтобы сэкономить вам 10 минут вашего времени, там были показаны вот эти вот книги.

Вопросов нет. Кнут — это классный автор с крутыми материалами. На кто его потянется со всей этой математикой, если даже вот эти челы не тянут, а конкретно тот, что с бородой — Шон Магресс. Тадембаум — та же самая история. Классный материал, но настолько сложное задание, что порой вгоняет в депрессию. Корман заставляет писать вас вообще деревья с нуля без примеров.

Поэтому, если вы хотите освоить основу программирования, влиться в компьютер-сайенс, или вам просто нужны хорошие книжки по программированию, то за следующие несколько минут я на вас вывалю все то, что есть на 2022 год, дам по каждой комментарии, рекомендации и антирекомендации. Грубо говоря, мы сейчас сделаем с вами выборку.

Ну а мы разбиваем видео на три части:

1. Введение в программирование и ядро computer science.
2. Моя библиотека. GameDev, прочее.
3. Языки программирования.

Введение и основы computer science

«Внутри машины», или как работает ваш компьютер, у нас это называется еще «архитектура ЭВМ». Как устроен процессор, память и вся организация железа. Если у вас нулевой бэкграунд, вам нравятся картинки и тоненькие книжки (~300 страниц), то это то, с чего вам точно стоит начать.

«Введение в компьютерные системы». Тут автор начинает буквально с того, почему процессор делается из кремния, потому что они сами делали процессоры из кремния. И проходится по всему абстракционному стеку, начиная от железа, через периферию, BIOS, операционную систему, ассемблер, язык программирования C, пишут на нем потом программы и покажут, как это дело все между собой связано, взаимодействует в очень интерактивной манере.

«Код» Петцольда. Эта книга, как и первая, тоже для полных новичков, без бэкграунда в сфере. Там рассказывается про то, что такое железо, операционная система, компиляторы, языки программирования, как это дело все между собой взаимодействует. Если вам когда-нибудь было интересно, почему компьютер именно такой, а программы пишутся именно так, то Петцольд в очень простой манере за 400 страниц вам об этом простенько расскажет.

Если вдруг по каким-то причинам вы эти книги не найдете или вам их будет мало, то вот еще две.

Первое — это «Теоретический минимум по Computer Science». Уровень подачи тут не дотягивает до предыдущих трёх, он немножко мудрёнее и сложнее, но тут реально покрывается весь тот компьютер-сайенс необходимый, который вам нужен, и в книге всего 150-200 страниц.

Единственный минус, который связан у меня с этой книгой — она вся развалилась пока я её читал.

«Computer Science: an Overview». Эта книга реально местами довольно часто очень сложная. То есть, если вы не знаете, что такое транзистор, а там об этом узнаете, то вы вряд ли поймете, что такое транзистор.

Но, (а) эта книга реально походится по всему курсу Computer Science, где говорят даже про базы данных и графику, и, (б) там копают чуть глубже, чем в этой, этой или этой. Поэтому, если у вас есть хоть немного опыта программирования, то смело берите эту книгу и изучите Computer Science.

Алгоритмы и структуры данных

Как вы все знаете, это Корман и Седжик.

Но Корман — это очень много математики прямо с первых страниц, а Седжик — это Java, которая, ну, не особо всем нравится.

Но нам везет, и со временем появляются реально годные альтернативы. И одна из них — это Grokking Algorithms. Я о ней узнал года три назад, и года два назад полностью заменил ею Кормана в менторинге. Книгу написал очередной гений, который программирует с двух лет и продает свои первые игры чуть ли не в 10 лет. Но она реально написана простым языком, и хочу сделать небольшую ремарку, если будете читать перевод. В переводах есть ошибки, поэтому просто будьте осторожны и всегда рекомендую только оригинал.

Операционные системы

Для меня это был и остается Томас Андерсон с вот этой вот книжкой, потому что книги Тененбаума более сухие, наверное, и выше по уровню сложности. Поэтому, если вы понимаете, что написано в этой книге, можете перейти к Тененбауму, но не Вайзверсу.

Тут, наверное, есть какой-то баланс, она не слишком глубокая и не слишком поверхностная.

Также мне нравится вот эта книжка, она супер просроченная, я давным-давно ее купил, но если вы хотите знать, как работает Unix, и вам нужен туториал, как написать свой Unix, то это как раз-таки то, и не важно, что ей 200 с лишним лет.

Компиляторы и дизайн языков

Книгу с драконом сразу отсюда убираем, потому что она, ну, прям слишком сложная.

Берем сюда Николаса Вирза, 150 страниц, и добавляем сюда Нистерна с его Crafting Interpreters. Кстати, Нистерн — это тот самый чел, который делал паттерны для геймдева, которые являются чуть ли не аналогом Банды Четырех.

Software development

Clean Code, Code Complete и так далее — ребят, это классные книги, не поймите меня неправильно, они написаны лучшими из нас, но читать их нужно только тогда, когда вы имеете уже от двух до трех лет опыта в программировании. Они учат вас, как делать правильно, и вы, скорее всего, не поймете, как делать правильно, если вы сначала не поделаете неправильно. Тут нереально учиться на чужих ошибках. Рекомендую читать только тогда, когда у вас будет пару пэт-проектов и два-три года опыта в программировании в целом.

Касаемо ООП, все советуют «Банду Четырёх», которая прилично так всем уже надоела.

А я посоветую вам вот эту книгу, которая, на мой взгляд, будет лучше. Единственный момент, то, что там С++, но его там на самом деле почти нет. Не пугайтесь.

Моя библиотека, GameDev, прочее

Джейсон Грегори — это автор, который написал Uncharted и, соответственно, эту книгу. У него супер-обширные познания в игровых движках как минимум и как максимум в производстве игр. В моменте этот человек решает написать вот эту вот книгу, которая уже третье издание. Отличная подача материала, углубление в самый раз, максимально широченный охват тем. И вот, например, то, что делает тот же самый Ян Черников — это процентов 20-30 вот от этой вот как раз книги. Чаще всего я читаю именно её.

Опять же, Андерсон «Операционки». Тут лучшее объяснение виртуальной памяти, на мой взгляд. Книга по введению в CS и программирование. Просто всем советую. Конечно же, Корман со своей бандой. Они тут явно борщат с математикой, но, может быть, это просто я тупой [здесь не даются ссылки на книги т.к. автор повторяет их из первого раздела, — прим.редактора].

Не особо классная книга по C++, но как референс или подставка для монитора вполне сходит.

Ещё одна классная книга — это Game Coding Complete. Сложные темы рассказывают достаточно простым языком. И именно отсюда я узнал, что такое анимация и как они работают.

Конечно же «Си» Кернигана и Ричи, но я не советую, если у вас с психикой не все в порядке.

Ассембль от Apress, чтобы хоть какое-то понимание было, что это такое, как на него смотреть вообще<...>

Языки программирования

Python

Тут идёт, конечно же, Лутц с его громким именем. Книжка прям для суперновичков, и Лутц, самое главное, не страдает болезнью. Вот это вы пока не понимаете, но через 10 страниц я вам это объясню. Нет, он как в бакалее: всё сразу по полочкам вам раскладывает, и вы перелистываете страницу за страницей, с приятным чувством, что вы все понимаете, вы весь такой вообще умный и сообразительный.

Еще одна книга на уровне этой — «Краш-курс Питона», которая была написана тоже автором, у которого куча классных книг по питону. Он программирует с 5 лет и пишет полжизни книги. Отличие от Лутца в том, что эта книга подходит как и начинающим, так и типам с опытом, поэтому читать ее реально не скучно.

Еще одна классная книга и классный автор — это Дэвид Бизли с его «Python Cookbook». Вообще, Дэвид Бизли — это бывший С-шник, который полжизни пишет на C и в моменте решает преподавать Python. И расскажет про всякие супер интересные и занимательные штуки по типу, почему на Python нельзя программировать многопоточные приложения, почему на нем нельзя программировать мобильные приложения. И у него еще есть всякие видео на YouTube, где он показывает всякие хаки с Python. Поэтому Python Cookbook, если уже знаете основу, то там вас научат расширять даже питоновский интерпретатор.

C

Тут сразу запомните одно. Никогда не читайте книгу Learn C the Hard Way, потому что там автор сразу видно, что не знает, о чем говорит, и упрощает то, что упрощать не надо. У этой книги прям очень много хейта в интернете, как и у книг Шилта, который классно знает Java, но не знает C++ и C, или как минимум не умеет их преподавать.

Волк в овечьей шкуре или Брайан Керниган и Денис Ричи и C, второе издание. Книгу рекомендуют до сих пор изучать по C, но на самом деле там есть куча проблем. Во-первых, это то, что эта книга подразумевает то, что вы уже знаете компьютер-сайенс, как работает вообще все, начиная от железа и вплоть до операционных систем. Во-вторых, то, что она по факту страниц 250, хотел сказать, она по факту 2500, и там нет такого понятия, как best practices, то есть книги 100 лет, и там просто не знали, что такое хорошо, а что такое плохо. Поэтому не рекомендую, если вы не понимаете компьютер-сайенс.

Beginning C. Книга от Apress, которая, как вы видели, у меня уже есть x86 Assembly. Классная книга, классное издательство. Фишка этой книги то, что там рассказывают про C99, про C11, про многопоточность в C.

Эта книга отлично работает как туториал, как референс, как подставка. И там много всяких работающих маленьких программулек на C.

И напоследок, хочу скачать что мне запомнилась, вот эта книга, которая называется Expert C. Она была написана челами, которые классно знают и разбираются в интерпретаторах и работают в САН.

C++

Конкретно от меня, у меня Primer Plus, которая не лучшая из этих книг, но мне хватило ее как референса [автор упоминал её ранее, — прим.редактора].

Мне также очень нравятся книги Скотта Майер Effective C++, которые нравятся вообще всем.

Плюс я почитываю вот эти вот две книги по метапрограммированию, не самые хорошие, но выбора просто нет никакого.

Само собой, многопоточность и C++ Concurrency in Action, потому что также нет никакого выбора. Ну и само собой, Александр Эску, которого почитывать нужно как минимум для того, чтобы видеть, как делать не надо, а это всегда в C++ интересно посмотреть.

Java

Джава за один день, всем советую, конечно же, шучу, это полная фигня. Всегда избегайте этих книг, каких бы отзывов вы там не видели, потому что это чушь собачья, а не книги. Простите, авторы.

А вот книга Шилда Java Complete Reference, последний, который я читал, шестой и седьмой, мне всегда нравились, потому что простая подача, и они очень похожи на GLS. Наверное, даже проще. Да и вообще, у Шилда читать, мне кажется, можно всё, что угодно, потому что он как бы папа джавы.

Конечно же, как только вы знаете джаву-основу, это Джошуа Блок с ее Effective Java, это аналог Скотта Майера с Effective C++. На моей первой работе на Java, когда я пришел и сказал своему тимлиду, что я читаю Effective Java, он мне говорит, блин, это классная книга, я там дженерики сейчас изучаю. А я стоял в этот момент и думал, что, блин, я ее тоже уже читаю. Было очень приятное чувство, но меня тогда, типа, я так и остался работать джуном, а он так и остался работать тимлидом. Ничего не поменялось. В этой книге реально много практик использования джава в реальном продакшене, поэтому, если знаете основу, смело ее рекомендую.

Java Concurrency in Practice. То есть Java — это исключение, это многопоточность, это OOП. Такие книги, как Java Concurrency in Practice, показывают вам, как использовать ту же самую многопоточность, ее неотъемлемую часть. А такие книги, как Хедферст или какой-нибудь Шилдт, показывают вам, что такое Java Core. Также на уровне с Шилдтом есть тип, которого зовут Кей Хорсман. У него много всяких книг по типу «Как работать с синхронизацией» или «Ближележащие топики». То есть какой-то Advanced Java. Поэтому советую присмотреться тоже.

C#

Пусть Рихтера читают, пусть больше ничего не читают.

Javascript

Симпсон «Вы не знаете JavaScript». Неоднократно слышал про эти книги от классных JS-ников, потому что там много всяких how-to, то есть как работает это, как работает это, почему не работает это.

Советовать Фленнегана или Дугласа Кроуфорда, который хотел назвать JavaScript C++++ я не буду, потому что, если бы вы хотели читать книги, вы бы, наверное, изучали C++. Все-таки JavaScript — это попробовать, потыкать и поучиться на практике.

Assembly

Я покупал себе вот эту книгу и ни разу в ней не разочаровался. Возможно, потому что я прочитал ее только процентов на 30, но какая разница. Наверное, будет хороший вопрос, если вы скажете, зачем мне вообще ассембли в 2022 году. Да, он вам не нужен, вы на нем писать ничего точно не будете, но если вы пишете на плюсах, то чтение ассембли во время дебаггинга, что занимает большую часть вообще времени в программировании, как минимум на C++, как минимум у меня, понимать ассембли хотя бы нужно, поэтому такая вот книга в этом отлично помогает.

Еще есть вот такая вот книга, но она прям суперпростая, поэтому я бы рекомендовал читать сразу вот эту.

Читайте также: Как стать программистом с нуля — полный гайд, Что знать бэкендеру в 2024 году.

Тест состоит из 10 вопросов, каждый из которых имеет 4 варианта ответа. Только один из ответов является верным. Выберите вариант, который вы считаете правильным, и отметьте его.

Удачи!

Kaggle — самая известная в мире платформа для специалистов по Data Science. Она выросла в комьюнити, которое объединило в себе опытных и начинающих исследователей в области анализа данных и машинного обучения.

Платформа была запущена в апреле 2010 года как площадка для проведения соревнований по машинному обучению, но сегодня это уже целая экосистема с более чем 16 млн зарегистрированных пользователей. Сейчас на Kaggle можно проходить курсы по AI, пользоваться облачными ресурсами для решения задач, общаться со специалистами по всему миру, искать работу и, конечно же, участвовать в соревнованиях. В 2017 году Google купила платформу Kaggle, усилив позиции в сообществе исследователей по искусственному интеллекту, а также в борьбе за лучших специалистов на рынке.

Основное предназначение платформы в том, что на ней проводятся различные хакатоны и соревнования от крупных компаний, таких как Google, Amazon, Facebook, Microsoft, Baidu и других, по результатам которых участники получают очки и формируется мировой рейтинг лучших профессионалов в области машинного обучения.

В среднем одно соревнование идёт два-три месяца, в течение которых участники могут загружать свои решения в систему.

Всего на платформе проведено уже более 300 соревнований. Каждое представляет собой актуальную задачу машинного обучения от компании, например, решение задачи кредитного скоринга — необходимо обучить систему принимать решения по кредитным заявкам банка на основе данных клиента (возраст, пол, образование, стаж работы, анкетные данные и других). Или, например, обучить модель компьютерного зрения, которая распознаёт одинаковые достопримечательности на различных фотографиях. Или как можно точнее предсказать цену продажи объектов недвижимости по их описанию и фото.

В каждой из задач есть определённая метрика, по которой оценивается точность решения и формируется лидерборд участников. Качество решений участников проверяется на закрытом наборе данных — это гарантирует максимально честную оценку.

Также каждое соревнование имеет призовой фонд, в среднем это 30-50 тысяч долларов, но были и несколько соревнований с призовыми в 1.2 млн и 1.5 млн долларов. То есть можно успешно решить соревнование, купить себе яхту и отправиться в кругосветное путешествие. Но, конечно, никто не решает соревнования только ради денег, это скорее приятный бонус.

Составляющие успеха на Kaggle

Хороший бэкграунд

Я учился в физико-математическом лицее 131 в Казани. В школе увлекался олимпиадами по математике и физике, а летом выезжал на смены в летние физмат школы. Мне в какой-то степени повезло, что у меня появилась такая сильная техническая база.

В таких точных науках, как математика, физика и программирование, короткая и однозначная цепочка обратной связи. Ты решил задачку и моментально понимаешь, что молодец. Тебя не должен оценивать кто-то извне, как в гуманитарных науках, художке или музыке. Плюс достаточно легко перейти с одного уровня сложности на следующий. Думаю, этим мне и нравится математика, поэтому после окончания школы я с большим удовольствием преподавал её в Физтех-школе в группах для школьников. Было приятно видеть, как ребята учатся решать всё более сложные задачи и получают удовольствие от этого процесса. Уже в аспирантуре я узнал, что это называется зоной ближайшего развития.

После лицея поступил на факультет Робототехники и Комплексной Автоматизации МГТУ им. Н. Э. Баумана, который закончил с отличием. Но думаю, всё-таки кругозор в IT хорошенько меня ударил на двухгодичной программе Технопарка от Mail.Ru Group. Это дополнительная программа обучения для студентов Бауманки по направлению веб-разработки, где молодые заряженные специалисты компании читают лекции по разным предметам: углублённое программирование на C/С++, алгоритмы и структуры данных, разработка веб-сервисов, мобильная разработка, безопасность интернет-приложений, тестирование, управление проектом и другим.

Преподаватели были действительно очень крутыми. Например, по безопасности Ярослав Рабоволюк, CIO Mail.Ru Group, мог на занятии открыть любой сайт, рассказать обо всех его уязвимостях и как с ними работать. Самым ценным опытом были групповые проекты на трех-четырех человек после каждого предмета. Это позволило реализовать достаточно много интересных практических проектов и научиться работать в команде. Сейчас аналогичные программы обучения от VK (ранее Mail.Ru Group) запущены в ведущих технических университетах: МФТИ, МГУ, МИФИ и ИТМО.

На последнем курсе магистратуры встал вопрос выбора задачи для диссертации. Посмотрев онлайн-лекции по анализу данных от ШАДа (Школы анализа данных от Яндекса) в 2012 году, наткнулся на задачу кредитного скоринга в банках, которой и решил заниматься в рамках дипломной работы и в аспирантуре.

Дальше всё было как в тумане: прошёл чуть ли не все курсы по машинному обучению на Coursera. На одном финальном проекте было решение задачи на Kaggle по предсказанию победителя онлайн-игры Dota 2. Я неплохо справился с задачей, занял 39-е место по точности решения из 810 участников курса. Впервые узнал о Kaggle и ощутил, что это довольно увлекательно — соревноваться с другими участниками со всего мира в точности решения.

Меня уже было не остановить. Постепенно я набирался опыта на Kaggle-соревнованиях, программировал свои наработки по различным задачам на табличных данных, текстах и картинках. Суммарно я решил около 80+ задач. Самое успешное соревнование было по сегментации данных на изображениях (необходимо было автоматизировать процесс идентификации ядер клеток, что позволит проводить более эффективное тестирование лекарств, сокращая 10 лет, которые требуются для выхода каждого нового препарата на рынок), во время которого я валялся дома со сломанной ногой (во время прыжка с парашютом не раскрылся парашют) и мог уделить много времени задаче на Kaggle.

Думаю, в первую очередь сильный бэкграунд по математике и программированию помогал мне в дальнейшем быстро погружаться в различные задачи машинного обучения, разбираться в подходах решения, необходимых алгоритмах. Это не исчерпывающий список, поэтому хотел бы выделить ещё некоторые основные моменты.

Удовольствие от процесса

Главным фактором успеха на Kaggle, конечно, считаю то, что я получал удовольствие от участия в соревнованиях. Мне действительно было интересно заниматься решением новых и сложных задач.

Помню, на хакатоне в Сан-Франциско, мы с командой заняли пятое место среди квалифицированных команд. Второе место заняла команда из Google Brain (одно из исследовательских подразделений Google), это была группа из пяти китайцев. После хакатона мне удалось немного пообщаться с ребятами. В конце беседы я уточнил у них, собираются ли они на афтерпати хакатона в бар неподалёку. На что мне ответили, что не пойдут, а планируют разобрать командой своё финальное решение и решения победителей.

Думаю, именно благодаря такому подходу эти ребята и оказались выше нас по результатам. «Вот это уровень интереса!», — подумал я и убежал на афтерпати 🙂

Достаточное количество времени

Каждое соревнование имеет дедлайн, одно соревнование в среднем проходит 2-3 месяца.

В день можно отправить до пяти сабмитов. Если какой-то день вы пропускаете, то теряете возможность протестировать свои решения и идеи. Поэтому, как только у меня выдавалась свободная минута, я программировал, старался побыстрее протестировать и как можно чаще отправлять свои решения. Параллельно идут несколько соревнований, то есть вам необходимо решать несколько задач одновременно на определённых отрезках времени.

Уходило на это по несколько часов в день, два-три точно. В выходные я тратил больше времени. Обычно мой день выглядел так: до вечера был на работе, приходил домой, открывал Kaggle и решал соревнования. Порой я не замечал хода времени, мне искренне нравилось находить новые подходы и улучшать свои текущие решения. В последние дни соревнований я увлекался и засиживался до самого дедлайна — до 3 ночи (11:59 PM UTC). Конечно, я не решал всё, что публикуется на платформе, но думаю, большую часть в этот период всё-таки решил. Я брал ноутбук с собой в отпуск и старался находить время и на Kaggle. Мне понадобилось около 2-3 лет, чтобы подняться до 68-го места.

Командная работа

Большую часть соревнований выигрывают команды. И немудрено: когда несколько участников объединяют свои идеи, финальное решение будет более качественным и точным.

К тому же вы можете чему-то научиться у своих тиммейтов, понять их идеи, узнать, какими инструментами они пользуются и как организуют свою работу над проектом.

В этом я не сильно преуспел, только 5 из 87 (6%) соревнований я решал в командах. Думаю, если бы я чаще объединялся с другими участниками, результаты были бы выше.

Вычислительное железо

Все задачи на Kaggle вычислительно сложные. Платформа предоставляет мощности, но для быстрой проверки гипотез и идей их бывает недостаточно. Понимая, что без своего девбокса соревноваться за высокие места намного сложнее, я купил сервер с четырьмя видеокартами NVIDIA GeForce GTX 1080 Ti 11Gb, 64 ядрами и оперативной памятью на 128 ГБ за 300 000 рублей. И думаю, это было одним из самых удачных вложений в моей жизни. Сервер позволял относительно дёшево, минуя аренду облачных сервисов, делать вычисления, усиленно нагревать квартиру летом и зимой и относительно быстро обучать модели. Но мне все равно было сложно конкурировать с участниками из больших ИТ-корпораций, у которых в компаниях были вычислительные ресурсы в десятки, а то и сотни раз мощнее.

Сегодня Kaggle старается делать соревнования доступнее для участников, у которых нет возможности доступа к большим вычислительным ресурсам. Главный критерий — решения должны запускаться в Kaggle Kernels. Поэтому для таких облачных вычислений будет достаточно обычного ноутбука.

Упорство и целеустремлённость

Когда решения выстреливают, ты поднимаешься на лидерборде участников соревнования, занимаешь призовые места, это сильно мотивирует.

Но стоит помнить, что в анализе данных или машинном обучении много неудач. Ты постоянно тестируешь различные идеи решений, и не все из них приводят к результату. Помню, как в одном из соревнований от Zillow по предсказанию цены продажи недвижимости по описанию и фото, которое длилось целый год, участвовала команда, которая тратила на аренду облачных серверов около 10 тысяч долларов в месяц, и в конце не заняла призового места.

Главное здесь — не опускать руки, если что-то не получается, продолжать набираться опыта и находить новые решения.

Ключевые выводы

Считаю, что успех в построении AI карьеры обеспечивает следующая комбинация:

1. фундаментальное образование в области математики, физики или компьютерных наук;
2. хорошие навыки программирования (Python);
3. умение работать с базами данных (SQL);
4. знание AI, традиционных алгоритмов ML, CV, NLP, RL.

В Data Science решения создаются на Python. У языка простой синтаксис, который легко изучить, даже если раньше вы на нем не писали. Особенно если у вас есть опыт разработки на других более низкоуровневых языках: C, C++. Также важно владеть различными инструментами по работе с данными. Ключевым здесь является язык SQL и особенности баз данных (Oracle, Postgres и др).

Плюсом будут знания конкретной предметной области. Если вы разбираетесь в финансах, вам будет проще решать, например, задачу кредитного скоринга. В дальнейшем это поможет ориентироваться и в понимании бизнеса.

Что даёт Kaggle

Разнообразный и уникальный опыт

Уникальность платформы Kaggle в том, что у вас появляется возможность решить наиболее актуальные задачи крупных компаний. Например, во время новогодних каникул я смог весьма неплохо решить соревнование от Baidu по 6D позиционированию автомобилей по фотографиям, сделанным с камер беспилотников. Получил серебро и приглашение в VK (ранее Mail.Ru Group) на митап, чтобы рассказать о своём решении.

Или, например, решал задачи по распознаванию рака на медицинских снимках, кораблей на спутниковых снимках и много других.

В итоге ты становишься специалистом в области беспилотного транспорта, распознавания медицинских изображений, спутниковых снимков, вопросно-ответных систем и множества других направлений AI.

На Kaggle можно решать задачи кредитного скоринга для крупного банка и параллельно помогать физикам-исследователям CERN найти траекторию движения частиц в адронном коллайдере, предсказывать победителя в Dota 2 и вместе с океанологами определять вид китов по фотографиям плавников. Вы можете построить оптимальный маршрут для Санта-Клауса, чтобы тот раздал как можно больше подарков. Или, например, я впервые узнал, что позиционирование объектов в задачах беспилотного транспорта происходит по 6 координатам (Х, Y, Z и углы поворота по трём осям). Это безграничное поле для развития и возможностей по обучению.

На KaggleDays в Дубай перед нами однажды стояла задача от полиции Дубая спрогнозировать на карте города районы, где могут произойти преступления. Нам выдали исторические данные по разным происшествиям (кражи, хищения, криптоинциденты): координаты, время и дату. А также статистику по погодным условиям, температуре, окружению в городе. Нужно было построить модель, которая будет прогнозировать области и время с потенциальными преступлениями.

Когда на работе вам попадётся похожая задача, вы сразу понимаете, какие алгоритмы использовать и какую модель построить. Сейчас, когда я сталкиваюсь с задачами на изображениях и видео, или работаю с текстами, или с табличными данными — намного быстрее понимаю, какие подходы применимы в решении этих задач и как создать более качественное решение, и в короткие сроки могу собрать MVP благодаря опыту, который получил на Kaggle.

Связи и потенциальных работодателей

Kaggle — огромное комьюнити людей со схожими ценностями, я бы сказал с одним ДНК.

Благодаря успешному выступлению на платформе, в один день я получил приглашение от Google на ежегодную конференцию Google Next19 в Сан-Франциско, где параллельно с конференцией проходил хакатон KaggleDays. В одной команде со мной были вице-президент технологической компании в Калифорнии и аспирант UCLA. Мы прогнозировали, пройдёт ли деталь автомобиля краш-тест на заводе. Среди квалифицировавшихся команд, участвовавших в хакатоне, заняли пятое место.

На конференции можно было вживую увидеть выступление Сундара Пичаи или, например, лично познакомиться с Винтоном Серфом, вице-президентом компании Google, одним из создателей интернета, участником группы DARPA. Удивительно, конечно, какая открытая культура общения на таких ИТ-мероприятиях мирового уровня. Афтерпати конференции проходил на огромном стадионе Oracle Park (домашняя арена команды San Francisco Giants) с выступлением Гвен Стефани.

Высокий рейтинг на платформе помогает легко устанавливать контакты со многими известными участниками Kaggle, у вас появляется огромное количество друзей по всему миру. Люди сразу понимают, что вы «свой» и вам можно доверять.

Если вы находитесь даже в топ-200 или топ-300 рейтинга на Kaggle, вам начинают регулярно поступать предложения о работе от крупных технологических компаний и амбициозных стартапов. Например, знаю, что большая концентрация людей с высоким рейтингом на платформе работают в NVIDIA или успешном стартапе H2O.ai.

В России при трудоустройстве в любую ИТ-компанию по ML и DS направлениям рейтинг Kaggle будет несомненным плюсом. Если вас собеседует опытный специалист, будьте уверены, он по достоинству оценит ваши навыки, полученные на Kaggle.

Подытожим

Чтобы достичь успеха на Kaggle, нужно уверенно владеть математикой и программированием, уметь себя дисциплинировать и не сдаваться при неудачах, а также много и упорно решать сложные задачи, не теряя мотивацию. Важно получать удовольствие от этого процесса. Не стесняться обмениваться опытом с другими специалистами — так вы не только получите ответ на свой вопрос, но и обзаведётесь полезными связями. Со многими ребятами с Kaggle мы общаемся и сегодня.

В итоге вы получите практический опыт, который сможете применить в своей работе, добавить в резюме, и, возможно, именно он поможет вам найти работу мечты.

Кроме того, исследования показывают, что 68% данных, которые компании уже собирают, не используются или не приносят никакой ценности. При этом, если бизнес качественно работает с данными, используя эффективные и масштабируемые инструменты, то он скорее всего сможет выжать из них полезную информацию для развития и высвободить ресурсы ценных специалистов, перенаправив их на важные направления.

Рассмотрим пару отраслевых примеров.

В мобильной игровой индустрии опыт пользователей и успех развития проекта напрямую зависит от быстрой реакции на события. Как аудитория ведет себя в игре, какие ситуации возникают между пользователями, как они реагируют на встроенные покупки — все это большие массивы данных. Их обработка даже в пределах одной игровой сессии требует специальной инфраструктуры, профильных специалистов и математических алгоритмов. Если команда не обрабатывает эти данные и не использует их вовремя, проект может быстро упустить рыночное преимущество, потерять игроков и деньги.

В игровой индустрии также есть уникальный пример выхода в физическое пространство — и в случае с AR- или VR-играми командам приходится работать с движением человека в пространстве, для чего нужны сложнейшие технологические системы и моментальная скорость их реакции.

Другой пример — промышленные компании, которые традиционно более консервативны и также проходят через цифровую трансформацию. Производственные предприятия активно ищут сценарии использования больших данных. При этом им не так важна скорость реакции системы на события, если говорить о секундах и миллисекундах, как корректность этой реакции.

Сбор данных с датчиков на заводских станках и оборудовании позволяет предугадывать поломки и своевременно их устранять, и, соответственно, минимизировать потери и сократить издержки на простой производственный мощностей. Технические команды должны прорабатывать множество сложных сценариев и сразу учитывать все возможные варианты развития событий.

Таким образом, данные могут работать в любой сфере бизнеса, если их собирают быстро, хранят надежно и анализируют точно. На каждом этапе важно планировать вычислительные и человеческие ресурсы под разные сценарии нагрузки. Процесс отладки системы во время ее работы обходится бизнесу значительно дороже, чем предварительное тестирование сценариев и соразмерные инвестиции в них. Это касается всех участников процесса. Если система работает недостаточно стабильно, это может привести к простою и отразиться на всем бизнесе.

Правильно выбранный арсенал инструментов критичен для будущего системы. Если двадцать лет назад это было сложно, сегодня есть выбор доступных инструментов и накопленный опыт в разработке собственных. Мы, например, в VK сначала для собственных задач создали in-memory платформу Tarantool. С ее помощью можно разрабатывать высоконагруженные системы хранения и обработки данных. По мере развития продукта мы вывели его в открытый доступ (open source).

Мы с большим интересом наблюдаем, как пользователи ищут и находят новые применения технологии. Например, при расширении собственных систем обработки данных, когда нужно легковесное решение для адаптации двух систем друг ко другу. Это особенно актуально в условиях сегодняшнего мира, когда новые системы обработки данных сталкиваются со сложными системами, которые разрабатывались давно.

Параметры систем хранения и обработки данных — на что обращать внимание?

Если говорить про данные, поддерживающие бизнес-процессы компании, то при разработке систем важно в первую очередь обращать внимание на следующие параметры:

Безопасность

Безопасность и надежность работы с данными — важнейший показатель по дефолту. При разработке и развитии инфраструктуры критически важно обеспечить безопасное физическое и виртуальное хранение данных, а также их целостность — в этом может помочь резервное копирование, чтобы даже при сбоях информация не была потеряна. Все операции с данными должны соблюдать законодательство той страны, где работает компания. Пользователь может простить задержку ответа или транзакции, но потеря данных может стать серьезным ущербом для репутации.

Масштабирование

Для того чтобы система была отказоустойчивой, важно постоянно проводить нагрузочное тестирование. В лучшем случае при росте нагрузки сервисы могут грузиться дольше, в худшем — инфраструктура выйдет из строя или потеряет данные пользователей.

Качественная проработка предполагает, что архитекторы вместе с командой эксплуатации должны изучать, где может возникнуть бутылочное горлышко. Например, если в день запуска мобильной игры на рынок она быстро станет популярной, и инфраструктура к этому не готова, задержка в ответе приведет к оттоку пользователей уже на старте.

Также любопытен подход управления хаосом (Chaos Engineering). С усложнением систем становится труднее понять, как отдельные компоненты будут реагировать на стрессы.

Chaos engineering — это методика, которая позволяет спроектировать последовательность стрессовых для систем событий, с уже разработанными инструментами. Например, если система размещена в облаке, можно быстро проверить, как база данных реагирует на неожиданные всплески нагрузки на центральный процессор (CPU) в условиях резкого роста запросов из внешних систем, и внести изменения в кодовую базу, процессы и регламенты восстановления.

Экономический аспект

Экономика и пользовательский опыт идут рука об руку с компромиссом — команды архитекторов и развития бизнеса должны согласовать уровень сервиса, который учитывает время ответа системы и допустимые финансовые издержки. Важно постоянно тестировать гипотезы: сколько выделено ресурсов, как они должны работать и масштабироваться. Если в день анонса игры в приложение зашли тысячи пользователей, а команда включила автомасштабирование без тестирования, есть серьезный риск неоправданных затрат.

Для разработки инфраструктуры и управления ресурсами можно подключать облачные решения. В этом случае компания использует готовый сервис (PaaS — платформа как сервис), способный выдержать заданную нагрузку, и платит за те ресурсы, которые реально использовала.

Качественная инфраструктура для работы с данными — какая она

Работа инфраструктуры завязана на качественной архитектуре платформы данных. Она должна учитывать бизнесовые и технические требования к реакции на событие — будь это действие игрока или выключенный прибор в доме — и балансировать между скоростью и издержками. В какой-то момент даже минимальное улучшение показателей системы будет стоить слишком больших усилий и затрат. При этом данные должны трансформироваться в удобный инструмент для развития бизнеса.

Средний жизненный цикл данных состоит из четырех стадий. Рассмотрим их на примере промышленной турбины, по информации с датчиков которой можно понять, когда оборудование выйдет из строя.

1. Сбор

На первом этапе данные собираются. В случае с турбиной простые датчики только передают информацию. Более продвинутые решения могут принимать сигналы и управлять работой оборудования.

2. Передача

Шлюз, на который передаются данные, отправляет агрегированную информацию. Входящие сообщения попадают в очередь — часто для этого используют брокер сообщений Kafka — на другом конце находится приемник. Очередь нужна для отказоустойчивости и возможности масштабирования решения на несколько объектов.

3. Обработка и хранение

После того, как сообщение принято, его нужно обработать. На этом этапе важно понимать, в каком виде необходимо хранить данные. В случае турбины может быть полезно сохранить информацию о ее работе в архив, чтобы в любой момент была сделать ретроспективный анализ. Для этого в архитектуре необходимо ввести кластер баз данных для архивов и отдельно — СУБД для быстрого анализа и визуализации.

4. Визуализация

Это ключевой этап для бизнеса. Важно выбрать быстрый и масштабируемый инструмент, который можно кастомизировать под разные группы заказчиков аналитики внутри компании. Например, визуализацией для топ-менеджмента может быть динамически меняющаяся картинка турбины с проблемными зонами. Визуализация для инженера или аналитика должна быть более функциональной и управляемой, чтобы не приходилось каждый раз обращаться к сырым данным.

Строим платформу для работы с данными — какие специалисты нужны

Самое главное в любом технологическом проекте — люди, которые над ним работают. Профессиональная команда поможет выстроить эффективные процессы и минимизировать риски. При этом важно помнить, что работа с данными на всех уровнях — сложнейшая сфера, в которой стоит четко разделять зоны ответственности специалистов. Есть два подхода для формирования команды: в первом компания создает внутреннее направление и делает все сама, во втором — решает эти задачи с помощью вендоров и партнеров.

Внутреннюю команду стоит разделить на несколько стримов:

Архитекторы. В зависимости от сложности задач, это может быть один специалист или целая команда: enterprise-архитектор выстраивает взаимодействие систем в крупной компании; solution-архитектор прорабатывает конкретное решение, а application-архитектор — приложение; архитектор данных планирует, как данные будут работать внутри решения и интегрироваться с внешними системами; security-архитектор отвечает за проектирование безопасного периметра.

Команда бизнес-развития. Специалисты команды вырабатывают бизнес-требования к решению на основе вклада других команд.

Команда эксплуатации и тестирования. Тестировщики, инфраструктурные специалисты и специалисты техподдержки проверяет решение на работоспособность и производительность, собирают обратную связь от внутренних и внешних пользователей системы.

Команда разработчиков. Задача разработчиков — проанализировать вклад других команд, свести его к плану и дорожной карте продукта, донести обратную связь в виде технологической реализации.

Команда маркетинга и аналитики. Специалисты этих команд — связующее звено между пользователями и разработчиками, данными и обратной связью с рынка, что помогает постепенно улучшать решение.

В поддержке и развитии инфраструктуры должны постоянно участвовать все команды. Это важный фактор, который нужно учитывать в планировании — система должна периодически проходить стадии перепроектирования. Состав команды также зависит от технологического стека проекта. Если проект реализован с помощью решений без программного кода (no-code/ low-code подход) или использует Kubernetes, команды могут быть небольшими. Когда нужна постоянная кастомизация или разрабатываемая платформа должна стать основой для других решений, команда проекта может достигать десятков тысяч специалистов.

Содержать и развивать такой штат сотрудников может далеко не каждая компания. В этом случае можно найти партнеров. У них уже есть собственная команда, закрывающая основной блок задач, а также опыт развития аналогичных проектов.

Сроки и альтернативы — как быстро можно выйти с решением на рынок

Платформа для работы с данными состоит из интегрированных между собой инструментов для сбора, обработки, хранения, аналитики и визуализации данных.

• Источниками данных могут быть любые системы, которые собирают потенциально полезную для бизнеса информацию — ERP, CRM, реляционные базы данных, Saas-сервисы и т.д.
• В качестве инструментов для обработки данных чаще всего используют Apache Spark, Kafka, Airflow.
• Для хранения и анализа данных подходят in-memory платформа Tarantool, аналитические базы данных Greenplum, Clickhouse, Vertica, а также инструменты из экосистемы Hadoop.
• С задачей визуализации данных справляются BI-системы — Power BI, Qlik, Tableau, Apache Superset или их аналоги.

Срок построения современных платформ для работы с данными уникален для каждого бизнеса и отдельного проекта. Все зависит от требований компании, готовности архитектуры и команды, уровня проработки бизнес-модели и ожиданий от данных. Дополнительной сложностью может стать процесс согласования: чем больше бизнес, тем, как правило, дольше принимаются решения об изменениях. В крупных проектах согласование может занимать месяцы. Для того чтобы быстрее запустить инициативу, нужен высокий уровень проработки: сформированная команда, серьезный опыт, партнерство с зарекомендовавшим себя на рынке вендором и тд.

Если в основе инфраструктуры облачные решения, ситуация может быть обратной. В облачных проектах часто стадии тестирования и согласования сокращают до минимума, используя принцип получения быстрых инсайтов от ошибок. Кроме того, у облачных провайдеров уже есть готовые примеры архитектуры и большой опыт в индустрии. Это позволяет запустить некоторые проекты за месяц. Например, «Магнит», VK Cloud и Tarantool за два месяца запустили онлайн-доставку с помощью партнеров ритейлера и подключили к ней 400 магазинов сети.

Сегодня большая часть технологических проектов в области работы с данными может быть размещена в облачных сервисах. По данным исследования, которое мы провели в этом году, 46% компаний в России используют облачные решения для работы с такими проектами и 29% планируют переезд в облака в ближайшее время. Опыт вендора и модель оплаты за ресурсы по факту использования (Pay-as-You-Go) снимают риски и делает жизнь команды проекта проще. В дальнейшем такие проекты только продолжат набирать популярность, ведь количество данных растет, как и потребность в них, а инвестировать в новые физические ресурсы, масштабирование и обучение команды могут единицы компаний.

1. Сортировка пузырьком
2. Быстрая сортировка
3. Сортировка слиянием
4. Сортировка вставками
5. Сортировка выбором
6. Пирамидальная сортировка
7. Встроенные функции сортировки Java

Алгоритм сортировки пузырьком на Java

Сортировка пузырьком (Bubble Sort) — это один из наиболее известных алгоритмов, суть которого состоит в последовательном сравнении двух соседних элементов. В том случае, если предыдущий элемент больше последующего, они меняются местами.

Так выглядит сортировка пузырьком на Java:

Объяснение

Как видим из кода, метод bubbleSort() принимает массив в качестве входных данных для сортировки — sortArr. Далее мы создаём внешний цикл for, который перебирает каждый элемент массива, тогда как внутренний цикл for начинается с первого элемента массива до предпоследнего индекса: sortArr.length - i - 1. С помощью условия if мы проверяем, больше ли элемент слева элемента справа или нет. Если элемент слева действительно больше, он меняется местами с правым элементом.

Примечание Внешний цикл for будет перебирать все элементы массива, даже если массив уже полностью отсортирован.

Массив, который принимает метод bubbleSort(), может быть любым. В нашем примере мы передаём значения 12, 6, 4, 1, 15, 10.

Сложность алгоритма: О(n2)

А ниже представлен алгоритм сортировки двумерного массива Java пузырьком:

Алгоритм быстрой сортировки на Java

Быстрая сортировка, также известная как Quick Sort или сортировка Хоара, является одним их самых эффективных алгоритмов. Она включает в себя три этапа:

1. Из массива выбирается опорный элемент, чаще всего посередине массива.
2. Другие элементы массива распределяются таким образом, чтобы меньшие размещались до него, а большие — после.
3. Далее первые шаги рекурсивно применяются к подмассивам, которые разделились опорным элементом на две части — слева и справа от него.

Пример быстрой сортировки на языке Java:

Сложность алгоритма: O(n log n)

Алгоритм сортировки слиянием на Java

Данный алгоритм разбивает список на две части, каждую из них он разбивает ещё на две и так далее, пока не останутся единичные элементы. Массив из одного элемента считается упорядоченным. Соседние элементы сравниваются и соединяются вместе. Так происходит до тех пор, пока все элементы не будут отсортированы.

Примечание По возможности используйте готовые алгоритмы для коллекций и методы из java.util.Arrays.

Реализовать алгоритм сортировки слиянием на Java можно так:

Объяснение

Сортировка осуществляется путём сравнения наименьших элементов каждого подмассива. Первые элементы каждого подмассива сравниваются первыми. Наименьший элемент перемещается в результирующий массив. Счётчики результирующего массива и подмассива, откуда был взят элемент, увеличиваются на один.

Сложность алгоритма: O(n log n)

Алгоритм сортировки вставками на Java

Это простая сортировка, при которой массив постепенно перебирается слева направо. При этом элемент сравнивается со всеми предыдущими элементами и размещается так, чтобы оказаться в подходящем месте среди ранее упорядоченных элементов. Так происходит до тех пор, пока набор входных данных не будет исчерпан.

Так выглядит сортировка вставками на Java:

Объяснение

Предполагается, что первый элемент списка отсортирован. Переходим к следующему элементу, обозначим его i. Если х больше первого, оставляем его на своём месте. Если он меньше, копируем его на вторую позицию, а i устанавливаем в качестве первого элемента.

Переходя к другим элементам несортированного сегмента, перемещаем более крупные элементы в отсортированном сегменте вверх по списку, пока не встретим элемент меньше i или не дойдём до конца списка. В первом случае i помещается на правильную позицию.

Сложность алгоритма: О(n2) для сравнений и перестановок.

Алгоритм сортировки выбором на Java

Идея алгоритма:

1. Разбиваем массив на отсортированную и неотсортированную части.
2. Находим в неотсортированной части минимальный элемент.
3. Меняем его местами с тем элементом, который находится на нулевой позиции —
   в конец отсортированного массива.
4. Далее находим следующий по величине элемент и меняем его с элементом на первой позиции, etc., пока не закончатся неотсортированные значения.

Реализация сортировки выбором на языке программирования Java:

Сложность алгоритма: О(n2)

Алгоритм пирамидальной сортировки на Java

Чтобы реализовать алгоритм пирамидальной сортировки (Heapsort) на Java, нужно сперва понять принцип. Алгоритм сегментирует массив на отсортированный и неотсортированный. Неотсортированный сегмент преобразовывается в кучу (heap), что позволяет эффективно эффективно определить самый большой элемент.

Пирамидальная сортировка на Java с использованием класса java.util.Arrays:

Сложность алгоритма: O(n log n)

Встроенные функции сортировки Java

Рассмотрим метод sort() классов Collections и Arrays, а также структуры данных вроде TreeMap и TreeSet.

Как использовать метод sort() в Java?

Метод Collections.sort() для сортировки коллекций:

И метод Arrays.sort() для сортировки массивов:

Метод sort() удобно использовать в том случае, если массив или коллекция заблаговременно заполнены значениями.

Структуры данных

TreeMap и TreeSet

Для сортировки списков List и множеств Set следует использовать структуру TreeSet:

Если же речь идёт о коллекции пар ключ/значение Map, для сортировки подойдёт структура TreeMap, которая сортируется по ключу:

Самосортируемые структуры данных имеют эффективность O(log(n)), а значит при удвоении количества данных в коллекции время поиска не удваивается, а увеличивается на постоянную величину.

1. Ложка теории
2. Бочка практики
3. Почему их так любят на собеседованиях?
4. Где на практике применяются алгоритмы сортировки?
5. Выводы

Ложка теории

Сортировка данных — одна из алгоритмических категорий, к которым программисту следует привыкнуть. В первую очередь, конечно же, вы столкнётесь с сортировкой на этапе обучения. Задачи, где что-то нужно упорядочить по определённому признаку, — распространённая история, которая повторяется и на собеседованиях.

Сегодня существуют десятки алгоритмов сортировки. Прям на 100% одного идеального варианта нет: разные алгоритмы оптимальны для разных наборов и типов данных. Вы наверняка слышали или даже работали с самыми популярными из них:

1. Пузырьковая сортировка
2. Сортировка перемешиванием
3. Сортировка расчёской
4. Сортировка вставками
5. Сортировка выбором
6. Быстрая сортировка
7. Пирамидальная сортировка

Одни алгоритмы просты в реализации и хорошо подходят для разъяснения принципов сортировки, другие — для работы с большими массивами данных, третьи оптимизированы по числу процессорных циклов, скорости, etc.

Вот так, например, выглядят 15 Алгоритмов сортировки за 6 минут.

Примечание Рекомендую убавить громкость.

Бочка практики

Чтобы понять, зачем нужны алгоритмы сортировки, следует проанализировать хотя бы несколько из них. Рассмотрим наиболее популярные алгоритмы в коде и с кратким объяснением.

Сортировка пузырьком

Сортировка пузырьком — один из самых известных алгоритмов сортировки. Его суть в последовательном сравнении значений двух соседних элементов слева направо: если предыдущее больше последующего, они меняются местами. При сортировке элементов по убыванию, наоборот: в конец списка уходят элементы с наименьшим значением.

Код

Здесь во внутреннем цикле перебираем значения, начиная с последнего (array.length - 1), и в каждом следующем проходе уменьшаем количество просмотренных элементов (j > i).

Сложность алгоритма: О(n2)

• Алгоритм хорошо себя показывает с большими наборами данных, где элементы почти отсортированы и требуется всего одна итерация, чтобы определить, отсортирован ли список до конца.
• В случае с совершенно неотсортированным списком, для пузырьковой сортировки он должен быть хотя бы небольшим.

Улучшенными версиями пузырькового метода являются сортировки перемешиванием (шейкерная) и расчёской.

Сортировка вставками

Это простая сортировка, при которой массив постепенно перебирается слева направо. При этом элемент сравнивается со всеми предыдущими элементами и размещается так, чтобы оказаться в подходящем месте среди ранее упорядоченных элементов. Так происходит до тех пор, пока набор входных данных не будет исчерпан.

Звучит сложно, но на деле это самый простой алгоритм сортировки.

Код

Сложность алгоритма: О(n2) для сравнений и перестановок.

• Как и в случае с пузырьковой сортировкой, этот алгоритм работает быстрее всего на очень маленьком или почти отсортированном наборе данных.

Этот алгоритм также используется как часть алгоритма сортировки Шелла.

Быстрая сортировка

Быстрая сортировка относится к эффективным алгоритмам и состоит из нескольких шагов:

1. Из массива выбирается опорный элемент, чаще всего посередине массива.
2. Другие элементы массива распределяются таким образом, чтобы меньшие размещались до него, а большие — после.
3. Далее первые шаги рекурсивно применяются к подмассивам, которые разделились опорным элементом на две части — слева и справа от него.

Код

Сложность алгоритма: O(n log n)

• Быстрая сортировка считается самой быстрой, но она не всегда O(n log n), так как в худших случаях она становится О(n2).
• Быстрая сортировка более эффективна для наборов данных, которые помещаются в доступную память. Для больших наборов она неэффективна, и в этом случае более предпочтительна, например, сортировка слиянием.
• Быстрая сортировка — это сортировка на месте (т. е. она не требует дополнительной памяти), поэтому её целесообразно использовать для массивов.

Ещё больше алгоритмов сортировки с визуализацией и подробным объяснением.

Почему их так любят на собеседованиях?

Так работодатель преследует сразу несколько целей:

1. Если вам дана возможность выбрать любой алгоритм сортировки на своё усмотрение, вас проверяют на понимание работы алгоритмов и грамотный подход к решению.
2. Если вас просят реализовать конкретный алгоритм, делается упор на стиль написания кода.
3. Иногда для задачи даётся намеренно неправильный алгоритм, например такой, с которым сортировка займёт больше времени или памяти. Тогда вам нужно озвучить и аргументировать более выгодный вариант. Это продемонстрирует ваше умение анализировать задачу и отстаивать своё мнение.

Очень важно понимать механизм работы того или иного алгоритма. Допустим, быстрая сортировка предпочтительнее для массивов, а сортировка слиянием — для связных списков. Дело в том, что в связном списке для доступа к данным по индексу нужно пройти от головы до этого индекса. Сортировка слиянием обращается к данным последовательно, и потребность в произвольном доступе невелика.

Если вы готовитесь к собеседованию, обязательно погоняйте себя на знание и, что немаловажно, понимание алгоритмов сортировки.

Где на практике применяются алгоритмы сортировки?

Кто бы что ни говорил, а на практике это тоже бывает полезно. Да, зачастую мы заочно сортируем данные, например через SQL-запрос с оператором ORDER BY. Или если у вас небольшой понятный массив, можно воспользоваться встроенной функцией языка типа sort() в JavaScript. Но не всегда условия просты в выполнении.

Сложности с сортировкой начинаются, когда:

• это работа с массивами данных на десятки или сотни тысяч элементов;
• затруднён доступ к этим данным;
• нужно оптимизировать время выполнения или требуемый объём памяти.

К примеру, в Salesforce-разработке мне приходилось не раз сталкиваться с условиями, в которых без сортировки не обойтись. Это актуально, когда нужен не просто запрос к базе данных, а соответствие искомого элемента нескольким условиям + запуск дополнительных процессов между проверками соответствия этим условиям. При этом проекты были большими, и каждый процесс тщательно оптимизировался, дабы сэкономить время и память.

Для веба это нормальная история. Игры, такие как знаменитая головоломка французского математика Эдуарда Люка «Ханойская башня», тоже потребуют от вас понимания сортировки. Ряд математических решений и работа со строками порой не обходятся без упорядочивания данных. Есть уйма примеров, но суть одна: алгоритмы сортировки — это далеко не всегда только про собеседования.

Выводы

Так зачем же нужны алгоритмы сортировки на практике?

1. Чтобы иметь чёткое представление, как работает алгоритм и как он ляжет на синтаксис конкретного языка программирования.
2. Чтобы тренировать алгоритмическое мышление.
3. Чтобы уметь реализовывать алгоритмы там, где нет подходящей готовой библиотеки.

Давайте проанализируем выбранный нами вариант и рассмотрим тот, который предложил пользователь Типичного Программиста.

1. Условие
2. Решение
3. Программный код
4. Проверяем решение
5. Сложность алгоритма
6. Решение от пользователя

Условие

Для двумерного массива M x N, состоящего из единиц, которые обозначают сушу, и нулей, обозначающих воду, верните количество островов.

Остров окружён водой и образован соединением соседних земель по горизонтали и вертикали. Вы можете предположить, что все четыре края матрицы окружены водой.

Примечание Если островов нет, возвращаем 0. Помечаем острова через 1, а воду обозначаем как 0.

Решение алгоритмической задачи про острова

Поиск в глубину — классический подход в решении подобных задач. Его суть заключается в том, что мы проходим по карте и для каждой 1 запускаем поиск в глубину, чтобы осмотреться вправо, влево, вверх и вниз. При каждом запуске поиска в глубину для корневого узла будем увеличивать счётчик с количеством островов.

Другими словами

Для начала нам нужно найти в матрице хотя бы одну единицу: начинаем построчный обход с нулевого индекса [0,0]. Когда мы находим единицу, помечаем её, как просмотренную, и также просматриваем соседние клетки по направлениям вправо, вниз, влево, вверх.

Если предыдущая ячейка была сушей, а следующая оказалась водой, мы возвращаемся к суше и просматриваем ячейки по перечисленным направлением в том же порядке.

Программный код

Напишем код на Java, используя три метода. Включая main, у нас также будет метод обхода острова, чтобы понять, что находится вокруг (есть ли там ещё земля или только вода), а также метод подсчёта островов, в котором и будет запускаться метод обхода.

Никаких дополнительных инструментов для реализации не нужно. В main пишем статичное расположение островов, но при желании можно поиграться с рандомной подстановкой 0 и 1.

Проверяем решение

В случае с нашей картой и с учётом того, что по диагонали острова не соединяются, мы должны получить в результате три острова, что и видим на выходе программы:

Здесь вы можете запустить аналгичную программу на C#, а также изменить шаблон карты по своему усмотрению.

Сложность алгоритма

Сложность решения алгоритмической задачи про острова — O(m*n), где m — количество строк, а n — количество столбцов нашей матрицы.

Решение от пользователя

Есть вариант более быстрого решения, при котором программа не затормозит в случае большого массива данных:

А с каким решением согласны вы? Может, у вас есть своё? Предложите альтернативную реализацию в комментариях.

1. Алгоритмическая задача про острова
2. Поиск знаменитости
3. Миллион наименьших чисел
4. Сумма чисел
5. Тёплые дни: задача на стек

Алгоритмическая задача про острова

Для двумерного массива M x N, состоящего из единиц, которые обозначают сушу, и нулей, обозначающих воду, верните количество островов.

Остров окружён водой и образован соединением соседних земель по горизонтали и вертикали. Вы можете предположить, что все четыре края матрицы окружены водой.

Примечание Если островов нет, возвращаем 0.

Решение

Для начала нам нужно найти в матрице хотя бы одну единицу: начинаем построчный обход с нулевого индекса [0,0]. Когда мы находим единицу, помечаем её, как просмотренную, и также просматриваем соседние клетки по направлениям вправо, вниз, влево, вверх.

Если предыдущая ячейка была сушей, а следующая оказалась водой, мы возвращаемся к суше и просматриваем ячейки по перечисленным направлением в том же порядке.

Код

Поиск знаменитости

А эта задача с собеседований встречалась программистам при трудоустройстве в Amazon.

Дана группа людей из K человек, и эти люди могут знать друг друга, необязательно взаимно. Среди них есть знаменитость. Знаменитость — это человек, который не знает никого в компании, зато каждый из компании знает его. Изначально мы не владеем информацией о том, кто кого знает, но мы можем спросить у каждого участника, знает ли он других людей из группы. Нужно определить знаменитость, используя минимальное количество вопросов.

Решение

Для начала определимся с тем, что знаменитость всего одна. Чтобы понять следующий алгоритм решения, давайте посмотрим на двух людей из группы. Обозначим их как A и B.

Когда мы спрашиваем у A, знает ли он B, мы получаем два варианта ответа:

1. Знает — человек A не знаменитость.
2. Не знает — человек B не знаменитость.

Так, задав всего один вопрос, мы избавляемся от одного кандидата на статус знаменитости. Именно этот алгоритм мы и используем в программе: опрашивается пара человек, после чего один из них вычёркивается из списка, и так пока не останется один кандидат.

Но наличие одного кандидата ещё не означает, что он знаменитость, ведь её может не быть вовсе. Поэтому последние два действия состоят в том, чтобы спросить у остальных, знают ли они кандидата, а у кандидата — знает ли он всех остальных.

Код

Миллион наименьших чисел

Опишите алгоритм для нахождения миллиона наименьших чисел в наборе из миллиарда чисел. Память компьютера позволяет хранить весь миллиард чисел.

Решение

Есть несколько способов решить поставленную задачу:

1. Сортировка
2. Минимум кучи
3. Ранжирование

Каждый из этих способов мы разобрали в нашей статье по нахождению миллиона наименьших чисел.

Сумма чисел

Такая задача нередко встречается на интервью, и в стрессовой ситуации программист действительно может сразу не сориентироваться.

Дан отсортированный массив чисел, включая отрицательные, и некое число K. Нужно найти два числа из массива, которые в сумме дадут число K. Если таких чисел нет, в результате возвращаем пустой массив. Если комбинаций чисел, дающих нужную сумму, несколько, возвращаем любую из них.

Есть несколько вариантов решения задачи:

• перебор всех пар — временная сложность алгоритма O(n²);
• HashSet — O(n);
• бинарный поиск — O(n log n);
• два указателя — O(n).

Давайте решим задачу с помощью HashSet.

Примечание Хоть метод HashSet и работает за один проход по массиву, он тратит дополнительную память, так как в худшем случае мы перенесём все элементы из входного массива в наш сет.

Решение

Создаём пустой сет и смотрим первый элемент массива. Добавляем его в сет. Далее смотрим второй элемент и то, даёт ли он в сумме с вынесенным в сет первым элементом K. Если нет, просто переносим его в сет. Так мы продолжаем до тех пор, пока не найдём число, которое в сумме с другим числом из сета даст число K. Выводим массив из этих двух элементов в качестве ответа.

Код

Тёплые дни: задача на стек

Дан массив чисел, состоящий из N элементов. Эти числа обозначают температуру в конкретный день. Для каждого дня нужно найти количество суток до наступления более тёплого дня.

Вот пример того, как это можно изобразить:

Решение

Используем два цикла. В первом мы будем идти по всем дням, для которых хотим определить ответ, а во втором пробегать направо до тех пор, пока не наткнёмся на более тёплый день.

Код

Понравились задачки? Держите ещё десять непростых задач на логику, которые часто задают программистам на собеседованиях.

Задумывались ли Вы, как быстро работать с любыми пространственными данными, чтобы это было быстро и эффективно?

Предыстория

На моём опыте я участвовал проектах с нагруженностью 2-3 тысячи человек.В среднем, на одном игровой «машине» располагается примерно 500-1000 человек.На опыте был один проект, где вовсе было 3 тысячи человек: два игровых сервера по 1500 тысячи человек

По большей своей части, я занимался клиентом и логическим ядром сервера в виде обращений к БД, работе с кэшем и связью между клиентом и сервером.
Поэтому во всех этих игровых проектах, к сожалению, у меня не было доступа к более низкому уровню сети вроде «синхронизации игроков между другими игроками», кроме одного проекта, где мне помог один человек. Он рассказал мне о том, как работает синхронизация между игроками в его игре.

Представим себе трехмерную игровую карту с 1000 игроков на сервере.  Карта достаточно большая, поэтому нет смысла, чтобы игроки видели друг друг друга на огромных расстояниях. Это бессмысленная нагрузка.

Эффективнее всего игроку давать какую-то область видимости (например, круг или квадрат вокруг игрока), где он бы видел игроков поблизости. Так это и устроено в игре, а такая область видимости называется «зона стрима».

Как просчитывается эта зона стрима?

Не будем углубляться в в жизненный цикл игрового сервера… Буквально каждую секунду на сервере происходит перерасчет зоны видимости игрока. Они — игроки — постоянно двигаются, перемещаются по карте на автомобилях или пешком.

Так вот, тот самый человек, который помог мне, рассказал, что в его игре при 1000 онлайне сервера расчет происходит так: берется игрок — к нему просчитываются все остальные игроки, и так для всех игроков. То есть, это цикл 1000 * 1000.

Я был очень сильно удивлен, поэтому начал копать…

Подходим к R-tree. Что это, почему и зачем?

Пока я копался в базах данных для подготовки к собеседованиям на Go, я наткнулся на GiST индекс, который является подвидом структуры R-tree. Я начал изучать, что это такое — и это ровно то, что и было нужно!

Что такое R-tree? R-tree — это древовидная структура данных, которая позволяет довольно быстро работать с геопространственными данными.

А R*-tree что тогда такое? R*-tree — это подвид структуры R*-tree, который более ёмок в построении, но при этом позволяет обращаться к данным быстрее, чем обычный R-tree

Ещё чуть-чуть о той сфере, в которой я работаю

Я рассказал этому человеку об этой структуре данных (R-tree) и скинул одну интересную статью, и он с удовольствием принял эту идею и в ближайшее время её реализует. 

Я показал разработчику буквально на примере, взяв библиотеку rtreego, с какой разницей можно работать с этими данными по времени. Нагрузка при 4000 игроков с R-tree может быть такой же, как у него с 1000 игроков при его реализации!

Я был очень сильно доволен, так как решил одну интересную проблемку, но тут было ещё более интересно… Сам же я бегло прочитал ту статью, которую скинул, и этот человек указал мне на то, что в статье описан R*-tree, а не только R-tree.

Мне было крайне интересно узнать разницу между этими алгоритмами, поэтому я стал копать дальше…

В чём же разница между R-tree и R*-tree?

R-tree невероятно прост в построении и так же невероятно прост в поиске. У этого дерева нет никаких требований.

R*-tree сложнее в построении, но при этом более эффективен в поисковых запросах.

Что же сложного в построении R*-tree?

Возьмем в пример построение R-tree, R-tree с линейным разделением и R*-tree:

В третьем варианте мы можем увидеть более четкое и явно разделение элементов по веткам (красным квадратикам) и деревьям (синим квадратикам), в то время как в первом и втором варианте у нас самая настоящая каша.

При обычной вставке элемента в R*-tree дерево работает так же как и в R-tree, но.
Когда «листья», на которых хранятся элементы, необходимо разделить — R-tree делает это не запариваясь, в то время как R*-tree старается сделать так, чтобы:

1. Листья занимали как можно меньшую площадь
2. Листья как можно меньше накладывались на другие листья поблизости
3. Листья были равно распределены

За счет соблюдения трех этих правил, построение может быть по времени в 2-3 раза сложнее, но! Поиск по элементам будет эффективнее в 1.5 — 3 раза.

Если Вам нужно использовать статические данные, R*-tree будет для Вас!

Так где нужно использовать R-tree, а где R*-tree?

Мы поняли, что R-tree довольно быстрый при вставке, но медленнее по поиску.
Просто взять и «перемещать» данные по дереву невозможно, а лишь можно удалять элемент и вставлять его заново.
Поэтому мы приходим к выводу.

Где можно использовать R-tree?

1. Игровой стриминг (область видимости игрока в пространстве)
2. Карты, где элементы могут перемещаться (те же карты с курьерами или такси, например!)
3. Любые геоданные, которые довольно часто обновляются, но чтение чуть менее важно.

Где можно использовать R*-tree?

1. Тот же игровой стриминг, но статических объектов! Например, у игрока есть огромная карта с множеством элементов (как города в GTA, например). Поиск по этим элементам, даже если их миллион, можно делать за мили (или даже нано) секунды!
2. Карты, где невероятно множество статических элементов. (Например, карта заведений, домов или элементов, которые меняются довольно редко)
3. Любые геоданные, которые почти не обновляются, но требуют невероятно быстрого чтения

Эти две структуры данных можно комбинировать.
Например, карта курьерской доставки, на которой располагаются обычные дома в одной структуре, а во второй будут курьеры, которые перемещаются.

Таким образом, я выяснил, где конкретно в играх (и не только) можно невероятно эффективно пользоваться этими данными, поэтому возьму эту структуру данных на вооружение.

Возвращаемся к вопросу об R*-tree на языке Go…

У меня ушло довольно много времени, ради того, чтобы понять, как это работает.
Сначала я попытался переписать R*-tree с Delphi на Go. У меня это заняло два дня и… не получилось, потому что я не понимал устройства этой структуры.

Тогда я выяснил для себя путь:

1. Полностью переписать и разобрать каждое мелкое действие в готовом решении R-tree (rtreego)
2. Разобрать статью об R*-tree, в которой были исходники на Delphi и псевдокоде
3. Сделать из R-tree — R*-tree

Спойлер: у меня это удалось

Исходники того, что было сделано и из чего это было сделано

Во-первых, хочу проявить огромную благодарность человеку, создавшему rtreego — dhconnelly (автор этой библиотеки).

Во-вторых, хочу выразить невероятную благодарность человеку, который буквально на пальцах описал статью об R*-tree на своём опыте. Информации было невероятно мало, но именно эта статья ответила на многие вопросы! Статья *тык*

Ну, и в третьих, статьи из вики: R*-tree (wikipediam), R-tree (wikipedia на русском)

Из rtreego я взял за основу R-tree и, переварив код на Delphi и псевдокод из статьи, мне удалось создать R*-tree на языке Go, который работает ровно так, как описано по алгортиму.

Ссылка на репозиторий:

Самое важное —

Всем огромное спасибо за внимание и за то, что смогли осилить эту невероятно не маленькую статью!

Условие

Если расписать весь процесс поэтапно, выглядит это следующим образом:

1. Вы загадываете число от 0 до 100.
2. Программа выводит целое число в рамках данного диапазона.
3. Вы отвечаете, ваше число больше, меньше или равно тому, что вывела программа.
4. Если число больше либо меньше, программа продолжает предлагать варианты.
5. За 7 или менее попыток число гарантированно угадывается.

Решение

На самом деле, никакого особого секрета здесь нет, и решение строится на бинарном поиске. Это простая алгоритмическая задача, смысл которой в том, чтобы каждый раз делить оставшийся диапазон на 2. Таким образом мы с каждой попыткой вдвое сокращаем область поиска, увеличивая шансы на успех. Вот и весь математический фокус.

Допустим, первой догадкой алгоритма будет число 50, после чего становится понятно, в какую сторону исходного диапазона «шагать» дальше: это будет область 0–50 либо 51–100. Если первый вариант, то далее алгоритм предложит число 25 и так далее. Математические законы предполагают, что если число 100 делить вдвое 7 раз, мы гарантированно получим результат в районе единицы.

Можно найти число и в диапазоне побольше — от 0 до 127 или от 1 до 128. Всё потому, что 27=128. Соответственно, если у нас будет 8 попыток, область можно увеличить до 256, если 9 — до 512 и т. д. По этому же принципу работают бинарные деревья.

Но решать всё вручную с калькулятором наперевес — прошлый век. Давайте подключим код и посмотрим, как с этим справится программа.

Решение кодом

Воспроизведём решение с помощью Java без использования графического интерфейса. При желании всегда можно подключить Swing или JavaFX.

Для начала определимся с переменными, которые нам потребуются:

Поскольку мы будем работать с терминалом, подключим слушатель событий с помощью класса Scanner:

И объявим переменную слушателя:

Далее всё просто: программа выводит варианты, а пользователь отправляет +, - или =, в зависимости от того, больше загаданное число, меньше или идентично. Пока введённое значение не = (while (!strInput.equals("="))), продолжаем вычислять и делить заданный диапазон:

Понравилась задачка? Держите ещё один математический фокус в виде гипотезы Коллатца.

Но таких операция недостаточно для полноценной работы с двоичным деревом поиска, кроме добавления элементов, иногда, элементы нужно удалять. В этой статье коснёмся этого вопроса, рассмотрим как при этом перестраивается дерево. Также обсудим скорость работы двоичного дерева в лучшем и худшем случае.

Скорость работы алгоритма и вырожденный случай

Рассмотрим идеальный случай формирования двоичного дерева.

Все элементы распределены равномерно между левыми и правыми поддеревьями. Такое дерево называется сбалансированным. Есть строгое определение этого: двоичное дерево сбалансировано по высоте, если для каждой его вершины высота её двух поддеревьев различается не более чем на 1.

Если рассмотреть сбалансированное дерево и операции с ним, то на каждом из переходов в поддерево, мы как бы отсекаем половину значений, понимая что в них точно не содержится нужное нам значение.

Алгоритмы с таким отсечением в несколько раз на каждом шаге, называют логарифмическими, или говорят что они работают за время log(N). Где N — количество узлов в дереве. По этому же принципу работает математический фокус по угадыванию числа от 0 до 100 за 7 попыток.

Можем заметить что при обходе в глубину (рассматривался в предыдущей статье) с использованием симметричного варианта обхода получаем отсортированный массив, и двоичное дерево можно было бы использовать для сортировки за время N * log(N) (N элементов, каждому находится место для вставки за log(N) время). К сожалению, вырожденный случай портит этот вариант, и построение двоичного дерева может занимать N * N (квадратичное) время. То есть каждый элемент вставляется за время N, то есть приходится проходить по всем элементам, чтобы найти нужное место для вставки нового элемента.

Посмотрим как будет выглядеть двоичное дерево, например при построении из возрастающего массива чисел 1, 3, 6, 9, 10.

Получаем просто односвязный список, все операции в которым занимают линейное время, или, что то же самое, выполняются за время O(N).

Для исправления этой ситуации существуют более сложные, сбалансированные, вариации двоичного дерева, например АВЛ дерево, красно-черное дерево, Б-деревья.

Также время работы может портить реализация, например при обходе в ширину,  мы можем использовать метод shift, который сам по себе работает за линейное время. Что увеличивает время работы обхода с O(N) — обходим все элементы без дополнительных затрат на поиск элементов, до O(N*N) — на каждый элемент добавляется операция смещения всех элементов в массиве, который используется для хранения необработанных узлов.

Удаление элемента

Идея удаления элемента делится на несколько случаев:

• у узла нет дочерних узлов;
• у узла есть левый дочерних узлов;
• у узла есть правый дочерних узлов;
• у узла есть оба ребёнка.

В случае 1 просто удаляем узел, дополнительная работа не требуется.

В случае 2 и 3 заменяем удаляемый узел на его потомка, на этом удаление заканчивается. Случай 4 самый сложный, но концепция такого удаления довольно проста — найти в правом поддереве минимальный элемент и переместить его на место удаляемого узла.

Идейно удаление довольно просто, но мы знаем что работа с деревом обычно происходит через рекурсивные вызовы. И как удалить какой-то узел, если мы уже находимся в потомке не очень понятно.

Идея реализации удаления следующая. Спускаемся на уровень ниже, вызывая функцию рекурсивно, при этом присваивая обрабатываемому элементу, то что вернёт функция удаления.

Начало алгоритма удаления — поиск в дереве удаляемого элемента. При этом идея присваивания возвращаемого элемента из функции _deleteNode применяется сразу.

Когда нашли удаляемый элемент, то проверяем 4 случая описанные выше.

Если нет потомков, то просто возвращаем null, который в предыдущей вызове функции присвоится вместо элемента.

Если случаи 2 или 3, возвращаем один дочерний элемент, как бы убирая из дерева текущий узел.

Если у узла два потомка, то находим минимальный элемент в правом поддереве этого узла.

Можно встретить альтернативное описание поиска минимального элемента, более формальное, но имеющее тот же смысл, что описание выше:

• если в первом узле правого поддерева нет левого узла, то используем его (это минимальный элемент, в правом узле все значение больше);
• либо находим самый левый элемент в правом поддереве

Ниже в коде, для этого есть отдельная функция _findMinElement. После нахождения такого элемента, заменяем у текущего удаляемого узла значение (value). И вызываем функцию удаления правого поддерева, для найденного минимального узла в правом поддереве, так как мы его уже перенесли на место удаляемого, и на его старом место его нужно удалить. Код этого переноса и вызова удаления перенесенного элемента:

Код удаления элемента с комментариями:

Рассмотрим дерево

Удалим из этого дерева элемент 8.

Рассмотрим цепочку вызовов, сверху вниз:

Удалим из дерева элемент со значением 3.5.

Рассмотрим цепочку вызовов, сверху вниз:

Полный код двоичного дерева

Здесь приводится полный код простейшего двоичного дерева (без getKey и compare функций) из двух статей, чтобы не пришлось собирать из разных частей, и можно было позапускать, для лучшего понимания.

Заключение

Мы познакомились с концепцией двоичных деревьев — структурой данных, позволяющей работать с данными за логарифмическое время, вместо линейного. Все операции, кроме реализации удаления, интуитивно понятны. Эта структура данных является отправной точкой для знакомства с более сложными деревьями, такими как сбалансированные двоичные деревья.

Двоичное дерево в первую очередь дерево. В программировании – структура данных, которая имеет корень и дочерние узлы, без циклических связей. Если рассмотреть отдельно любой узел с дочерними элементами, то получится тоже дерево. Узел называется внутренним, если имеет хотя бы одно поддерево. Cамые нижние элементы, которые не имеют дочерних элементов, называются листами или листовыми узлами.

Дерево обычно рисуется сверху вниз.

В узлах может храниться любая информация, от примитивных типов до объектов. В этой статье, мы рассмотрим реализацию, когда в узле также хранятся ссылки на дочерние элементы. Кроме такого подхода, возможен альтернативный подход для двоичного дерева — хранение в массиве.

Первая особенность двоичного дерева, что любой узел не может иметь более двух детей. Их называют просто — левый и правый потомок, или левое и правое поддерево.

Вторая особенность двоичного дерева, и основное правило его построения, заключается в том что левый потомок меньше текущего узла, а правый потомок больше. Отношение больше/меньше имеет смысл для сравниваемых объектов, например числа, строки, если в дереве содержатся сложные объекты, то для них берётся какая-нибудь процедура сравнения, и она будет отрабатывать при всех операциях работы с деревом.

Создание дерева, вставка

Рассмотрим существующее двоичное дерево. Корень содержит число 3, все узлы в левом поддереве меньше текущего, в правом — больше. Такие же правила действуют для любого рассматриваемого узла и его поддеревьев.

Попробуем вставить в это дерево элемент -1.

Из корня идем в левое поддерево, так как -1 меньше 3. Из узла со значением 1 также идём в левое поддерево. Но в этом узле левое поддерево отсутствует, вставляем в эту позицию элемент, создавая новый узел дерева.

Вставим в получившееся дерево элемент 3.5.

Проходим по дереву, сравнивая на каждом из этапов вставляемое значение с элементом в узле, пока не дойдем до узла, в котором следующий узел для сравнения отсутствует, в эту позицию и вставляем новый узел.

Если дерево не существует, то есть root равен null, то элемент вставляется в корень, после этого проводится вставка по описанному выше алгоритму.

Напишем класс для создания двоичного дерева:

На скриншоте ниже то, какую информацию хранит в себе binaryTree:

Обход

Рассмотрим несколько алгоритмов обхода/поиска элементов в двоичном дереве.

Мы можем спускаться по дереву, в каждом из узлов есть выбор куда можем пойти в первую очередь и какой из элементов обработать сначала: левое поддерево, корень или право поддерево. Такие варианты обхода называются обходы в глубину (depth first).

Какие возможны варианты обхода (слово поддерево опустим):

• корень, левое, правое (preorder, прямой);
• корень, правое, левое;
• левое, корень, правое (inorder, симметричный, центрированный);
• левое, правое, корень (postorder, обратный);
• правое, корень, левое;
• правое, левое, корень.

Также используется вариант для обхода деревьев по уровням. Уровень в дереве — его удалённость от корня. Сначала обходится корень, после этого узлы первого уровня и так далее. Называется обход в ширину, по уровням, breadth first, BFS — breadth first search или level order traversal.

Выбирается один из этих вариантов, и делается обход, в каждом из узлов применяя выбранную стратегию.

Обычно для обходов в глубину применяется рекурсия. Реализуем один из вариантов, например симметричный: левое поддерево, корень, правое поддерево.

При этом мы обработаем первым самый левый узел, где левое поддерево окажется пустым, но правое может присутствовать. То есть в каждом из узлов будем спускаться ниже и ниже, пока левое поддерево не окажется пустым.

Для реализации других вариантов обхода просто меняем порядок вызова функций в функции _inorderInternal. И нужно не забыть переименовать функцию, чтобы название соответствовало содержимому.

Рассмотрим inorder алгоритм обхода на примере дерева, созданного в предыдущем блоке кода.

Сначала мы спустимся в самое левое поддерево — узел -1. Зайдем в его левое поддерево, которого нет, первая конструкция выполнится, ничего не сделав внутри функции. Вызовется обработчик handlerFunction, на узле -1. После этого произойдёт попытка войти в правое поддерево, которого нет. Работа функции для узла -1 завершится.

В вызов для узла -1 мы пришли через вызов функции _inorderInternal для левого поддерева узла 1. Вызов для левого поддерева -1 завершился, вызовется обработчик для значения узла 1, после этого — для правого поддерева. Правого поддерева нет, функция для узла 1 заканчивает работу. Выходим в обработчик для корня дерева.

Для корня дерева левое поддерево полностью отработало, происходит переход ко второй строке процедуры обхода — вызов обработчика значения узла. После чего вызов функции для обработчика правого поддерева.

Аналогично продолжая рассуждения, и запоминая на какой строке для определенного узла мы вошли в рекурсивный вызов, можем пройти алгоритм «руками», лучше понимая его работу.

Для обходов в ширину используется дополнительный массив.

Поиск

Операция поиска — вернуть true или false, в зависимости от того, содержится элемент в дереве или нет. Может быть реализована на основе поиска в глубину или ширину, посмотрим на реализацию на основе алгоритма обхода в глубину.

Функция сравнения или получение ключа

До этого мы рассматривали простые данные, для которых определена операция сравнения между ключами. Не всегда возможно реализовать сравнение таким простым образом.

Можно сделать функцию, которая будет получать ключ из данных, которые хранятся в узле.

Можно передать в конструктор специальную функцию сравнения. Эту функцию можно сделать как обычно делают функции сравнения в программировании, возвращать 0, если ключи равны. Значение больше нуля, если первый переданный объект больше второго, и меньше нуля если меньше. Важно не перепутать когда что возвращается и правильно передать параметры. Например, текущий узел, уже существующий в дереве, первым параметром, а тот, с которым производится текущая операция — вторым.

Для реализации такой возможности потребуется во всех местах сравнения использовать эту функцию

Заключение

Мы познакомились с концепцией двоичных деревьев и операциями для создания такого типа дерева. Эти операции интуитивно понятны, в следующей статье рассмотрим процедуру удаления и скорость работы двоичного дерева.

Примечание Иногда 0 опускается, и в этом случае ряд начинается с 1, но мы будем использовать последовательность с 0 на первой позиции.

Формула записывается следующим образом:

Вычисление ряда Фибоначчи — стандартная задача, которую задают на собеседованиях, чтобы проверить кандидата на понимание алгоритмов. Не так популярна, как сортировка, но всё же.

Давайте вычислим ряд и его отдельные элементы, использовав для этого язык Java.

1. Цикл
2. Рекурсия
3. Stream
4. Тест

Вычислить ряд Фибоначчи циклом

Предположим, что нам нужно вывести на экран первые десять чисел последовательности Фибоначчи. Мы помним, что:

• первый элемент ряда — 0, второй — 1;
• каждый последующий — сумма двух предыдущих.

Тогда наша последовательность будет иметь такой вид:

Но нам нужно вывести результат с использованием программы. Держите код с объяснениями в комментариях:

Выполнение завершится на десятом элементе. Количество элементов при этом можно менять, изменив значение в условиях цикла.

Найти число Фибоначчи через рекурсию

Рекурсивная функция — это такая функция, которая вызывает саму себя. Она также неплохо отрабатывает в алгоритмических задачах вроде чисел Фибоначчи, но ей требуется больше времени.

Почему так происходит? Всё дело в том, что рекурсивная функция приводит к многоразовому вызову одних и тех же операций. Именно из-за этого её не рекомендуется использовать, но если уж на собеседовании прозвучит такая задача, вы будете готовы.

Рассмотрим пример, в котором нам нужно получить n-ое число в ряде Фибоначчи:

Если в качестве num задать большое значение, программа зависнет.

Тип int в Java может хранить значения до 2147483647, так что вычислить получится лишь первые 46 чисел Фибоначчи. Тип long хранит до 9223372036854775807, а это 91 число Фибоначчи. Класс BigInteger призван работать с действительно большими значениями, вот только само выполнение программы это никак не ускорит.

Использовать для вычисления Stream

Stream в Java — это компонент для самостоятельной внутренней итерации своих же элементов. Подробнее о нём вы можете почитать в нашей статье о Java Stream API.

И, разумеется, Stream подходит для вычисления элементов последовательности Фибоначчи:

В данном примере метод iterate() будет возвращать упорядоченный поток, ограниченный лимитом в num значений и созданный с применением функции к начальному массиву arr. В консоль будет выведено следующее:

А так мы получим сумму чисел последовательности по элемент num включительно:

Математический тест

Любите математику? Попробуйте решить наш математический тест:

В этой статье продолжим рассмотрение подобных задач.

Вернемся к кузнечику, который прыгал по кувшинкам в первой статье.

Кузнечик, кувшинки и монетки

В этой задаче на кувшинки добавляются монетки, причём их можно как собирать, так и терять. Теперь нам неважно, каким путем двигается кузнечик, главное — собрать максимальное количество монеток к последней кувшинке.

Немного изменим условия прыжков. Теперь кузнечик может прыгать на 1, 2 или 3 кувшинки вперёд. Также кузнечик не может терять больше монеток, чем у него есть в наличии.

Как мы уже знаем, две самые главные вещи в динамическом программировании — начальные значения и переход от одной подзадачи к другой. Давайте посмотрим, что у нас является подзадачей, т.е. какие значения будем хранить.

Для каждой кувшинки мы будем хранить максимальное количество монет, которое можно собрать, добравшись до неё.

Рассмотрим пятую кувшинку, на которой мы теряем 3 монетки. Откуда мы можем прыгнуть на неё? Со второй, третьей или четвёртой кувшинки. Откуда мы должны прыгнуть на неё, чтобы заработать максимальное количество монеток? С кувшинки, на которой наше заработанное количество монеток было максимальным. Это будет выглядеть примерно так:

Подумаем над начальным значением. Мы можем через несколько if’ов посчитать, сколько будет на каждой из кувшинок заработано монеток. Но если в данном случае это будет довольно просто, то, например, если кузнечик сможет прыгать на 10 кувшинок, то это приведёт к очень сложному и запутанному коду. Попробуем обойтись без начальных значений, а предыдущие значения, если они выходят за границы массива, игнорировать.

В примере с распределение монеток [4, -2, 1, -1, -3] максимальная сумма будет 2. Кузнечик прыгнет на первую, третью и пятую кувшинки. На пятую прыгать обязательно, т.к. это условие задачи — достигнуть последнюю кувшинку.

Путь, чтобы собрать максимум монеток

Дополним задачу — теперь нам нужно не просто найти, сколько максимально можно собрать монет, добравшись до последней кувшинки, а ещё и найти путь, как это было сделано.

Часто в задачах динамического программирования применяется следующая техника: берём наше вычисленное значение, идём от конца к началу массива с описанием максимума на каждой кувшинке (в данном случае maxCoins), восстанавливая обратную последовательность вычислений: будем находить максимальное значение в предыдущих ячейках массива maxCoins.

Также мы можем найти путь другим способом — ввести дополнительную структуру данных и хранить в ней путь, по которому мы добрались до текущей ячейки. Код выглядит немного проще, но при работе с большим объемом данных хранение путей может занимать значительное место в памяти. Посмотрим на решение:

Задача для практики на LeetCode

Наибольшая (по длине) возрастающая подпоследовательность

Подпоследовательность — это любая последовательность внутри массива, расположенная по возрастанию индексов. Например? в массиве [1, 2, 3, 4, 5] набор чисел [1, 3, 5] является подпоследовательностью. [1, 4, 2] не является, т.к. 2 расположена перед 4.

Задача — написать функцию, которая бы возвращала максимальную подпоследовательность.

Рассмотрим массив [1, 5, 3, 6, 4, 5, 2]. Несколько его возрастающих подпоследовательностей: [1, 5, 6], [1, 5], [1, 3], [1, 3, 5], [1, 3, 4, 5]. Наибольшая из всех таких подпоследовательностей размера 4:

Для начала посмотрим, как можно решить задачу про максимальную длину такой подпоследовательности. Введём массив, который будет хранить максимальную длину для текущего элемента. Например, для последовательности выше [1, 5, 3, 6, 4, 5, 2] такой массив в конце вычислений будет содержать значения [1, 2, 2, 3, 3, 4, 2]. Назовем его, например, longestSubsequence. Для первого элемента начальное значение очевидно — последовательность, состоящая только из этого элемента. Добавим начальное значение:

Для каждого последующего элемента будем искать в исходном массиве значение меньше текущего, проверять, последовательность какой длины можно составить с добавлением текущего элемента, и выбирать максимальную.

Например, мы добрались до элемента 4, longestSubsequence будет содержать в себе [1, 2, 2, 3]. Ищем в исходном массиве элементы, меньше чем 4, это 1 и 3. Длина подпоследовательностей для этих элементов: 1 и 2. Если добавить после 1 число 4, то получим длину последовательности 2: longestSubsequence[0] + 1, если после 3, то длина будет 3: longestSubsequence[2] + 1. Добавляем единицу к longestSubsequence элементу, т.к. добавление нового элемента увеличивает подпоследовательность.

Выяснили начальные значение и как переходить от одной подзадачи к другой, остался вопрос, где брать ответ. Максимальная возрастающая подпоследовательность может закончиться в любом месте исходного массива. Значит, нужно просто найти максимальное значение в массиве longestSubsequence. Посмотрим на решение подзадачи про нахождение длины:

Доработаем задачу, чтобы можно было находить не только длину, но и саму подпоследовательность. Для этого есть два пути. Можем хранить в массиве максимальную подпоследовательность в текущей позиции целиком или просто индекс предыдущего элемента для позиции.

Хранение подпоследовательностей может привести к значительному расходу памяти для больших значений. Рассмотрим решение с хранением индекса предыдущего элемента:

Задача для практики на LeetCode

Игра — делители

Рассмотрим ещё одну задачу с сайта Leetcode. Если не быть знакомыми с методами динамического программирования и не понять, что их здесь стоит применять, то решение этой задачи может быть очень сложным.

Есть два игрока, в задаче — Алиса (или Элис) и Боб. Дано число, например, 5. Игроки по очереди уменьшают число следующим действием: находят целочисленный делитель текущего числа (не само число), вычитают его из текущего числа. Так получается следующее число. Первой ходит Алиса.

Цель игры — определить, сможет ли выиграть Алиса при идеальной игре обоих участников. Вернуть true, если сможет.

Рассмотрим случай с числом 5. Ход Алисы. Число 5 имеет 2 делителя: 1 и 5. Но выбрать 5 по условию задачи мы не можем, выбираем единицу. Вычитаем её, получаем число 4 для следующего хода.

Ход Боба. 4 имеет три делителя, мы можем использовать только 1 или 2. Допустим, что используем 1, для Алисы оставляем число 3.

Дальнейшая игра очевидна и не предоставляет выбор для игроков.

Возникает проблема: какое число оптимально использовать, когда есть несколько вариантов делителей? Например, в рассматриваемом случае Боб на втором шаге мог выбрать делитель 1 или 2. Мы могли построить дерево до конца игры, и если у Алисы нет выбора, и в одном из вариантов выиграет Боб, то тот ход был оптимальным. Но что если у Алисы есть выбор, как определить оптимальность?

Рассмотрим игру для числа 6:

У Алисы на первом ходу есть на выбор три числа для вычитания: 1, 2, 3 — целочисленные делители числа 6. У Боба тоже появляется ветвление, если Алиса выбрала число 2 и оставила для Боба число 4. Когда мы дойдём до конца этого дерева, то как определить, были ли все ходы оптимальны? Таким подходом, сверху вниз, эту задачу не решить.

Рассмотрим другой подход, снизу вверх. Будем идти от единицы и выше, постараемся определить, кто выиграл на каждом шаге. Для хранения результатов создадим массив, хранящий возможность выигрыша для того, чей ход текущий.

Например, если у Алисы число 2, то берем первый элемент из этого массива. Он true, значит, Алиса может выиграть. Для числа 5 — false, значит, если оба игрока играют оптимальным способом, то Алиса проиграет. Как же создать такой массив?

Для числа 1 ответ очевиден: Алиса не сможет вычесть из этого числа само себя и сразу проигрывает.

Число 2. Может ли Алиса сделать так, что Боб попадет в ячейку со значением false, т.е. гарантированно проиграет? Да, Алиса может вычесть единицу, для Боба останется число 1, которое проигрывает для того, чей ход. Мы знаем, что число 1 проигрывает для того, кто ходит, т.к. именно эта информация хранится в массиве gameResultForStartPlayer.

Рассмотрим, например, число 9. Массив gameResultForStartPlayer уже должен быть заполнен для всех предыдущих чисел. Сможет ли Алиса сделать такой ход, чтобы Боб проиграл? Целочисленные делители числа 9 — 1 и 3. Бобу достанется либо 8, либо 6. У обоих этих чисел значение в массиве — true, следовательно, при оптимальной игре Боб выиграет. Соответственно, если Алисе достанется число 9, то она проиграет, и при заполнении массива следует в него добавить значение false.

Рассмотрим решение:

Заключение

В двух статьях мы рассмотрели основные задачи динамического программирования, которые можно решить, используя одномерный массив. Это наиболее простые примеры этого способа решения задач, разбираясь с которыми, можно понять основные концепции динамического программирования и двигаться дальше.

Если вы не знакомы с динамическим программированием, посмотрите эту статью для начинающих.

Числа трибоначчи

Числа трибоначчи — это числовой ряд, начинающийся с трёх чисел 0, 0, 1, где каждое последующее число вычисляется как сумма трёх чисел перед ним:

Рассмотрим следующую задачу: дан массив чисел с порядковыми номерами чисел трибоначчи, например: [73, 10, 4, 15, 20, 7], числа в массиве не превышают 100, требуется вернуть массив, содержащий числа трибоначчи под указанными номерами: [73-е число трибоначчи, 10-е число трибоначчи, и так далее].

Если вы какое-то время работаете с языками программирования, то наверняка решали задачи нахождения факториала или степени числа через рекурсию. Попробуем применить такую же идею здесь:

Запускаем функцию с вычислением времени:

41-е число вычисляется 135 секунд. Кажется, что быстрее вручную посчитать числа, подставить в массив все 100 значений (ограничение задачи) и просто вернуть число на нужной позиции. В чём же проблема, как так получилось, что простой алгоритм работает так долго? Можно заметить, что следующее число вычисляется в 2 раза дольше, чем предыдущее. Давайте посмотрим на рекурсивное дерево вызовов:

Можно заметить, что при вычислении через рекурсию многие числа будут считаться по несколько раз, например, число 37 будет посчитано 6 раз. В замерах времени выше мы видели, что вычисление этого занимает 11 секунд, т.е. займёт половину времени от вычислений числа 41 — 66 секунд из 135.

Напрашивается решение проблемы — запоминать вычисленные значения и при необходимости просто их использовать. Давайте посмотрим, что получается в таком случае:

Пробуем выполнить новую функция с теми же входными данными:

Во-первых, мы видим, что выполнение теперь занимает доли миллисекунд. Во-вторых, замечаем понижение времени при каждом новом вызове. Это связано с оптимизациями компилятора JavaScript после определенного количества вызова кода. После пары вызовов время уменьшается на 0.1 миллисекунды (для моего компьютера), следовательно, 100 вычислений, которые нам требуются для исходной задачи, пройдут за 0.01 секунду.

Мы уже применили идеи динамического программирования — сохранили результат вычисления подзадачи для получения результата следующей задачи. Осталось вызвать это в цикле для исходного массива и получить ответ. Но что делать, если в вычисления закрадётся ошибка? Код с рекурсией отлаживать довольно сложно.

Давайте немного упростим решение за счёт идеи предварительного вычисления всех возможных вариантов. Это займёт очень мало времени, т.к. по условию задачи максимальное число — 100, и за счет идеи отказа от рекурсии. Будем считать так, как бы мы считали эти числа на листике, руками:

Поскольку идем, увеличивая число i, и у нас изначально добавлено в массив tribonacciNumbersCache три значения, то получение элементов i - 1, i - 2 и i - 3 отработает без ошибок.

В 0 позиций массива tribonacciNumbersCache — первое число трибонначи, главное не забыть вычитать единицу при получении значения.

Напишем решение исходной задачи — по массиву номеров получить массив с числами трибонначи:

В консоль будет выведено [2073693258389777400, 44, 1, 927, 19513, 7]. Задача решена.

Задачи на LeetCode и CodeWars для тренировки вычислений чисел фибонначи, трибонначи.

Основные идеи

Мы использовали несколько подходов, типичных для динамического программирования:

1. Определили, как из известных данных маленьких подзадач будет вычисляться следующая подзадача, т.е. с числами трибонначи из трёх значений будет вычисляться следующее значение. Это соотношение называется рекурсивным.
2. Нашли исходные данные, чтобы можно было запустить наше вычисление.
3. Определили, откуда брать ответ — вычитали единицу при обращении к элементу массива с посчитанными значениями.

Кузнечик и кувшинки

Рассмотрим следующую задачу: есть определённое количество кувшинок, расположенных в ряд, кузнечик стоит на первой из них. Он может прыгнуть на следующую кувшинку, либо перепрыгнуть через одну. Сколько существует разных способов (путей) добраться до последней кувшинки?

Рассмотрим вариант с 4-мя кувшинками. Можем перебрать варианты и посчитать, что до последней кувшинки можно добраться 3-мя разными способами:

Грустный кузнечик прыгает по кувшинкам

Рассмотрим сколько способов существует, чтобы добраться до каждой из кувшинок. До второй — 1 способ, до третьей — 2 способа: прыгнуть сразу на неё или прыгнуть с первой кувшинки. До четвёртой уже выяснили перебором, что существует 3 способа.
Можем заметить, что на четвёртую кувшинку мы можем прыгнуть только со второй или с третьей и что количество путей до неё равно количеству путей до второй кувшинки + количество путей до третьей кувшинки. Немного порассуждаем, почему так получается.

С третьей кувшинки на четвёртую есть только один путь — прыгнуть на неё, но при этом до третьей кувшинки было 2 разных пути. Соответственно, если мы двигаемся через третью кувшинку на четвёртую, то так и остается 2 разных пути это сделать. Аналогичные рассуждения можно провести для перемещения со второй на четвёртую кувшинку. Эти два случая будут разными путями, т.к. перед попаданием на четвёртой мы были на разных кувшинках, следовательно, количество путей надо просто сложить.

Аналогичные рассуждения можно провести для дальнейших перемещений, т.е. просто складываем количество путей до предыдущих двух кувшинок.

Понятно, как переходить от одной подзадачи к другой, осталось найти начальные условия. Возьмём за начальные условия количество вариантов попасть на вторую и третью кувшинки, т.е. 1 и 2.

Для нахождения начальных условий можно использовать более математический подход: ввести отрицательные кувшинки, количество путей до них будет 0, и использовать текущую позицию как последнее значение начальных условий. При таком подходе начальные условия будут 0 и 1. В текущей задаче будем использовать первый подход, но для более сложных задач имеет смысл использовать второй.

Получается следующая функция:

Задача решена, но можем заметить, что все значения, кроме двух последних, не используются, и упростить решение:

В цикле происходит смещение количества путей до i + 1 кувшинки. В начале way1 указывает на количество путей до первой кувшинки, way2 — до второй. После первого выполнения тела цикла way1 указывает на количество путей до второй кувшинки, way2 до третьей, и так далее. В конце выполнения цикла в way2 получится количество путей до n кувшинки.

Задача для практики на LeetCode

Максимальный(по сумме элементов) подмассив

Условие задачи: дан массив чисел, требуется найти непрерывную последовательность чисел с максимальной суммой.

Например, получен такой массив:

Рассмотрим идею решения. Начнём суммировать значения в этом массиве слева направо. Просуммировав два первых элемента: 2 — 5 = −3, получим отрицательное число. Если добавить это число к следующему, то оно уменьшит его, независимо от того положительное оно или отрицательное. Просуммировав следующие 3 элемента 2 + 2 — 1 = 3, получим положительное значение, которое при добавлении к следующему увеличит сумму с ним в любом случае.

Т.е. мы идём слева направо, суммируя элементы, если сумма становится отрицательной, то игнорируем подсумму, если положительной, то прибавляем дальше:

В процессе этих вычислений при каждом прибавлении сравниваем число с переменной, в которой хранится максимальное подсумма.
Рассмотрим решение в коде:

Рассмотрим массив arrayOfSums, на каждом шаге итерации:

Видим, что максимальное значение 7. Это и будет ответ в текущей задаче.

В решении мы находим только максимальную сумму подмассива, но не находим саму часть массива. По рассмотренному массиву arrayOfSums и логике решения задачи довольно очевидно, как найти требуемый подмассив: находим 7 в массиве arrayOfSums, это будет конец подмассива. Берём слева все положительные числа, самое левое из списка положительных чисел — начало подмассива.

В текущем случае это сумма от второго до седьмого элемента (при отсчёте массива от 0). Подмассив arrayOfSums [2, 4, 3, 6, 5, 7], подмассив исходного массива nums [2, 2, -1, 3, -1, 2].

Реализуем эту идею в коде:

Задача для практики на LeetCode

Заключение

Мы рассмотрели несколько простых задач динамического программирования, желаю успехов в освоении этого непростого, но очень интересного подхода к решению задач.

Хайлайты — это самые интересные, продающие моменты из видеопотока, которые могут заставить зрителя посмотреть видео целиком. Они как витрина магазина: туда попадает всё самое яркое и красочное. Увидев их, пользователь может заранее понять, что находится внутри видео. И решить, хочет ли он это видео посмотреть. Например, в футбольном матче хайлайт — это момент перед голом. Или сам гол, но его обычно стараются не показывать, чтобы сохранять интригу.

Хайлайты из фильма выбирает специальный алгоритм или человек. Из большого видеофайла он вырезает набор маленьких видеофайлов, которые лучше всего презентуют содержание.

Зачем хайлайты видеосервисам и онлайн-кинотеатрам?

Часто покупать и показывать трейлеры слишком дорого, трудозатратно и долго. Также нередко правообладатель предоставляет онлайн-кинотеатру трейлер, но он не подходит под формат видеоплатформы. Например, требуется видео длительностью 15 секунд, а в оригинальном трейлере — 90. Тогда приходится за свой счёт менять формат и содержание видео.

Хайлайты спасают ситуацию и рассказывают зрителю о контенте до того, как он захотел посмотреть трейлер. И они более универсальны, чем трейлеры: их можно делать короче или длиннее, встраивать в разные места пользовательского интерфейса. Пользователь видит нарезку хайлайтов, как только попадает на страницу фильма или сериала, его внимание сразу привлекают самые запоминающиеся кадры.

Как создают хайлайты?

Происходящее в кадре — будь то взрыв, выстрел или поцелуй — по-разному влияет на конверсию. Это влияние можно измерить — существует статистика, которая позволяет заранее предположить, какие фрагменты фильма лучше всего подойдут на роль хайлайтов.

А дальше включаются специальные алгоритмы нарезки — часть большой системы подготовки контента к стримингу. В ней есть возможность создать хайлайт из любого видеофайла и в любой момент после того, как он попадет в систему. Оператор создает задание на генерацию хайлайта, и система обрабатывает его согласно установленным приоритетам.

У IVI алгоритмы собственные — писали их на Python методом проб и ошибок, потому что во всей литературе, хотя бы отдалённо описывающей подобную задачу, не нашлось ничего, что подходило бы практике онлайн-кинотеатра (но про алгоритмы мы поговорим в следующий раз).

Первый — алгоритм детекции сцен. Он должен определить начало и конец нужного куска фильма. В ходе обучения алгоритму сначала показали различные ракурсы съемки, научили его находить их, а потом из отобранных ракурсов научили выделять конкретные сцены. Также для определения подходящих отрезков фильма используется информация из видео и аудио потока. Это нужно, чтобы при создании хайлайтов не прерывались диалоги.

Второй — алгоритм выбора сцен для создания хайлайта. Мы обучили свою сетку на основании всего нашего каталога. Всего в нём более 80 тысяч фильмов, а для обучения подошли 30 тысяч. Мы взяли все фильмы, у которых были трейлеры, искали совпадения фрагментов из трейлеров и фрагментов из фильмов. Теперь, имея обученную сеть, мы можем ранжировать любую сцену нового видеофайла, рассчитывая вероятность того, насколько эта сцена подойдёт для создания хайлайта.

Когда набор сцен готов, алгоритм выбирает финальных кандидатов, из которых и получится хайлайт. На этом же этапе можно заняться обработкой изображения, цветокоррекцией и фильтрами. Результаты отсматривает человек на пост-модерации. Он всегда может забраковать готовый хайлайт, если увидит, что он получился плохо. Если хайлайт проходит проверку, он помещается на специальные сервера, откуда с помощью CDN доставляется пользователям.

Другие механизмы работы и перспективы

При этом алгоритмы нейросетей — это лишь один из способов отбора. Хотя сейчас заметен тренд на повсеместное применение технологий искусственного интеллекта и машинного обучения, гнаться за модой не всегда оправданно. Часто куда более простой и экономичный (в плане вычислительных ресурсов) алгоритм может справиться с задачей так же эффективно.

К тому же алгоритмы могут ошибаться, так что их необходимо проверять. Например, в подборку иногда попадает спойлер: часто алгоритм выбирает действительно интересный момент, который при этом раскрывает всю суть фильма. Поэтому до сих пор у нас есть модерация тех хайлайтов, которые нарезал алгоритм, поскольку есть вероятность рассеять интригу и испортить зрителю впечатление.

А иногда можно и вовсе обойтись без нейросетевых алгоритмов. Выбрать 10 фрагментов, показать их разным группам людей и определить, какие отрезки дают наибольшую конверсию. Или попробовать на группах разные комбинации хайлайтов и таким образом понять, какие из них эффективнее. Конечно, при таком подходе некоторым пользователям может попасться некачественный хайлайт, но применять его или нет, каждый сервис определяет сам.

Следующий шаг — это подбор определенных хайлайтов под конкретного человека или сегмент аудитории. Кому-то больше понравится сцена со взрывом, кому-то — с поцелуем. Персонализация всего и вся — очень важная тенденция последнего времени, и персонализация хайлайтов — её закономерное проявление.

В Teleperformance больше 380 000 сотрудников. Видеонаблюдение введут для 39 000 из них — столько работает в Колумбии.

Teleperformance переводит своих удалённых сотрудников в Колумбии на особые условиы. Им предлагают установить систему видеоконтроля, которая следит за эффективностью работника.

Видеонаблюдение за удалёнными сотрудниками

Сотрудникам, которые работают на дому, предлагают подписать контракт, который предполагает установку умных камер дома. Они будут следить за тем, чтобы сотрудники не отлынивали на работе.

Видео с камер будут анализировать алгоритмы распознавания объектов. Они будут следить, чтобы сотрудники не использовали смартфоны и даже не держали на столе бумагу — так компания борется с утечкой личной информации из колл-центров.

Контроль с помощью камер позволит менеджерам мониторить фактическое рабочее временем сотрудника и следить, чтобы рабочее место всегда было чистым.

Apple против такого подхода

Apple — один из клиентов Teleperformance  — запретила компании использовать мониторинг за сотрудниками. Teleperformance отменила это решение для команд, которые работают с Apple.

Источник: NBC

Почитайте, чем закончился мониторинг эффективности в прошлый раз:

Первую версию ИИ Translatotron представили в мае 2019 года.

Раньше можно было создать дипфейк с помощью технологии

В первой версии Translatotron был один существенный недостаток — технологией можно было злоупотреблять для создания дипфейков.

Дело в том, что Translatotron умеет генерировать голос для озвучки переведённых фраз. Этой функцией могли воспользоваться мошенники.

Теперь так не получится

В Translatotron 2 разработчики решили проблему злоупотребления возможностями алгоритма.

Теперь ИИ сохраняет оригинальный голос говорящего. Это затрудняет создание дипфейков с помощью Translatotron.

Что ещё нового

За 2 года Google улучшила качество перевода и «естественность» речи. Например, в озвучке стало гораздо меньше помех и зажёванных слов.

Ещё мощно прокачали производительность алгоритма.

Послушать примеры перевода → 

Источник: MarkTechPost

«Яндекс» уже внедрила технологию синхронного перевода в свой браузер для русского дубляжа видео на YouTube в режиме реального времени.

По словам Twitter, это первое в мире соревнование по выявлению дискриминации людей со стороны машинного обучения.

Сейчас это особенно актуально: пользователи всё чаще подозревают алгоритмы в наличии расовых или других предубеждений.

Что надо делать

Задача участников — продемонстрировать, какой потенциальный вред может принести алгоритм «умного кадрирования». Конкурсанты получат доступ к коду модели.

Этот алгоритм распознаёт на картинке главный объект и кадрирует изображение так, чтобы этот объект остался не обрезанным.

Модель должна «непредвзято» находить главный объект. Каждое «предубеждение» — уязвимость.

Сколько заплатят

Команды-победители получат денежные призы через HackerOne:

• 1-е место — 3500$ (256 тысяч рублей);
• 2-е место — 1000$ (73 тысячи рублей);
• 3-е место — 500$ (36 тысяч рублей);
• за самую «инновационную» находку — 1000$ (73 тысячи рублей);
• за проблему, актуальную для большинства алгоритмов Twitter — 1000$ (73 тысячи рублей).

Когда результаты

Победителей объявят на семинаре DEF CON AI Village 8 августа. Победителям предложат представить свои работы на мероприятии.

Где принять участие

Программа запущена на HackerOne. Там же изложены все подробности.

Источник: Блог Twitter

Как работает?

Софт Дриса отслеживает стримы и записи заседаний фламандского правительства (Бельгия) на YouTube. С помощью машинного обучения программа ищет телефоны в руках политиков, а алгоритмы распознавания лиц идентифицируют человека.

Как позорит?

Софт записывает кадры, на которых политик залипает в телефон на работе, и публикует в Twitter и Instagram проекта под названием «Флемандские скроллеры» (The Flemish Scrollers). Публичный позор обеспечен.

Почему пугает?

Большинство из нас наверняка периодически пользовались телефоном во время встречи или просто на работе. Иногда это действительно бессмысленный скроллинг социальных сетей, но порой — срочные и важные дела. Вряд ли бы вы обрадовались, если за экстренный случай вас публично порицали или оштрафовали. Постоянный мониторинг сотрудников — не круто.

The Flemish Scrollers и должен пугать — в этом его цель.

Зачем нужен этот проект?

Обратите внимание, что автор проекта — художник, по крайней мере Дрис сам себя так называет. Скорее всего, это акция, которая привлекает внимание к тому, как ужасно постоянное наблюдение.

Не зря The Flemish Scrollers атакует политиков. Когда законодатели становятся мишенью, у них появляется больше мотивации урегулировать «оружие».

Источник: TheNextWeb

Решить эту проблему вызвался Яш Тивари на платформе Hackernoon. Он составил топ-10 GitHub-страниц, на которые стоит подписаться.

Публичные API

В этом репозитории собрано множество бесплатных API-интерфейсов, связанных с различными темами. В том числе с бизнесом, новостями, играми и т.д.

Есть и более полезные варианты. Например, Gmail API или Google Analytics API.

«Искусство командной строки»

Здесь любой желающий может найти полезные советы по повышению производительности при помощи командной строки. Основное внимание уделено её Linux-версии, но есть и разделы с советами для Windows и macOS-пользователей.

Коллекция шаблонов .gitignore-файлов

Как можно понять из названия пункта, в этом репозитории собраны различные файлы .gitignore. Есть варианты для совершенно разных языков (от Python до Java) и фреймворков.

System Design Primer

С помощью этой страницы, разработчики могут научиться проектировать крупномасштабные системы.

Отдельным плюсом репозитория является его помощь в прохождении особо сложных интервью на заданную тему. Для этого в нём имеются примеры вопросов и ответов, встречающихся во время собеседований.

А также

• Oh My Zsh;
• Дорожная карта веб-разработчика;
• Бесплатные книги по программированию;
• «Создай свой Х»;
• JavaScript-алгоритмы и структуры данных;
• План обучения для прохождения интервью в крупные IT-компании.

Источник: Hackernoon

Мне не хотелось заучивать свойства дерева, псевдокод и варианты балансировки. Я хотел знать почему. Каким образом цвета помогают при балансировке? Почему у красной ноды не может быть красного потомка? Почему глубину дерева измеряют «чёрной высотой»?

Ответы на эти вопросы я получил только тогда, когда мне дали ссылку на лекцию про 2-3-дерево, с которого мы и начнём.

Эта статья разделена на 3 логические части. Я рекомендую прочитать их в указанном порядке. Первая часть будет направлена на введение в КЧД и знакомство с ним. Во второй части мы поговорим о балансировке и вставке в КЧД. В третьей, завершающей части, мы разберём процесс удаления ноды. Наберитесь терпения и приятного чтения:)

Дисклеймер

1. В этой статье не будет информации про плюсы и минусы дерева, его применение и т.д.. Информации об асимптотике дерева и работе с ним в интернете полно.
2. Материал предназначен для тех, кто уже знаком с КЧД и теперь хочет их понять, а также для тех, кто только знакомится с ними.
3. Статья не будет содержать деталей реализации структуры.
4. Можно считать, что эта статья — перевод англоязычного видео в упрощённый русский текстовый вариант.

2-3-дерево

Чтобы понять красно-чёрное дерево, нужно понять 2-3-дерево.

Забегая вперед, скажу, что 2-3-дерево — это, по сути, родитель нашего КЧД, поэтому важно начать именно с него. Поймем 2-3-дерево — поймём и КЧД.

2-3-дерево — абстрактный тип данных, напоминающий по структуре дерево. В нодах 2-3-дерева может быть одно или два значения и два или три потомка (от чего зависит количество значений и потомков ноды, узнаем ниже). Ноду с одним значением и двумя потомками будем называть 2-нода, ноду с двумя значениями и тремя потомками — 3-нода. Объяснение я начну с создания такого дерева: это наглядно и просто. Но некоторые уточнения всё же нужны:

1. Добавляя элемент, мы всегда спускаемся вниз по дереву.
2. Дерево отсортировано классически — меньшие значения находятся слева, бОльшие — справа.
3. 2-3-дерево — отсортированное, сбалансированное дерево.

Итак, начнём с первой ноды, это число 5. Тут всё просто — 5 становится корнем.

Добавим число 12. Его мы также добавляем в корень (помним, что нода может иметь два значения), но теперь нам нужно отсортировать нашу ноду (сортировать два элемента, ха), т.е. уложить их в порядке возрастания. В итоге получается нода 5-12.

Добавим следующее число. Пусть это будет 17. Давайте пока добавим наш элемент в единственную ноду и снова отсортируем ее. Получилась нода 5-12-17.

Внимательный читатель заметит тут подвох — выше я говорил о том, что наши ноды могут содержать не более двух элементов. Вот тут и происходит магия! Мы берём средний элемент нашей ноды и проталкиваем его наверх. Итог виден на картинке. Корнем стало число 12, левым сыном — число 5, правым — 17.

То, что мы сделали выше, можно назвать балансировкой 2-3-дерева. Правило в этой балансировке простое: если в ноде оказывается 3 значения, среднее мы проталкиваем наверх. Алгоритм действий зависит от трёх условий:

1. Нода является корнем. Тогда ничего не остаётся, как создать новую ноду с одним значением и сделать её новым корнем (как в нашем случае).
2. Родительская нода имеет одно значение. Тогда мы просто добавляем значение к родителю и завершаем балансировку (при этом у родителя появляется третий потомок).
3. Родительская нода имеет два значения. Тогда мы снова проталкиваем значение вверх, пока не придём к пункту 1 или 2.

Другие случаи балансировки 2-3-дерева

Окей, идём дальше. Давайте добавим число 3. Так как теперь мы не ограничиваемся одной нодой, спускаемся вниз. Понятно, что спуститься надо влево и добавить 3 к ноде со значением 5. Не забываем расставить 3 и 5 в нужном порядке. В итоге получилась нода 3-5.

Потерпите, мы близимся к самому интересному:)

Давайте добавим число 4, которое также пойдет налево и присоединится к ноде 3-5. Получится нода 3-4-5, которую, как мы уже знаем, нужно привести к нужному виду. Что делаем? Балансируем наше дерево, т.е. проталкиваем значение 4 наверх.

Теперь самое интересное. Помимо того, что мы добавим 4 к корню, мы также добавим корню третьего потомка — это будет нода, которая была больше 4. В нашем случае это 5. Картина будет выглядеть так:

Почему 5 не могла остаться на месте в своей ноде? Тут мы вспоминаем правило отсортированного дерева: значения меньше — слева, значения больше — справа. И так как 5 больше 4, мы не может оставить 5 слева, т.к. это нарушит наш инвариант. Поэтому ноде со значением 5 ничего не остаётся, кроме как переехать и стать потомком ноды 4-12 (кстати, если бы у 5 были потомки, они тоже переехали бы вместе с родителем).

Тут нужно сделать небольшую паузу и объяснить, как ориентироваться в нодах с тремя потомками. Всё просто:

1. Значение, что меньше левого значения в ноде, будет левым потомком.
2. Значение, что больше левого, но меньше правого значения в ноде, будет средним потомком.
3. Значение, что больше правого значения в ноде, будет правым потомком.

А теперь посмотрите на то, что получилось. Смело можно заявить, что это отсортированное, сбалансированное 2-3-дерево. Значения меньше лежат слева, значения больше — справа (тут, как и в случае со значениями 4-5-12, мы считаем, что 5 лежит справа от 4 и слева от 12). Корень имеет 2 значения и 3 потомка, что абсолютно соответствует описанию дерева выше. Сейчас вы можете сами попробовать добавить любое значение, чтобы удостовериться, что вы поняли логику (что произойдёт с деревом, если добавить значение 7, а затем 9?).

Окей, с самим деревом, я надеюсь, разобрались. Ноды добавляются, дерево балансируется, искать можно, всё супер. Но есть нюансы.

Главный минус такой структуры в том, что она, в отличие от бинарного дерева, неудобна в реализации. Нужно следить за количеством потомков и значением, плюс за их порядком, балансировкой (и это я ещё не говорил про удаление). Красно-чёрное дерево решает эту проблему.

Красно-чёрное дерево

Как мы выяснили, главный недостаток 2-3-дерева — структура. Тогда давайте попробуем превратить его в бинарное дерево. Чтобы добиться этого, нам нужно простое представление для 3-ноды. Давайте разделим 3-ноду на две 2-ноды и свяжем их ссылками. Пометим эти ссылки каким-нибудь свойством, например, цветом, (возьмём красный), чтобы отличать такие ссылки в дереве от всех остальных.

Вообще говоря, мы не можем пометить сами ссылки, поэтому мы помечаем ноды.

Итак, перед вами красно-чёрное дерево. Далее мы разберём несколько свойств КЧД, которые я считаю важными (но я думаю, что уже из прочитанного выше многое стало ясно).

Свойства красно-чёрного дерева

Фактически мы разбираем не просто КЧД, а левостороннее КЧД — одну из имплементаций КЧД, в которой красные ноды могут находится только слева. То есть от 3-ноды мы всегда отделяем значение меньше (что и было сделано выше). По сути своей левостороннее КЧД ничем не отличается от обычного, за исключением того, что это более простая и понятная имплементация. Аналогично левостороннему КЧД существует и правостороннее КЧД (логику его додумайте сами).

1. Две красные ноды не могут идти подряд. Это свойство приобретает смысл, если мы знаем, что красная нода — это по сути часть 3-ноды в 2-3-дереве. Ну а если две красные ноды идут подряд, то получается 4-нода, которой у нас не существует:)

2. Корень дерева всегда чёрный. Опять же, тут всё понятно: красная нода не может существовать без потомка.

3. Все null-ноды (ноды, которые не имеют потомков) — чёрные. Почему именно так, для себя объяснений я не нашел. Но хочу сказать, что это довольно удобное правило, когда дело доходит до балансировки дерева.

Раз уж мы затронули null-ноды, то стоит сказать, что в дереве у всех нод всегда должно быть два потомка, а если ссылка на потомка нулевая, то ведёт она как раз в null-ноду. На самом деле, тут встаёт вопрос в реализации, мне было удобнее добавлять null-ноду (меньше проблем с итераторами, балансировкой и прочим).

4. Высота дерева измеряется только по чёрным нодам и называется «чёрной высотой». Тут опять всё в целом становится очевидным: красная нода является только дополнением к ноде чёрной, является её частью, поэтому высоту принято считать по чёрным нодам.

На этом введение подходит к концу. В следующей части мы поговорим о том, как вставлять ноды в дерево и балансировать его.

От хаоса к строгому порядку

Познакомимся с муравьём Лэнгтона поближе. Он живёт на бесконечной плоскости, состоящей из белых клеток. У него есть два неиссякаемых ведёрка — одно с белой краской, другое с чёрной. Муравей перемещается по клеткам плоскости от одной клетки к другой. При этом он выполняет несложный алгоритм:

1. Если клетка белая, то муравей перекрашивает её в чёрный цвет, поворачивает на 90° направо (по часовой стрелке) и делает шаг вперёд.
2. Если клетка чёрная, то муравей перекрашивает её в белый цвет, поворачивает на 90° налево (против часовой стрелке) и делает шаг вперёд.

Вот, собственно, и всё. Невесёлая жизнь у муравья Лэнгтона, но, как мы увидим, он не готов мириться с такой возмутительной ситуацией и всеми силами старается сбежать.

Написать программу, которая моделирует поведение муравья Лэнгтона, — это несложная задача. В сети есть много примеров реализации этого алгоритма: попроще и посложнее — с набором дополнительных настроек.

Попробуйте понаблюдать за перемещениями этого муравья по его клетчатой плоскости. На первый взгляд, его шаги полностью хаотичны — никакого порядка не наблюдается. Но, перефразируя известную поговорку, если долго наблюдать за муравьём, можно увидеть, как он убегает. Где-то после 10 000 шагов муравей вдруг осознаёт тщетность бытия и предпринимает попытку сбежать — он начинает строить периодическую конструкцию, каждые 104 шага перемещают его на две клетки по диагонали. После этого эти шаги повторяются. Эта конструкция уже никогда не станет хаотичной — теперь муравей так и будет двигаться по широкой диагональной полосе-магистрали, состоящей из чёрных и белых клеток.

Начала Дженни с поиска кода для «обрезки» исходной фотографии до круга. После этого, путём проб и ошибок, она подбирала наилучшие параметры для превращения обычного изображения в желаемый ей портрет.

В процессе анализа выяснилось, что для лучшего качества итогового результата лучше использовать более тёмные и менее контрастные фотографии:

При этом нет особого смысла делать портрет из нескольких оттенков ниток — лица на чёрно-белом варианте также прекрасно различимы.

Отдельное внимание девушка обратила на то, что на дебаг 100 строк кода проекта она потратила около 6 часов. Но в результате у неё получилась программа, которая позволила реализовать задуманное. Со всем процессом (с подробностями) и тем, что у неё получилось в конце, можно ознакомиться в видео:

Источник: YouTube / Jenny Ma

Большинство алгоритмов есть в библиотеках языков программирования, но знание их устройства позволит вам глубже понимать свою работу и предлагать оптимальные решения для рабочих задач. Вы будете чётко знать, для какой ситуации какое решение лучше подходит и какие механизмы лежат в основе каждого из них.

Многие компании, среди которых Яндекс, Google, Facebook, проверяют знание алгоритмов на своих собеседованиях, — это своеобразный негласный стандарт. Вы должны хорошо ориентироваться в особенностях алгоритмов, быстро предлагать разные способы решения задач и понимать, какое решение предпочтительнее использовать.

Вот шесть хороших способов, с помощью которых можно прокачать свои знания алгоритмов.

Книги Роберта Седжвика

Роберт Седжвик написал две отличные книги: «Алгоритмы на C++. Фундаментальные алгоритмы и структуры данных» и «Алгоритмы на Java» (в соавторстве с Кевином Уэйном). Седжвик, легендарный человек в мире технологий, был членом совета директоров Adobe Systems, работал во многих исследовательских институтах, где в буквальном смысле слова разрабатывались основы современных технологий. В их числе — знаменитая лаборатория Xerox PARC, где были придуманы современные графические интерфейсы, которыми в своё время вдохновился Стив Джобс.

Книги написаны давно и заслужили статус абсолютной классики. Конечно, здесь нет описания суперсовременных технологий и разработок, но зато рассматриваются фундаментальные структуры данных и алгоритмы, которые применимы к любому языку программирования. Вы поймёте, как работают поиск, сортировка, реализация абстрактных типов данных, алгоритмы на графах и многое другое. Эта книга — абсолютный индустриальный мастхэв.

Книга Томаса Кормена «Алгоритмы: построение и анализ»

«Алгоритмы: построение и анализ» написана Томасом Корменом, Чарльзом Лейзерсоном, Рональдом Ривестом и Клиффордом Штайном. Каждый из авторов — легендарный IT-деятель. Эта книга тоже считается классикой. Она хорошо структурирована, каждая глава самодостаточна и раскрывает тот или иной аспект алгоритмов. При этом их суть описана простым и доступным языком с большим количеством примеров, но не в ущерб глубине изложения. Благодаря этому книгу можно читать с любым уровнем подготовки.

Материал практически любого хорошего онлайн-курса по алгоритмам будет пересекаться с этими книгами.

Книги переведены на русский и изданы в России, найти их не составит труда.

Школа анализа данных Яндекса

Я учился в Школе анализа данных и могу порекомендовать курсы Максима Бабенко «Алгоритмы и структуры данных» и «Алгоритмы во внешней памяти». Максим умеет доступно объяснять самый сложный материал так, чтобы вы действительно поняли суть.

Большая ценность обучения именно в Школе анализа данных — это чувство причастности к чему-то большему. Именно такое ощущение появляется от хорошего образовательного заведения. Это может показаться неважным, но на самом деле это ощущение кардинально повышает эффективность и качество обучения. И Школа анализа данных обладает такими свойствами в полной мере. В ШАД работают отличные лекторы и чувствуется поддержка в течение всего курса. Поэтому, если у вас есть такая возможность, получить здесь образование точно стоит. Обучение бесплатное, но попасть в ШАД не так просто: нужно пройти серьезный отбор.

Ресурсы для обучения

Курс «Специализация: Искусство разработки на современном C++»

Этот курс мы создавали вместе с коллегами — разработчиками из Яндекса и других компаний. Здесь мы делимся своим многолетним опытом в части создания больших проектов на языке C++ и рассказываем в том числе про внутреннее устройство стандартных структур данных в языке С++. Фокус здесь не на теории, а на решении проблем, с которыми в реальной жизни сталкиваются большинство разработчиков. Мы постарались сделать лекции лёгкими и доступными, подкрепив их большим количеством практических задач. В конце каждого спринта вам предлагается серьёзная задача, для решения которой нужно применить весь изученный материал.

Codeforces

Codeforces — российский проект, который много лет поддерживает Павел Дуров. Во многом это российское олимпиадное программирование, переведённое в онлайн-формат. Здесь постоянно проводятся соревнования с солидными денежными призами, одержать победу в которых крайне непросто. Однако, если вам удастся занять призовое место, то это явно станет хорошей строчкой в вашем портфолио.

Ценность сайта — в том, что он позволяет вам сразу почувствовать себя внутри индустрии, внутри комьюнити, которое говорит на профессиональном языке. Можно сразу понять, лежит ли у вас душа к такой работе. Здесь можно изучать таблицы лидеров, чтобы понять, как и почему работа других людей получает высокую оценку, и что надо сделать, чтобы получить такую же.

LeetCode

LeetCode — это сайт-тренажер для решения разных задач в области программирования. Среди плюсов — удобный и продуманный интерфейс, который позволяет вам сосредоточиться на работе. Также, после решения задачи вы можете посмотреть, как с ней работали другие люди и насколько быстрее других вы справились с ней. Удобно сравнить свой реальный уровень с другими разработчиками. На сайте размещено почти 2 тысячи задач, поддерживаются 14 языков программирования.

В изучении алгоритмов, практически как и в любом деле, практика намного ценнее теории. Поэтому я бы дал такой совет: изучая алгоритмы, важно не просто прочитать несколько книг и пройти несколько курсов, важно получить как можно больше практики. И благодаря современным технологиям, практиковаться вы можете практически из любой точки мира.

В сети появилось фото, на котором новейшая видеокарта компании демонстрирует эффективность в районе 45 Мх/сек при майнинге. Для сравнения, алгоритмы NVIDIA ранее опускали это значение до 20-25 Мх/сек в случае обнаружения фарминга электронной валюты.

Правда, Wccftech пишет, что на RTX 3060 майнят не Ethereum (против которого и настроены алгоритмы «зелёных»), а Octopus. С другой стороны, так ли это важно? В любом случае, грядущий ажиотаж вокруг видеоадаптера приведёт к его длительному дефициту.

Источник: Wccftech