Поиск по документам

LlamaIndex создан для работы с документами: он помогает разбивать их на фрагменты, индексировать содержимое и находить нужный контекст перед запросом к модели. В библиотеке уже есть компоненты для этих этапов, поэтому базовый поиск по документам можно собрать без большого объёма собственного кода.

Для поиска можно использовать гибридный подход, который объединяет семантический поиск с поиском по ключевым словам. Он пригодится, когда в запросе есть точный термин, название или аббревиатура и важно найти конкретное совпадение.

В LangChain RAG можно собрать как один из сценариев работы с данными. В LlamaIndex это центральная задача, вокруг которой выстроена вся архитектура, поэтому его удобно использовать для внутренних баз знаний, технической документации и договоров, когда ответ должен опираться на конкретный фрагмент исходного документа и сопровождаться ссылкой на источник.

Сложная логика и состояние

В сложном процессе следующий шаг может зависеть от результата предыдущего: агент получает новые данные, меняет маршрут выполнения и при необходимости возвращается к нужному этапу. Для подобных сценариев подходит LangGraph, отдельная библиотека команды LangChain. Процесс в нём описывается как граф с узлами, переходами и сохранённым состоянием: узлы выполняют отдельные операции, переходы задают маршрут, а разработчик определяет условия для перехода между этапами.

Например, при проверке заявки агент может обнаружить, что информации недостаточно, отправить её на дополнительный сбор данных, получить обновлённую информацию и снова запустить проверку. В LangGraph разработчик сам описывает логику этих переходов и решает, в какой момент процесс должен двигаться дальше или возвращаться к предыдущему шагу.

К модели LangGraph нужно привыкнуть: сначала граф с узлами, переходами и состоянием может напоминать схему метро, которую нарисовали в три часа ночи. По мере работы с графом становится проще видеть весь маршрут агента и понимать, что произойдёт после каждого шага.

Экосистема LangChain включает более 1000 интеграций и большую базу документации, поэтому подключение инструментов и сервисов во многих случаях можно собрать из готовых компонентов. LangChain отвечает за компоненты для работы с моделями и инструментами, а LangGraph помогает управлять состоянием и переходами между этапами процесса.

Разделение работы между ролями

Представим редакцию, где несколько сотрудников вместе готовят материал. Один собирает факты, другой проверяет информацию, после чего редактор готовит финальную версию. CrewAI переносит подобную организацию работы на агентов: для каждого участника задаются роль и задача, а фреймворк управляет их взаимодействием в рамках общего процесса.

В CrewAI процесс строится вокруг задач и их исполнителей, поэтому разработчику достаточно описать обязанности агентов и порядок выполнения работы. Фреймворк берёт на себя координацию между участниками и передачу результатов от одной задачи к следующей.

Примечательно, что CrewAI появился позже LangChain и LlamaIndex, поэтому у него меньше накопленных примеров продакшн-использования. Для систем с высокими требованиями к предсказуемости стоит протестировать выбранную конфигурацию на собственных данных и сценариях до запуска в продакшн.

Диалог между агентами

AutoGen строит взаимодействие между агентами через сообщения. Они передают друг другу результаты, вызывают инструменты и могут выполнять код в изолированной песочнице. У фреймворка была тесная интеграция с Azure OpenAI, а AutoGen Studio позволял собирать агентные сценарии через визуальный интерфейс без кода.

Именно вокруг этой модели Microsoft развивала AutoGen до перехода на новый SDK. 3 апреля 2026 года компания выпустила Agent Framework 1.0, объединив в нём наработки AutoGen и Semantic Kernel. AutoGen перешёл в режим поддержки: новых функций в него добавлять не будут, а обновления будут включать исправления ошибок и патчи безопасности. Для новых проектов Microsoft рекомендует Agent Framework.

При этом сама идея AutoGen сохранилась в новой платформе. Диалог между агентами вошёл в Agent Framework вместе с другими концепциями AutoGen, поэтому разработчики по-прежнему могут строить процессы вокруг обмена сообщениями. Меняется основной SDK, который Microsoft развивает для этого подхода.

У диалоговой архитектуры есть практический нюанс, который стоит учитывать при проектировании системы: каждое новое сообщение добавляет вызов модели и расход токенов. В простом сценарии это увеличивает стоимость выполнения, поэтому архитектура особенно хорошо раскрывается там, где агентам действительно нужно обсуждать результаты и проверять решения друг друга. Например, несколько агентов могут по очереди анализировать код, задавать вопросы к найденным проблемам и разбирать спорные места.

Можно ли сочетать фреймворки

Границы между сценариями редко бывают жёсткими. В одном проекте LlamaIndex может отвечать за поиск по данным, а LangGraph — за выполнение процесса: инструменты LlamaIndex подключают внутрь CrewAI-команды или LangGraph-графа как обычный инструмент для поиска, оставляя LlamaIndex индексацию, а LangGraph или CrewAI — общую логику. LangGraph всё чаще выступает низкоуровневым движком, поверх которого строят более специализированные надстройки.

Как выбрать модель

Все четыре фреймворка подключают языковые модели через API, поэтому провайдера можно выбирать отдельно от архитектуры агента. В LangChain для этого используются интеграции вроде ChatOpenAI, в LlamaIndex есть адаптер OpenAILike, а CrewAI и AutoGen позволяют указать адрес совместимого API через настройки модели. При смене эндпойнта основная логика агента может остаться прежней, поскольку меняются параметры подключения к модели.

Например, в LangChain модель можно подключить через OpenAI-совместимый API:

RouterAI даёт доступ к GPT, Claude, Gemini и другим моделям через один ключ с оплатой в рублях — CrewAI, AutoGen и LlamaIndex принимают тот же base_url через собственные параметры конфигурации LLM.

Итог

Форма задачи определяет выбор раньше, чем популярность инструмента на GitHub: поиск по данным — LlamaIndex, ветвящаяся логика с состоянием — LangGraph, роли внутри команды — CrewAI, спор между агентами — AutoGen. Модель и провайдер при этом выбираются отдельно от архитектуры агента.

Источники и фактура

• LangChain vs LangGraph — официальная документация
• Integrations overview — LangChain Reference
• Microsoft Agent Framework Version 1.0 — официальный анонс
• LlamaIndex OpenAILike — документация
• LlamaIndex + CrewAI интеграция — сравнение фреймворков

Zero — иммерсивный лендинг индийского стартапа Zero University, который предлагает альтернативу классическому университетскому пути. Сайт превращает скролл в шестиактную историю: традиционное образование, разбитое стекло, горящие деньги, уничтоженные сертификаты, тоннель из логотипа ZERO и, наконец, интерактивная карта города с офисами реальных компаний. Цель — не просто показать красивую картинку, а провести пользователя через аргумент: диплом перестаёт быть гарантией, а навыки открывают дорогу в индустрию.

Проект разрабатывала студия BUNQ LABS четыре месяца. Исходные ассеты занимали больше гигабайта: несжатые Blender-сцены, 8K-текстуры и запечённые анимации. Финальная сборка уместилась в 10 МБ и держит 60 FPS даже на бюджетном Android. Команда опубликовала технический разбор на Codrops, а мы выделили решения, которые можно перенести в свои WebGL-проекты.

• Первый жест как ворота: распознавание нуля — это простая проверка угла, округлости и замкнутости, а не нейросеть.
• Виртуальный скролл заменяет нативный: одно число управляет загрузкой, анимацией, шейдерами и текстом.
• Ассеты важнее рендера: DRACO, KTX2/ETC1S, атласы и собственный превьювер сжали гигабайты до мегабайтов.
• Текстурные загрузки — главный источник фризов; декодинг в воркере и очередь по requestIdleCallback решают проблему.
• Адаптивное качество по frame time позволяет не гадать о мощности устройства.
• Мобильная точность шейдеров: mediump на Adreno и Mali — это реальный 16-битный float, и его недостаточно для сложных эффектов.

Разбираем, как это устроено изнутри, и что из этого можно взять в свою работу.

Сюжет из шести этапов и пяти ворот

Интерактивный нарратив строится вокруг пяти «ворот» — точек, где скролл останавливается и ждёт действия пользователя. Сначала нужно нарисовать ноль, затем удерживать касание, чтобы разбить стекло, потом — чтобы запуститься сквозь тоннель. Каждый жест связан с сюжетным поворотом: обещание университетского пути буквально трескается, за ним появляется статистика безработицы, диплом превращается в горящую бумагу, сертификаты рвутся на полосы.

От обещания к свободе

Шесть этапов идут от иллюзии контролируемого пути к интерактивной карте, где пользователь сам выбирает, куда смотреть. Финальный экран — город с башней Zero University в центре. Можно приближать, панорамировать и открывать карточки ролей, сценариев и инструментов. Это не просто финал: после того как сайт вёл пользователя за руку, он отдаёт управление обратно.

Архитектура: один скролл управляет всем

Одно из главных архитектурных решений — отказ от нативного скролла браузера. Нет ScrollTrigger, нет огромного прокручиваемого DOM. Вместо этого события колёсика и тача обновляют виртуальное значение скролла, которое плавно догоняет цель. Всё остальное — загрузка ассетов, анимации, тайминги шейдеров, текст и оверлеи — читают это единственное число.

Проект разбит на девять таких сегментов; загрузчик одновременно выполняет роль первых ворот. Каждый сегмент самодостаточен: у него свой жизненный цикл, свои объекты и своя утилизация. Это упростило поддержку и отладку. Переход к любому этапу воспроизводит жизненные циклы всех предыдущих сегментов, поэтому состояние всегда консистентно — как будто пользователь дошёл до этого места естественным скроллом.

Конвейер 3D-ассетов: как уместить 1 ГБ в 10 МБ

Большую часть четырёх месяцев ушла не на код, а на подготовку ассетов. Исходники пришли из Blender: несжатая геометрия, 8K-текстуры, запечённые анимации — всё вместе больше гигабайта. Первый месяц команда тратила на то, чтобы выбрать формат для каждого типа ресурсов.

DRACO и KTX2

Вся геометрия отправляется со сжатием DRACO, декодеры для которого хостятся локально в public/vendor/. Урок команда усвоила на собственном опыте: замедление на gstatic и unpkg привело к тому, что все сжатые ассеты перестали декодироваться, хотя сами файлы лежали на ихних серверах. Если декодер зависит от чужого CDN, весь пайплайн зависит от него.

Самый большой выигрыш дали текстуры. PNG может быть маленьким на диске, но в видеопамять он загружается распакованным. Текстура 2048² занимает около 16 МБ VRAM независимо от размера файла. Формат KTX2 со сжатием ETC1S остаётся сжатым на GPU, занимает меньше памяти и загружается быстрее.

Собственный превьювер компрессии

С KTX2 есть проблема: ETC1S — lossy, и локально его не посмотреть обычным просмотрщиком. Чтобы не гадать с настройками, команда сделала внутренний дашборд: сжатая и несжатая версия каждой картинки и видео рядом. Так можно было подобрать степень сжатия индивидуально — усилить там, где артефакты не заметны, сохранить качество для ключевых объектов и отключить мипмапы, где они не нужны. Инструмент простой, но редко встречается в WebGL-пайплайнах, хотя экономит огромное количество времени и памяти.

Атласы вместо дюжин картинок

Похожие текстуры собрали в общие атласы. Например, все текстуры рук уместили в один атлас 4×4, а каждая mesh сдвигала UV-координаты, чтобы взять свой кусок. Спрайты текста, сертификаты, бумажные обрывки, облака, монеты и осколки стекла тоже ушли в атласы. Больше 50 отдельных изображений превратились примерно в дюжину атласов, а большинство градиентных фонов заменили несколькими строками GLSL. Ранние сборки весили 35–40 МБ, финальная — меньше 10 МБ. При этом интерактивная карта мира вынесена в отдельную группу загрузки, чтобы не блокировать открытие сайта.

Текстурные загрузки: главный источник фризов

Уменьшить скачивание — только половина дела. Сжатые текстуры всё равно нужно загрузить в GPU на главном потоке, и крупная текстура легко блокирует рендер на 50 мс — достаточно, чтобы потерять несколько кадров. Если эта загрузка случается впервые во время скролла, подёргивание заметно сразу. Сайт может хорошо показывать себя в бенчмарках и при этом чувствоваться вязким.

• Декодировать вне главного потока — через createImageBitmap(). Тогда во время рендера остаётся только загрузка в GPU.
• Загружать в GPU в простое — декодированные текстуры ставят в очередь и выгружаются по requestIdleCallback, пока есть запас времени.
• Разбивать большие атласы на плитки 256² и загружать по одной на кадр, чтобы не выбиваться из бюджета кадра.

Когда известно, что следующий этап вот-вот появится — после загрузчика или во время перехода между воротами — очередь сбрасывается синхронно. Все нужные текстуры уже в видеопамяти, прежде чем они появятся на экране.

Адаптивное качество по реальному frame time

Невозможно заранее знать, на каком устройстве откроется сайт. Рендерер поэтому постоянно измеряет время кадра по скользящему окну и динамически меняет уровень качества. Если рендеринг замедляется — понижается tier. Если производительность стабильно высокая — tier снова растёт. Задержка между переключениями не даёт постоянно метаться у границы.

Уровни качества влияют только на визуальную полировку: devicePixelRatio, количество сэмплов размытия, геометрию монет, разрешение текста. Сама история остаётся неизменной и на флагмане, и на бюджетном телефоне. Для особо тяжёлых моментов — например, разбитие стекла — рендерер временно понижает пиксельное соотношение и отключает размытие и иней, прячет затраты внутри самого жеста.

Шейдеры под каждый эффект

Каждый ключевой момент использует собственный шейдер. ИИ помогал сгенерировать первые версии, но все финальные шейдеры переписывались и дорабатывались вручную. Вот несколько приёмов, которые стоит запомнить.

Постпроцессинг из нескольких проходов

Кадр собирается из цепочки проходов: основная 3D-сцена, процедурный фон, преломление стекла, иней и след от жеста, глубина резкости, foreground с зернистостью и тональной картой, отложенный текст, и в конце — разбитое стекло. Стеклянный, текстовый и шейдер разбития инициализируются лениво и прогреваются в простое, чтобы не попадать на критический путь загрузчика.

Иней из нарисованного нуля

Эффект инея строится на ping-pong-буфере из четырёх проходов: горизонталь, вертикаль и две диагонали. Каждый проход распространяет нарисованный штрих, захватывая самые яркие соседние пиксели и создавая восьмиугольный паттерн роста. Яркость текстуры льда модулирует шаг распространения, край получается кристаллическим. После замыкания контура центр масс штриха становится точкой отсчёта для радиального таяния.

Освещение без источников света

Реалтаймовое освещение скинненной меши рук было бы слишком дорогим, а свет должен был точно совпадать с оригинальным артом. Поэтому освещение запекли в текстуры и смешивают между ними. Используются два слота: один содержит текущий ключевой кадр, другой — следующий. По мере проигрывания анимации новый слот плавно вытесняет старый.

Перед смешиванием альфа предумножается, чтобы вокруг прозрачных краёв рук не появлялись тёмные ореолы. Обе текстуры освещения лежат в одном атласе, поэтому переключение между ключами требует только обновления двух UV-смещений и коэффициента смешивания.

Горящие деньги

Эффект сгорания использует noise-driven distance field. Фронт горения проходит по купюре, слегка опережая точку дискарда. Перед ним появляется тонкий HDR-ободок углей, затем обугленная поверхность. FBM — самая дорогая часть шейдера, поэтому фрагменты отсекаются как можно раньше, если они ещё не достигли порога горения.

Рвущиеся сертификаты

Каждая вершина хранит индекс полосы, к которой принадлежит фрагмент диплома. Фронт разрыва движется слева направо, и каждая полоса отделяется и падает независимо со своим вращением. Нормали для освещения строятся аналитически из той же волновой функции, которая анимирует меш, поэтому normal map не нужен.

Тоннель ZERO

Тоннель получается выдавливанием поперечного сечения из логотипа ZERO. Импульс яркости распространяется по мировой координате Z, поэтому эффект остаётся бесшовным, даже когда секции тоннеля повторяются.

Текст, который приходит в фокус

Нарративный текст появляется не мгновенно, а проявляется через семиотводное гексагональное размытие. Радиус размытия зависит от прогресса появления, поэтому буквы будто фокусируются. Проход выполняется в отложенном текстовом проходе и полностью пропускается, когда текст не виден.

Точность на мобильных

Одна из самых неприятных находок возникла на реальных мобильных GPU. Несколько шейдеров пришлось явно перевести на highp float, потому что на Adreno и Mali mediump — это настоящий 16-битный float. На десктопе ошибок не было, а на телефоне полосы диплома двигались одинаково, а эффект горения покрывался бэндами. Вывод: тестировать на реальных мобильных устройствах нужно с первых дней, а не перед релизом.

Дизайн взаимодействий

Исходный материал от заказчика состоял из картинок и видео, поэтому поведение каждых ворот проектировали с нуля. Большинство используют общую систему «нажми и удерживай». Общий конфиг задаёт момент появления подсказки и длительность удержания, а каждые ворота реализуют визуал через собственные хуки.

Пока пользователь удерживает касание, кадр постепенно смещается в тёмно-красный. Когда стекло разбивается, цвет возвращается примерно за 200 мс — это создаёт ощущение, что осколки выбивают темноту. Проверили вариант в 400 мс: он ощущался заметно слабее. Звук разбития привязан к первому отрисованному кадру, а не к таймеру: на медленных устройствах таймер может сыграть раньше анимации, и эффект рассинхронится.

Финальная награда — интерактивный мир

Последняя последовательность запуска выносит пользователя в открытое небо. Облака расступаются, открывая город с башней Zero University в центре, над которой появляется ореол — финальные ворота. Камера приземляется в интерактивную карту, где можно панорамировать, зумить и открывать карточки с ролями, сценариями и инструментами. Плашка Join Beta превращается в форму waitlist. После того как сайт вёл пользователя через историю, он отдаёт ему контроль — и просит остаться.

FAQ

Выводы

Самый важный урок проекта — подготовка ассетов и загрузка в GPU заслуживают не меньше внимания, чем сам рендеринг. Инструменты вроде превьювера компрессии, локальных декодеров, очереди загрузки и адаптивного менеджера качества редко выглядят героически, но именно они превратили гигабайт исходников в 10-мегабайтный сайт, который не тормозит на дешёвом телефоне.

ИИ генерировала первые версии кода и прототип, который выиграл нам проект, за 48 часов. Но полировка — сотни мелких решений, тестирование на реальных устройствах и инженерная интуиция — осталась за людьми.

Источник: технический разбор команды BUNQ LABS на Codrops.
Попробуйте открыть zero.university на десктопе и на бюджетном смартфоне — и сравните, где заметнее компромиссы качества.

LangChain4j — это Java-фреймворк для приложений на базе больших языковых моделей, аналог LangChain из мира Python. Его модуль langchain4j-agentic позволяет описывать агентные системы декларативно: прямо в Java-интерфейсах, через аннотации. Эксперимент Дюбуа и Фуско проверял две вещи сразу: достаточно ли «читаем» API фреймворка, чтобы модель использовала его без подсказок, и как ведут себя два главных паттерна агентных систем — supervisor и workflow — на одной и той же задаче отладки кода.

ИИ-ассистент по документации LangChain4j сам спроектировал и реализовал мультиагентного кодера — клона самого себя: супервизор плюс четыре субагента.

Собранная система починила все баги в тестовом классе Calculator: 11 тестов из 11 зелёные, сборка Maven успешна.

Модель gpt-4o провалила задачу, уйдя в цикл вызовов инструментов (сработал лимит в 100 вызовов), а более свежая gpt-5-mini справилась.

Жёсткий workflow-паттерн выполнил ту же задачу за 2 минуты против 6+ минут у supervisor-паттерна: автономная координация через LLM стоит дорого.

Новый интерфейс MonitoredAgent (langchain4j-agentic 1.12.2-beta22) показывает топологию системы и трейс вызовов агентов.

Вайбкодинг агента: промпт, который собрал агента

Идея эксперимента предельно проста: отдать код-ассистенту документацию и исходники LangChain4j и попросить собрать на их основе клона самого себя. Дословно промпт звучал так: «Изучи API и возможности агентного фреймворка LangChain4j по его документации и исходному коду и спроектируй на его основе агентного кодера, который будет клоном тебя самого».

Через несколько минут размышлений ассистент выбрал supervisor-паттерн: главный агент-координатор, который сам решает, какого субагента вызвать и с какими аргументами. Архитектура получилась такой — обратите внимание, вся система описывается одним аннотированным интерфейсом:

Ассистент спроектировал и написал четырёх субагентов, а также инструменты для каждого из них. Если вы пользовались «взрослыми» код-ассистентами, схема покажется знакомой — это ровно те четыре роли, которые такие инструменты исполняют внутри:

• ExplorerAgent — изучает кодовую базу (получил инструмент обхода файловой системы);
• PlannerAgent — составляет план изменений;
• ImplementerAgent — пишет и правит код (получил редактор кода);
• ExecutorAgent — компилирует и запускает результат.

Отдельно интересно, что модель воспроизвела собственное внутреннее устройство «сходу», без объяснений: похоже, современные LLM действительно имеют высокоуровневое представление о том, как устроены они сами, и умеют переводить его в рабочий дизайн агентной системы.

Проверка боем: агент чинит баги в Calculator

Чтобы испытать собранную систему, авторы пошли от обратного: попросили ассистента написать класс Calculator с четырьмя методами, в каждом из которых спрятан классический баг. Набор получился показательный — такие ошибки джуны делают постоянно:

• в методе sum() выход за границу списка: цикл до i <= size();
• в average() целочисленное деление вместо дробного;
• в max() стартовое значение 0 — ломается на списке из отрицательных чисел;
• в factorial() цикл до i < n — факториал недосчитан на один множитель.

Дальше ассистент сгенерировал интеграционный тест: скопировать проект с багами во временную папку и натравить на него агентного кодера:

Первая попытка: gpt-4o уходит в цикл

Первый прогон делали на gpt-4o — это модель по умолчанию в LangChain4j, и она поддерживает вызов инструментов. Результат: через несколько минут система упала с ошибкой. LLM застряла в цикле вызовов инструментов, и фреймворк прервал её на лимите в 100 последовательных вызовов:

Полезно знать: лимит в 100 вызовов инструментов подряд — дефолт LangChain4j. Он настраивается методом maxToolCallingRoundTrips() в AiServices, но дефолт вполне разумный: здоровому агенту столько вызовов не нужно, а беззащитный цикл сожжёт бюджет на токены.

Вторая попытка: gpt-5-mini чинит всё

Авторы уже сталкивались с таким поведением у старых моделей, поэтому просто заменили модель на gpt-5-mini — и тот же самый агентный дизайн отработал чисто. Система нашла все четыре бага, переписала методы (for-each вместо индексного цикла, приведение к (double) в среднем, инициализация максимума первым элементом, включительная граница в факториале) и отчиталась:

• mvn package — BUILD SUCCESS;
• mvn test — 11 тестов, 0 падений, 0 ошибок;
• финальный вердикт агента: «All tests in CalculatorTest.java pass (11/11)».

Это важный практический вывод, который часто недооценивают: агентная архитектура неотделима от модели, на которой она работает. Один и тот же дизайн на одной модели захлёбывается в tool-calling цикле, а на другой решает задачу. Прежде чем переписывать оркестрацию, попробуйте сменить модель.

Смотрим под капот: MonitoredAgent

Когда один ИИ собирает другого ИИ, вопрос «а что там внутри происходит» перестаёт быть риторическим. В версии 1.12.2-beta22 модуля langchain4j-agentic появился интерфейс MonitoredAgent: достаточно унаследовать от него корневой интерфейс системы, и фреймворк сам зарегистрирует монитор — можно распечатать отчёт о вызовах агентов и топологию системы:

По такому отчёту видно, какой агент когда вызывался и как система фактически связана в граф — без ручного сбора листенеров и регистрации AgentMonitor.

Supervisor против workflow: автономия или скорость

Автономность супервизора имеет скрытую цену: каждый шаг координации — это дополнительный вызов LLM, который «придумывает», кого вызвать дальше и с какими аргументами. Чтобы измерить эту цену, авторы попросили ассистента перепроектировать систему в детерминированном виде — только на workflow-паттернах LangChain4j.

Получилась строгая последовательность из пяти шагов: те же четыре роли плюс отдельный SummarizerAgent, который забрал у супервизора функцию финального отчёта. Шаги планирования и исполнения оформлены как циклы с самопроверкой:

Цикл исполнения устроен как связка «исполнитель → оценщик → рефактор»: итерации продолжаются, пока оценка качества не достигнет 0.8, но не дольше 5 итераций — защита от бесконечного сжигания токенов:

Та же задача с багами в Calculator — тот же результат: все тесты зелёные, финальная оценка качества 0.8. Но по времени картина разительно другая: две минуты у workflow против более чем шести у supervisor. Втрое быстрее — при большем числе агентов в системе. Вся разница — устранение координационных вызовов LLM: в workflow каждый следующий шаг известен заранее и «мнения» модели на этот счёт не требуется.

Это не означает, что supervisor не нужен. Выбор зависит от природы задачи:

• Workflow — когда задача раскладывается на предсказуемые этапы и важны скорость, стоимость и воспроизводимость. Детерминированная последовательность, циклы самопроверки — и никаких сюрпризов.
• Supervisor — когда маршрут по шагам заранее неизвестен и важнее гибкость: главный агент на лету решает, кого вызывать. Платите за это временем и токенами.

Что это значит на практике

Эксперимент Дюбуа и Фуско красиво подтверждает рекомендации, которые Anthropic сформулировала в гайде по эффективным агентам: начинайте с простейшего детерминированного пайплайна и добавляйте автономность только там, где без неё никак. Каждый «свободный» шаг координации — это лишний вызов модели: и по деньгам, и по латентности, и по шансу уйти в цикл. Замер в статье (3x на одной тривиальной задаче) — хорошая иллюстрация того, во что это превращается в проде.

Второй урок — про «вайбкодинг» агентных систем. То, что LLM собрала рабочую мультиагентную систему по документации, говорит больше о качестве API LangChain4j, чем о магии моделей: аннотации @SupervisorAgent, @SequenceAgent и @LoopAgent читаются как обычный декларативный дизайн, и модели это по зубам. Для Java-команд это практический повод присмотреться к фреймворку: порог входа в агентные системы здесь заметно ниже, чем кажется.

И третье: отлаживайте агентов как распределённую систему. Трейс вызовов и топология из MonitoredAgent — это тот же распределённый трейсинг, к которому вы привыкли в микросервисах, только спаны здесь — вызовы LLM. Без него вы не узнаете, что система половину бюджета потратила на «размышления» супервизора.

Выводы

Выбирайте workflow, когда критичны скорость, предсказуемость и цена выполнения. Выбирайте supervisor, когда автономность и гибкость важнее скорости — но помните, что свобода координации оплачивается токенами и временем.

Самособирающийся агент — пока эксперимент, а не продакшн-практика. Но три вывода из него применимы уже сегодня. Первый: хорошо спроектированный декларативный API читаем не только для людей, но и для моделей — и это становится критерием качества фреймворка. Второй: детерминированный workflow на предсказуемых задачах даёт троекратный выигрыш во времени — автономию стоит включать точечно. Третий: агентная система наследует слабости своей модели, поэтому мониторинг и лимиты вызовов — не опция, а необходимость.

Источники: оригинальная статья — The Self-Building Agent: A LangChain4j Experiment (InfoQ); код эксперимента — репозиторий langchain4j-agentic-coder; документация — Agentic Systems в LangChain4j.

Если строите агентные системы на Java — возьмите репозиторий, прогоните тест на своей модели и сравните supervisor с workflow на своих задачах. Цифры могут удивить.

Через четыре месяца четырёхагентный пайплайн на LangChain крутился одиннадцать дней и стоил 47 000 долларов. Никто не заметил, пока не пришёл счёт. Тот же паттерн: цикл работал корректно, но у него не было условия выхода.

Проблема не в моделях, а в отсутствии условия остановки. В этой статье разберём, как собрать минимальный, но production-ready каркас агентного цикла: спецификацию до запуска, предохранитель по токенам и ходам, неизменяемый аудит и поверхность для человеческого согласования. Полный код и 80 тестов с 100% покрытием доступны в репозитории автора оригинала.

Агентные циклы сжигают бюджет не из-за плохих моделей, а из-за нечёткого условия остановки.

Спецификация должна отвечать на три вопроса: что делает, что не делает и что значит «готово» — в одном предложении.

Circuit breaker режет цикл по жёстким потолкам: число ходов и суммарные токены. Проверка — до вызова модели, а не после.

Ledger в SQLite фиксирует каждый ход: хеш входа, дельту токенов, время, результат. Это аудит, а не лог для отладки.

Review surface даёт поверхность для обязательной человеческой аттестации и формирует аудиторскую квитанцию frame_hash, которую вызывающий код может использовать как условие передачи результата в прод.

Что такое агентный цикл и почему он уходит в бесконечность

Агентный цикл — это конструкция вида while True, внутри которой языковая модель получает задачу, вызывает инструменты, анализирует результат и решает, продолжать или закончить. Такие циклы лежат в основе оркестраторов вроде LangGraph, CrewAI и AutoGen, а также внутри coding-агентов. Если только начинаете разбираться с LLM, полезно сначала понять, как устроены большие языковые модели, а для практики — заглянуть в основы Python.

Цикл уходит в бесконечность не потому, что модель «глупая», а потому, что никто не определил, что значит «готово». Модель видит неоднозначность и пытается быть полезной: перефразирует вызов инструмента, запускает верифицирующего агента, тот находит «проблему», срабатывает корректирующий агент — и так далее. На дашбордах всё выглядит активно: растёт число вызовов инструментов, completion rate держится высоким, а бюджет течёт в пустоту.

Почему дорожает каждая итерация:
Агент не начинает с чистого листа. Он каждый раз перечитывает всё предыдущее окно контекста — все неудачные попытки, все промежуточные выводы. Итерация 1 стоит 100 токенов, итерация 10 — уже тысячи. Вы платите за каждый провал снова и снова.

Почему компании сначала платят за чатбота, а потом за агентный рабочий процесс

Gartner фиксирует разрыв в потреблении токенов между пилотными чатботами и production-агентными рабочими процессами в 5–30 раз. А отчёт FinOps Foundation за 2026 год говорит, что 73% компаний превысили изначальный бюджет на ИИ. Цифры взяты из оригинального туториала; полные отчёты Gartner и FinOps Foundation доступны по платным подпискам. Причина разрыва — в неправильном масштабировании: команда планировала стоимость чатбота (~0,04 USD за взаимодействие), а в прод ушёл мультиагентный оркестр (~1,20 USD за взаимодействие, до 70x на сложных задачах).

A loop that runs without an exit condition isn't autonomous. It's a billing event waiting to happen.

Пять примитивов, которые ловят большинство отказов

Автор оригинального туториала предлагает не монолитный фреймворк, а пять независимых Python-модулей, которые можно встроить в любой проект. Вместе они покрывают три уровня риска: дисциплину до запуска, принудительную остановку во время работы и доказательства после.

1. Spec writer — заставляет ответить на три вопроса до первого вызова модели.
2. Circuit breaker — режет цикл, если превышены потолки по ходам или токенам.
3. Ledger — ведёт append-only журнал каждого хода в SQLite.
4. Agent loop — связывает три компонента в единый цикл.
5. Review surface — собирает пятиэлементный фрейм и требует человеческой аттестации перед выдачей результата.

Фаза 1. Определить «готово» до первой строчки кода

Самая дорогая ошибка в разработке агентов — не выбор модели, а начало кодинга до того, как команда может одним предложением описать условие завершения. «Агент проверит сайт» — не подходит. «Агент обходит целевой URL, извлекает все теги <title> и <meta name="description">, помечает отсутствующие или слишком длинные и останавливается» — подходит.

Spec writer интерактивно запрашивает три поля, сохраняет их значения в SQLite и возвращает неизменяемый SpecResult(frozen=True). Полученный session_id связывает спецификацию, строки журнала и итоговый результат в одну трассируемую сессию.

Почему frozen=True:
Спецификация — это обязательство, а не черновик. frozen=True запрещает переприсваивать поля объекта SpecResult, поэтому код цикла не может «подвинуть» условие завершения посреди запуска.

Фаза 2. Принудить «готово» на лету

Circuit breaker задаёт два жёстких потолка: turn_limit — максимальное число обращений к модели, и token_limit — суммарное число токенов за всю сессию. Каждый потолок — «строго больше»: если лимит 5 ходов, пятый ещё разрешён, шестой выбросит исключение.

Ключевое правило: breaker.check() вызывается до запроса к модели, а не после. Постфактум проверка бессмысленна: токены уже сожжены. Исключение, а не код возврата, — чтобы нельзя было промолчать.

Как подобрать лимиты для продакшена

Демонстрационные значения 5 ходов / 15 000 токенов слишком жёсткие для реальных задач. Для продакшена автор предлагает настроить лимиты под свой бюджет; в туториале приведён пример breaker = CircuitBreaker(turn_limit=10, token_limit=50000). Если одна сессия должна стоить не дороже 1 USD, а средний ход — 0,10 USD, получается порядка 10 ходов. Конкретный token_limit выбирается исходя из прайсинга модели и среднего размера контекста: чем длиннее история диалога, тем раньше сработает потолок.

• Стартуйте с жёсткими лимитами и разрешайте рост только по метрикам, не по интуиции.
• Отдельно лимитируйте retry-политику: каждый повторный запрос увеличивает и turn_count, и объём контекста.
• Не смешивайте лимит токенов с лимитом выходных токенов модели; circuit breaker считает сумму input + output.

Фаза 3. Записывать всё, что нельзя подделать

Circuit breaker защищает бюджет. Ledger защищает понимание того, что произошло. Это не лог для отладки, а журнал аудита: каждая строка — один ход, append-only, без обновлений и удалений.

Три решения стоит взять на заметку. Во-первых, вместо исходного текста сохраняется SHA-256 хеш входа: так не утекают персональные данные, а одинаковые входы разных запусков можно сравнивать. Во-вторых, pass_fail хранится как INTEGER (1/0), потому что у SQLite нет булева типа. В-третьих, временная метка — datetime.now(timezone.utc).isoformat(), так как datetime.utcnow() объявлен устаревшим в Python 3.12.

Фаза 4. Цикл, который уважает границы

Agent loop — единственный компонент, который обращается к языковой модели. Всё остальное работает локально: проверка потолков, запись в журнал, оценка условия выхода.

Анатомия одного хода простая и строгая: сначала breaker.check(), потом вызов модели, потом ledger.write(), потом проверка stop_reason. Если модель вернула end_turn — возвращаем результат. Если нет — добавляем сообщение continue и идём на следующий круг.

Этот вариант цикла — минимальный текстовый. Если агент использует инструменты, в Anthropic API stop_reason может быть tool_use: тогда нужно выполнить инструмент, вернуть его результат в messages и только потом решать, продолжать или завершать.

Системный промпт обязательно включает все три поля спецификации, а не только done_looks_like. Модели нужна негативная область — то, что агент делать не должен (what_it_does_not), — не меньше, чем позитивная: иначе она начнёт «добавлять ценность» за рамками задачи.

Фаза 5. Поверхность согласования: цикл бежит к человеку

Circuit breaker и ledger решают технические проблемы, но не отвечают на вопрос: «Соответствует ли результат тому, что обещали?» Именно здесь ошибки проходят в прод: вывод выглядит аккуратным, дашборд зелёный, ревьюер ставит галочку.

Review surface собирает пятиэлементный фрейм из SQLite и требует явной аттестации:

1. Исходное обещание — три поля спецификации.
2. Критерий приёмки — поле done_looks_like как явный бенчмарк.
3. Diff — вход первого хода, выход последнего, число ходов, токены, сработал ли breaker.
4. Доказательства — все строки ledger за сессию.
5. Неразрешённые допущения — строки с breach_reason и failed-ходами.

После согласования ревьюер вызывает attest(). Функция собирает пятиэлементный фрейм в каноническом порядке и считает от него SHA-256 — получается frame_hash. Это аудиторская квитанция: она доказывает, что ревьюер видел именно этот фрейм, а не краткое резюме.

Практический пример: SEO-аудит по расписанию

Автор приводит пример SEO-аудита. SEO-аудит имеет естественный ритм: обход, выявление проблем, исправление, ожидание переиндексации. Запускать агента 24/7 бессмысленно — он будет сжигать токены в паузах между событиями. Честная архитектура — cron-задача, которая запускает цикл по расписанию.

Пример упрощён:
В production-варианте стоит проверять URL (допустимые схемы и хосты) и оборачивать requests.get в try/except requests.RequestException, чтобы агент не падал при недоступности сайта.

Cron-строка выглядит так:

Агент выполняет работу, записывает ходы в ledger, и если circuit breaker сработал — результат уходит на человеческую проверку, а не в прод.

Провайдер-независимость через адаптер

Цикл работает с любым клиентом, удовлетворяющим протоколу LLMClient. По умолчанию используется Anthropic, но через адаптер можно подключить OpenAI, Gemini, Ollama, локальные модели или собственный сервер. В репозитории автора показан иллюстративный пример адаптера для OpenAI. Главное — привести ответ к форме, которую ожидает AgentLoop: usage.input_tokens, usage.output_tokens, content[0].text, stop_reason.

Выводы: дисциплина дороже модели

Большинство аварий с агентными циклами предотвращаются не интеллектом модели, а чёткими границами. Спецификация до запуска, жёсткие потолки ресурсов, неизменяемый аудит и человеческое согласование — это минимальный набор примитивов, который отделяет автономного агента от неконтролируемого биллингового события.

Для российских команд это означает, что внедрять LLM-агентов без бюджетных предохранителей — всё равно что запускать бесконечный цикл с доступом к корпоративной карте. Начните с пяти модулей, описанных выше, прогоните их на тестовом дубле модели и только после этого открывайте доступ к реальным API.

Define what done looks like before you start. That's the job, and always has been.

Полный код и 80 тестов с 100% покрытием доступны в репозитории автора оригинала: github.com/dannwaneri/production-safe-agent-loop.

Источник: How to Build a Production-Safe Agent Loop — From Exit Conditions to Audit Trails, freeCodeCamp.

Разберём минимальный, но готовый к продакшену скелет: разделение слоёв, валидацию входных данных, централизованную обработку ошибок, версионирование, ограничение частоты запросов и автоматическую документацию. Все принципы применимы и к Express, и к Fastify, и к NestJS.

Чистое API — это прежде всего разделение ответственности: роутер знает маршруты, контроллер переводит HTTP в вызовы сервиса, сервис отвечает за бизнес-логику, а схема проверяет входные данные. Такой подход делает код предсказуемым при любом масштабе.

Чистое API — это, прежде всего, разделение ответственности: роутеры, контроллеры, сервисы и валидация живут в разных слоях.

Валидация с помощью Zod выполняется на границе — до того, как запрос попадёт в бизнес-логику.

Централизованный обработчик ошибок — единственное место, где исключения превращаются в HTTP-ответы.

Стоит закладывать версионирование и документацию OpenAPI с первого дня: позже это обойдётся дороже.

Fastify и NestJS дают те же архитектурные идеи из коробки, но логика слоёв от этого не меняется.

Что мы будем строить

Возьмём намеренно простой домен — каталог товаров. Нам важна не бизнес-логика, а структура. К концу у нас будет REST API с единым форматом ответов, валидацией, версионированием по пути /api/v1, ограничением частоты запросов и интерактивной документацией Swagger.

Структура проекта

Прежде чем писать код, договоримся, где что лежит. Каждая фича — отдельная папка, а не рассыпанный по проекту набор файлов.

• api/v1/ — все маршруты версионированы с первого дня. Добавить v2 позже можно новой папкой, а не рефакторингом.
• products/ — фичевая папка владеет роутером, контроллером, сервисом и схемой.
• middleware/ — сквозная функциональность: защита, логирование, лимиты.
• lib/ — утилиты без привязки к фреймворку.

Разделяем ответственность

Самая частая ошибка в Express-приложениях — бизнес-логика внутри обработчика маршрута. Там же появляется валидация, работа с базой данных и формирование ответа. При росте проекта такой файл становится опасным для изменений.

Роутер знает только «куда идти»

Промежуточный обработчик валидации

Промежуточный обработчик validateRequest проверяет body, params и query до попадания в контроллер. Если данные не проходят проверку, ошибка передаётся в централизованный обработчик.

Контроллер переводит HTTP в вызовы сервиса

Контроллер не знает, где хранятся товары. Его задача — извлечь параметры из запроса, вызвать сервис и вернуть ответ. Всё остальное передаётся в централизованный обработчик ошибок через next(error).

Сервис содержит бизнес-логику

Сервис не зависит от HTTP. Когда придёт время заменить хранилище в памяти на настоящую базу данных, потребуется поправить только этот файл.

Валидация на границе с Zod

Любое API, принимающее внешние данные, должно их проверять. Без валидации один некорректный запрос способен превратиться в ошибку времени выполнения, некорректную запись в базе или уязвимость.

Zod даёт две вещи сразу: проверку во время выполнения и типы TypeScript, выведенные из одной схемы. Промежуточный обработчик validateRequest проверяет body, params и query до того, как запрос попадёт в контроллер. Если данные невалидны, дальше они не идут.

Единый обработчик ошибок

Разбросанная обработка ошибок — один из главных источников хаоса: где-то возвращается { error: '...' }, где-то { message: '...' }, а где-то случайно отдаётся HTML-страница. Решение — один обработчик, через который проходят все исключения.

Теперь клиент всегда получает предсказуемую форму ответа, а добавление логирования или отправки ошибок в мониторинг — однострочное изменение в одном месте.

Единый формат ответов

Успешный ответ всегда выглядит как { success: true, data: ... }, а ошибка — как { success: false, error: { code, message, details } }. Фронтенд или сторонний интегратор знает, чего ожидать от любого эндпоинта.

Версионирование API

Версионировать API с первого дня стоит недорого. Добавить версию позже — значит ломать существующих клиентов или городить сложную миграцию.

Новая версия — новая папка src/api/v2/ и новый префикс. Старые клиенты продолжают работать на /api/v1.

Ограничение частоты запросов

Rate limiting защищает API от случайных и намеренных перегрузок. Настроить его в Express помогает пакет express-rate-limit.

Глобальный лимит распространяется на все запросы; операции, которые изменяют данные, ограничены жёстче. Ответ тоже соответствует единому формату ошибки.

Документация OpenAPI и Swagger

API без документации годится только для автора. С помощью swagger-jsdoc и swagger-ui-express можно получить интерактивную документацию прямо из JSDoc-комментариев в роутерах.

Совет:
Держите описания эндпоинтов в одном файле с маршрутами, а glob в swagger.ts настройте на файлы, доступные во время работы приложения. Лучше генерировать спецификацию на этапе сборки, чем полагаться на исходники TypeScript.

Fastify и NestJS: альтернативы Express

Всё, что мы разобрали, работает и в Express. Но если вы начинаете проект с нуля, стоит взглянуть на альтернативы.

• Fastify — быстрее Express в бенчмарках (порой в два раза), имеет встроенный логгер Pino и валидацию по схеме. Разделение слоёв остаётся на совести разработчика.
• NestJS — популярен в крупных компаниях: слои модулей, контроллеров и сервисов навязаны архитектурой, что упрощает введение новых разработчиков в проект.
• Express — остаётся лучшим выбором, если вы присоединяетесь к существующему проекту или команда уже знает экосистему.

Архитектурные принципы — разделение слоёв, единый формат ошибок, валидация на границе — не зависят от фреймворка. Меняется только синтаксис.

FAQ

Минимальный набор для старта

Для самостоятельного запуска понадобятся базовые зависимости и алиасы путей в tsconfig.json. Объявите @/* на папку src, и примеры заработают без ручных правок импортов.

Выводы

Чистая структура API — это не переусложнение. Это минимум, при котором бэкенд можно поддерживать нескольким людям.

Мы собрали минимальный, но масштабируемый каркас: папки по фичам, разделённые слои, валидацию на границе, централизованную обработку ошибок, единый формат ответов, версионирование, лимиты и автоматическую документацию. Ни один из этих шагов сложный сам по себе. Их ценность — в сочетании и в том, чтобы сделать всё это до того, как код разрастётся.

Если начинаете новый Node.js-проект, не откладывайте структуру «на потом». А в существующем — попробуйте вынести валидацию в схему и собрать ошибки в одном обработчике. Потом всегда дороже.

Источники

Идеи и примеры в статье основаны на материале Gavin Cettolo «Clean API Design in Node.js: A Practical Guide» (dev.to).

В октябре 2025 года вышел Python 3.14 с экспериментальным JIT-компилятором и поддержкой шаблонных T-строк — язык продолжает ускоряться, не жертвуя простотой. Экосистема тоже не стоит на месте: FastAPI стал стандартом для высокопроизводительных API, а инструменты вроде Ruff и uv радикально ускорили рабочий процесс разработчика. Python Package Index (PyPI) насчитывает более 600 000 пакетов — для любой задачи, скорее всего, уже существует готовое решение.

Этот путеводитель — не энциклопедия и не учебник. Это навигационный хаб: мы кратко разберём каждую важную область Python и дадим ссылки на подробные материалы Tproger, где каждая тема раскрыта в деталях. Неважно, только начинаете вы знакомство с языком или уже пишете на нём продакшен-код — здесь вы найдёте структурированную карту для дальнейшего роста. Мы охватим основы синтаксиса, продвинутые концепции, три главных веб-фреймворка, Data Science, последние нововведения в Python 3.14 и карьерные перспективы.

— Python — язык №1 по TIOBE 2026, более 600 000 пакетов в PyPI

— Основы языка: динамическая типизация, duck typing, встроенные коллекции (list, tuple, dict, set и другие)

— Три главных веб-фреймворка: Django (full-stack), Flask (микро), FastAPI (async API)

— Python 3.14: экспериментальный JIT-компилятор и шаблонные T-строки

— Медианная зарплата middle Python-разработчика: 250 000—350 000 руб./мес.

— Функции: замыкания, LEGB, *args/**kwargs, лямбды

— ООП: классы, наследование, @property, магические методы

— GIL, threading, asyncio и multiprocessing — когда что использовать

— Тестирование с pytest, работа с файлами через pathlib

Основы языка: с чего начинается Python

Python — язык с динамической типизацией и строгим контролем отступов. Если в C++ или Java фигурные скобки определяют блоки кода, то в Python эту роль играют пробелы. Поначалу это непривычно, но на практике делает код единообразным и читаемым — у вас просто нет возможности написать нечитаемую «лапшу». Философия Python описана в «Дзен Python» (PEP 20): «Красивое лучше уродливого», «Явное лучше неявного», «Простое лучше сложного». Эти принципы пронизывают весь язык и его стандартную библиотеку.

Базовые типы данных в Python — это числа (int, float, complex), строки (str), булевы значения (bool), а также коллекции: списки (list), кортежи (tuple), множества (set) и словари (dict). Каждый тип имеет свои особенности. Например, целые числа в Python не ограничены размером: можно спокойно работать с числами в тысячи разрядов без переполнения — попробуйте сделать это в C или Java. Строки неизменяемы, а словари с Python 3.7 гарантированно сохраняют порядок вставки. Множества предоставляют проверку принадлежности элемента за O(1), а операции объединения, пересечения и разности выполняются за линейное время, что делает их незаменимыми для задач на поиск уникальных элементов.

Одна из ключевых концепций — duck typing: «если объект ходит как утка и крякает как утка, то это утка». Python не проверяет тип объекта заранее — он проверяет, поддерживает ли объект нужную операцию. Это даёт гибкость, но требует дисциплины. Современный Python активно использует аннотации типов (type hints), которые помогают IDE и линтерам находить ошибки ещё до запуска кода. Начиная с Python 3.10 появился оператор match/case (паттерн-матчинг), а в 3.12 — улучшенные дженерики и type aliases, которые делают типизацию ещё удобнее.

Переменные в Python — это не ячейки памяти, а метки (имена), привязанные к объектам. Понимание этого механизма — ключ к предсказуемой работе с мутабельными типами вроде списков и словарей. Когда вы пишете a = b для списка, вы не копируете данные — обе переменные указывают на один и тот же объект в памяти. Отсюда классические ловушки с изменяемыми аргументами по умолчанию и «неожиданным» изменением данных. Для создания независимой копии нужно использовать срез [:], метод copy() или модуль copy для глубокого копирования.

Управляющие конструкции в Python минималистичны и выразительны. Условия записываются через if/elif/else, циклы — через for и while. Конструкция for в Python ближе к foreach из других языков: она итерирует по элементам коллекции, а не по индексам. Функция range() генерирует последовательности чисел для случаев, когда нужен числовой цикл. Важно освоить и обработку исключений (try/except/finally) — Python использует исключения не только для ошибок, но и как механизм управления потоком, например StopIteration для завершения итерации.

Подробнее о типах данных и их поведении — в нашем гайде по основным типам данных. А если хотите системно пройти все базовые концепции от установки до первого проекта — загляните в подробное описание языка для начинающих.

Функции в Python

Функции — основной инструмент структурирования кода в Python. Ключевое слово def создаёт функцию, return возвращает результат. Python поддерживает позиционные и именованные аргументы, значения по умолчанию, а также распаковку через *args (кортеж позиционных) и **kwargs (словарь именованных). Это позволяет создавать гибкие интерфейсы: от простых утилит до сложных API-обёрток.

Анонимные функции lambda удобны для коротких выражений — например, в качестве ключа сортировки: sorted(users, key=lambda u: u.age). Однако злоупотреблять ими не стоит: если лямбда не помещается в одну строку, лучше написать обычную функцию с понятным именем.

Python использует правило LEGB для поиска переменных: Local → Enclosing → Global → Built-in. Это объясняет, почему переменная внутри функции «затеняет» глобальную, и почему для изменения глобальной переменной нужно объявление global. Замыкания (closures) — функции, захватывающие переменные из объемлющей области видимости — лежат в основе декораторов, фабричных функций и callback-паттернов.

Функции в Python — объекты первого класса: их можно передавать как аргументы, возвращать из других функций и сохранять в структурах данных. Это фундамент для функционального стиля программирования, который активно используется вместе с map(), filter() и functools.

ООП в Python

Python — мультипарадигменный язык, но ООП в нём реализовано глубоко и последовательно. Классы создаются ключевым словом class, конструктор определяется методом __init__, а первый параметр каждого метода — self, ссылка на текущий экземпляр. В отличие от Java или C#, где this подразумевается неявно, Python требует явного указания — это осознанный выбор в пользу читаемости.

Python поддерживает множественное наследование через механизм MRO (Method Resolution Order) — алгоритм C3-линеаризации определяет порядок обхода родительских классов. Полиморфизм реализуется через duck typing: нет необходимости в интерфейсах — достаточно, чтобы объект имел нужные методы. Для формальных контрактов есть модуль abc с абстрактными базовыми классами и декоратором @abstractmethod.

Инкапсуляция в Python — скорее соглашение, чем принуждение. Префикс _ обозначает «приватный» атрибут, __ — активирует механизм name mangling, но ни то ни другое не запрещает доступ. Для контролируемого доступа к атрибутам используют декоратор @property, который превращает метод в вычисляемое свойство с геттером, сеттером и делетером.

Магические методы (dunder-методы) — мощный механизм, позволяющий объектам вести себя как встроенные типы. __str__ и __repr__ управляют строковым представлением, __eq__ и __hash__ — сравнением, __len__ и __getitem__ — доступом к элементам. Подробный разбор синтаксиса и концепций Python — в нашем подробном описании языка для начинающих.

Модули и пакеты Python

Модульная система Python проста: любой .py-файл — это модуль, а директория с __init__.py — пакет. Импорт осуществляется через import и from ... import. Python ищет модули по путям из sys.path, куда автоматически входят текущая директория, стандартная библиотека и директория site-packages с установленными пакетами.

Для управления зависимостями экосистема предлагает несколько инструментов. Классический pip + venv решает базовые задачи: создание изолированного окружения и установка пакетов из PyPI. Poetry добавляет управление зависимостями через pyproject.toml, lock-файлы и публикацию пакетов. Новый uv — написанный на Rust менеджер пакетов — работает в 10—100 раз быстрее pip и активно набирает популярность.

Стандартная библиотека Python (batteries included) — одна из самых богатых: от работы с сетью (http, socket) до сериализации (json, pickle), регулярных выражений (re) и параллелизма (threading, multiprocessing). Полный список из более чем 200 модулей доступен в нашей подборке полезных Python-библиотек.

Практика: задачи для начинающих

Главная ошибка при изучении программирования — читать теорию неделями, не написав ни строчки кода. Python хорош тем, что позволяет начать практиковаться с первого дня: интерактивный интерпретатор (REPL), быстрая обратная связь и понятные сообщения об ошибках снижают барьер входа до минимума. Откройте терминал, напишите python3 — и вы уже можете экспериментировать.

Начинайте с простых задач: обработка строк, работа со списками, базовые циклы и условия. Затем переходите к задачам на функции, рекурсию и работу с файлами. Важно не просто решать задачу, а разбирать чужие решения — так вы быстрее освоите идиоматический Python. Один грамотно решённый пример научит вас большему, чем десять страниц документации. Обращайте внимание на то, как опытные разработчики используют встроенные функции (enumerate, zip, map), срезы списков и словарные включения — это и есть «питонический» стиль.

Хорошая практика — вести собственный файл с решениями и заметками. Возвращаясь к задачам через неделю, вы увидите, как вырос ваш уровень. Платформы вроде LeetCode, Codewars и HackerRank предлагают задачи с автоматической проверкой, но начинать лучше с задач, адаптированных под русскоязычную аудиторию. Ещё один совет: не гонитесь за количеством. Пять задач, решённых вдумчиво с разбором альтернативных подходов, ценнее пятидесяти, решённых механически копированием паттернов.

Мы собрали подборку задач для начинающих — от элементарных до задач средней сложности. Каждая задача тренирует конкретный навык: работу с коллекциями, строковыми операциями, логикой ветвления. Рекомендуем решать их последовательно — сложность нарастает постепенно, и к концу подборки вы будете уверенно владеть основами языка.

Продвинутые концепции Python

Когда основы освоены, приходит время познакомиться с инструментами, которые отличают код новичка от кода опытного разработчика. В Python таких инструментов много, но есть пять ключевых концепций, без которых сложно писать по-настоящему качественный код: декораторы, генераторы, comprehensions, контекст-менеджеры и механизм *args/**kwargs. Именно владение этими инструментами отличает junior-разработчика от middle — и именно их чаще всего спрашивают на собеседованиях.

Декораторы

Декоратор — это функция, которая принимает другую функцию и возвращает её модифицированную версию. Звучит абстрактно, но на практике декораторы встречаются повсеместно: @property, @staticmethod, @login_required в Django, @app.route() во Flask. Они позволяют добавлять поведение без изменения исходного кода функции — логирование, кэширование, проверку прав доступа, валидацию аргументов, замер времени выполнения.

Под капотом декоратор — это обычный паттерн: функция, принимающая функцию и возвращающая функцию. Но синтаксический сахар с символом @ делает код лаконичным и выразительным. Декораторы можно параметризовать, складывать стопкой (применять несколько к одной функции) и даже применять к целым классам. Стандартная библиотека Python включает полезные декораторы: @functools.lru_cache для кэширования результатов, @functools.wraps для сохранения метаданных обёрнутой функции.

Декораторы — одна из тех тем, которые кажутся сложными ровно до момента, пока не разберёшься. Подробный разбор с примерами — в статье «Декораторы в Python: понять и полюбить».

Генераторы и comprehensions

Генераторы — это функции с ключевым словом yield, которые возвращают данные лениво, по одному элементу за раз. Вместо того чтобы создавать в памяти список из миллиона элементов, генератор выдаёт их по запросу. Это критически важно при обработке больших файлов, потоков данных и результатов SQL-запросов. Генератор занимает фиксированный объём памяти независимо от количества элементов — хоть миллион, хоть миллиард.

Comprehensions (списковые, словарные и множественные включения) — это питонический способ создания коллекций в одну строку. Вместо цикла из трёх строк вы пишете выразительную конструкцию: [x ** 2 for x in range(10) if x % 2 == 0]. Они быстрее эквивалентных циклов (Python оптимизирует их на уровне байткода) и читаются проще — если не злоупотреблять вложенностью. Словарные включения {k: v for k, v in pairs} и множественные {x for x in items} работают по тому же принципу.

Контекст-менеджеры и *args/**kwargs

Конструкция with в Python — это контекст-менеджер, который гарантирует корректное освобождение ресурсов: закрытие файлов, соединений с базой, снятие блокировок. Вместо try/finally вы пишете with open('file.txt') as f: — и ресурс освобождается автоматически, даже если произошла ошибка. Можно создавать собственные контекст-менеджеры через методы __enter__/__exit__ или декоратор @contextmanager из модуля contextlib — это проще, чем кажется.

*args и **kwargs позволяют создавать функции с переменным числом аргументов. Это основа для написания гибких API, декораторов и обёрток. Понимание того, как Python распаковывает аргументы, открывает путь к элегантным решениям: передача параметров из словаря в функцию одной строкой, объединение конфигураций, создание универсальных обёрток. В комбинации с аннотациями типов (ParamSpec, Concatenate) этот механизм стал ещё мощнее в последних версиях Python.

Отдельного внимания заслуживает работа с памятью. Python скрывает от разработчика ручное управление памятью, но понимание того, сколько весят разные типы данных и как работает сборщик мусора, помогает писать эффективный код. Например, пустой список в Python занимает 56 байт, а каждый элемент добавляет 8 байт на указатель плюс размер самого объекта. Для числовых задач это означает, что NumPy-массив может быть в 10 раз компактнее обычного списка. Детальный разбор — в статье о распределении памяти в Python.

Dataclasses и NamedTuple

Модуль dataclasses (Python 3.7+) решает классическую проблему: написание классов, которые в основном хранят данные. Декоратор @dataclass автоматически генерирует __init__, __repr__, __eq__ и другие методы. С параметром frozen=True класс становится неизменяемым — удобно для конфигураций и DTO.

NamedTuple — ещё более лёгкая альтернатива: именованный кортеж занимает меньше памяти, чем dataclass, и автоматически поддерживает распаковку и итерацию. Выбор между ними прост: нужна изменяемость или наследование — dataclass, нужна компактность и совместимость с кортежами — NamedTuple.

Многопоточность, асинхронность и GIL

GIL (Global Interpreter Lock) — глобальная блокировка интерпретатора CPython, которая гарантирует, что в каждый момент времени только один поток выполняет байткод Python. Это упрощает реализацию интерпретатора и работу с памятью, но ограничивает параллелизм CPU-задач. Важно: GIL не мешает I/O-параллелизму — потоки освобождают блокировку при ожидании сети, диска или sleep.

Модуль threading подходит для I/O-bound задач: параллельные HTTP-запросы, чтение файлов, работа с базами данных. Для CPU-bound вычислений (обработка изображений, математические расчёты) используйте multiprocessing — он создаёт отдельные процессы, каждый со своим GIL. Пул concurrent.futures.ProcessPoolExecutor упрощает распределение задач по ядрам.

Модуль asyncio — стандарт для асинхронного программирования в Python. Конструкции async def и await позволяют писать неблокирующий код, который выглядит почти как синхронный. Один поток обрабатывает тысячи соединений — именно поэтому FastAPI и другие ASGI-фреймворки работают быстрее классических WSGI-аналогов.

Когда что использовать? threading — для I/O-операций с умеренной нагрузкой. asyncio — для высоконагруженных I/O-сценариев (веб-серверы, парсеры). multiprocessing — для CPU-bound задач. На практике они часто комбинируются: например, asyncio для сетевого ввода-вывода и ProcessPool для тяжёлых вычислений внутри одного приложения.

Важная новость: PEP 703 предлагает сделать GIL опциональным (free-threaded Python). Экспериментальная сборка без GIL уже доступна в Python 3.13+ через специальную сборку python3.14t (free-threaded build). В Python 3.14 этот режим стал официально поддерживаемым (PEP 779). Если эксперимент окажется успешным, в будущих версиях Python сможет полноценно использовать все ядра процессора без обходных путей через multiprocessing.

Тестирование в Python

Тестирование — не роскошь, а базовая гигиена разработки. В Python стандартом де-факто является pytest — фреймворк, который сочетает простоту написания тестов с мощной системой расширений. Обычные функции с assert — это уже тесты. Не нужны классы, наследование от TestCase и специальные методы.

Фикстуры (@pytest.fixture) управляют подготовкой и очисткой тестового окружения: подключение к базе данных, создание тестового клиента, временные файлы. Параметризация (@pytest.mark.parametrize) позволяет прогнать один тест с десятками наборов входных данных без дублирования кода.

Для изоляции внешних зависимостей используйте unittest.mock — встроенный модуль, который позволяет подменять HTTP-запросы, обращения к базе данных и вызовы внешних сервисов. В связке с pytest это покрывает 95% потребностей в тестировании. TDD (Test-Driven Development) — подход, при котором тест пишется раньше кода. Его необязательно практиковать всегда, но для сложной бизнес-логики он существенно снижает количество регрессий.

Работа с файлами и данными

Python предоставляет удобные инструменты для работы с файлами любых форматов. Конструкция with open(...) гарантирует корректное закрытие файла даже при ошибке. Модуль pathlib (Python 3.4+) — современная замена os.path: объектно-ориентированные пути, кроссплатформенная совместимость и цепочки вызовов.

Для структурированных данных стандартная библиотека предлагает модули json, csv и configparser. Для YAML понадобится сторонний пакет PyYAML. Работа с Excel-файлами — через openpyxl или pandas. Для больших объёмов данных используйте потоковое чтение: csv.reader или json.JSONDecoder().raw_decode() вместо загрузки всего файла в память.

Для работы с распределением памяти и внутренним устройством типов данных Python — рекомендуем нашу статью о распределении памяти в Python: сколько и в каких случаях занимают типы данных.

Веб-разработка на Python

Python — один из ключевых языков для серверной веб-разработки. Три фреймворка покрывают практически все сценарии: Django — для полнофункциональных приложений, Flask — для микросервисов и лёгких проектов, FastAPI — для высокопроизводительных API. Каждый из них занимает свою нишу, и выбор зависит от масштаба проекта, требований к производительности и опыта команды. Разберём сильные и слабые стороны каждого, чтобы вы могли сделать осознанный выбор.

Django: всё включено

Django — это «батарейки в комплекте». ORM, админ-панель, система аутентификации, шаблонизатор, миграции базы данных, защита от CSRF и XSS, формы с валидацией, кэширование, интернационализация — всё работает из коробки и не требует сторонних зависимостей. Это делает Django идеальным выбором для крупных проектов: интернет-магазинов, SaaS-платформ, CRM-систем, внутренних корпоративных порталов. Instagram, Mozilla, Disqus, Pinterest — все они используют Django в продакшене.

Главное преимущество Django — зрелость. Фреймворку больше 20 лет, он имеет огромное сообщество, тысячи готовых пакетов (django-rest-framework, django-allauth, celery) и предсказуемый цикл релизов. Django ORM позволяет работать с базой данных через Python-объекты, не написав ни строчки SQL, а система миграций автоматически отслеживает изменения в моделях. Обратная сторона — Django навязывает свою архитектуру. Если вам нужен только REST API без шаблонов и админки, значительная часть фреймворка будет «мёртвым грузом».

Flask: минималистичный и гибкий

Flask — противоположность Django. Микрофреймворк даёт маршрутизацию, обработку запросов и систему расширений — остальное вы выбираете сами. Нужна ORM? Подключите SQLAlchemy. Нужна авторизация? Flask-Login. Хотите WebSocket? Flask-SocketIO. Такой подход идеален для микросервисов, прототипов и проектов, где полный контроль над стеком важнее скорости старта. Flask часто выбирают для внутренних сервисов, API-шлюзов и проектов, которые начинаются маленькими, но могут вырасти.

Flask отлично сочетается с фронтенд-фреймворками. Например, в статье «Пишем одностраничное приложение с Flask и Vue.js» мы показываем, как построить SPA с Flask-бэкендом — от настройки проекта до деплоя. Это типичный современный стек: Python на сервере, JavaScript-фреймворк на клиенте.

FastAPI: скорость и типизация

FastAPI — самый молодой из тройки, но уже ставший стандартом для создания API. Он построен на Starlette (ASGI) и Pydantic, поддерживает async/await из коробки и автоматически генерирует документацию OpenAPI (Swagger UI и ReDoc) прямо из аннотаций типов в коде. FastAPI — один из самых быстрых Python-фреймворков благодаря Starlette и uvicorn. Валидация данных через Pydantic-модели ловит ошибки ещё до обработки запроса, а type hints превращаются в живую документацию API. Dependency injection встроен в ядро фреймворка, что упрощает тестирование и переиспользование кода.

Но скорость — не всё. FastAPI требует понимания асинхронного программирования, а экосистема пока уступает Django и Flask по количеству готовых решений. Для простого CRUD-приложения с админкой Django справится быстрее; для прототипа с нестандартной архитектурой Flask даст больше свободы. О подводных камнях и ситуациях, когда FastAPI — не лучший выбор, мы подробно рассказываем в статье «Почему не стоит выбирать FastAPI» — честный разбор, который поможет принять взвешенное решение.

Какой фреймворк выбрать

• Полноценное веб-приложение с админкой и авторизацией — Django
• Микросервис или прототип с полным контролем над стеком — Flask
• Высокопроизводительный REST/GraphQL API с автодокументацией — FastAPI
• Не уверены — начните с Django: у него самый пологий путь от нуля до продакшена

На практике многие команды используют несколько фреймворков одновременно: Django для основного приложения, FastAPI для высоконагруженных микросервисов, Flask для внутренних инструментов. Python позволяет комбинировать. Общий навык для всех трёх фреймворков — понимание HTTP-протокола, REST-архитектуры, работы с базами данных и основ безопасности (CORS, CSRF, XSS, SQL-инъекции). Освоив эти концепции на одном фреймворке, вы легко перейдёте на другой.

Python для Data Science

Если веб-разработка — давняя территория Python, то Data Science — его новая сверхдержава. По данным JetBrains Developer Ecosystem Survey, Python — самый изучаемый язык программирования и основной инструмент дата-аналитиков и дата-инженеров. R, Julia, Scala — у каждого есть свои преимущества, но ни один не предлагает такую же широту экосистемы. Причина — уникальный набор библиотек, который покрывает весь pipeline работы с данными: от загрузки и очистки до визуализации и развёртывания моделей в продакшен.

NumPy — фундамент всего стека. Библиотека предоставляет многомерные массивы и математические операции, работающие на порядки быстрее чистого Python — за счёт реализации на C. Умножение матрицы 1000x1000 в NumPy выполняется за миллисекунды, в то время как наивная реализация на чистом Python займёт минуты. Pandas строится поверх NumPy и предлагает удобные таблицы (DataFrame), позволяя загружать, фильтровать, группировать и агрегировать данные в несколько строк кода. Данные из CSV, Excel, SQL, JSON — Pandas читает практически всё.

Для машинного обучения стандартом остаётся scikit-learn — библиотека с десятками алгоритмов классификации, регрессии и кластеризации. Её главная сила — единый интерфейс: fit(), predict(), score() работают одинаково для любого алгоритма, будь то случайный лес, SVM или градиентный бустинг. Это позволяет быстро сравнивать модели, менять алгоритмы одной строкой и строить пайплайны предобработки данных.

Для глубокого обучения Python предлагает PyTorch и TensorFlow — два гиганта, на которых построены GPT, Stable Diffusion и другие модели, изменившие индустрию. PyTorch доминирует в исследованиях благодаря динамическим вычислительным графам, а TensorFlow остаётся популярным в продакшене благодаря TensorFlow Serving и TFLite. Визуализация данных — matplotlib для статичных графиков, seaborn для статистических визуализаций и plotly для интерактивных дашбордов. Jupyter Notebook объединяет всё это в единую среду, где код, графики и текст живут рядом.

Разобраться в ключевых библиотеках поможет наш топ-10 Python-библиотек для Data Science. А если хотите расширить инструментарий за пределы стандартного набора — загляните в подборку 10 полезных библиотек, о которых вы могли не слышать: там есть настоящие жемчужины для отладки, профилирования и работы с данными.

Для управления окружениями в Data Science часто используют conda (Anaconda/Miniconda) — он умеет устанавливать не только Python-пакеты, но и системные зависимости вроде CUDA для GPU-вычислений.

Практические инструменты Python

Помимо веб-разработки и Data Science, Python — незаменимый инструмент для повседневных задач: интеграция с внешними сервисами, извлечение данных из веб-страниц и обработка текста.

Работа с API

Библиотека requests — стандарт для синхронных HTTP-запросов: лаконичный API, автоматическая сериализация JSON и управление сессиями. Для асинхронных задач и HTTP/2 используйте httpx — он совместим с requests по интерфейсу, но поддерживает async/await.

Веб-скрапинг

Для извлечения данных из HTML-страниц Python предлагает несколько уровней инструментов. BeautifulSoup — простой парсер для статических страниц: выборка по CSS-селекторам и тегам. Scrapy — полноценный фреймворк для масштабного скрапинга с очередями, ротацией прокси и экспортом данных. Selenium и Playwright — для страниц, где контент рендерится JavaScript'ом.

Регулярные выражения

Модуль re — мощный инструмент для поиска и трансформации текста по шаблонам. Основные функции: re.findall() для извлечения всех совпадений, re.sub() для замены и re.compile() для предкомпиляции часто используемых паттернов.

Совет: для сложных паттернов используйте сырые строки (r"...") — они избавляют от двойного экранирования обратных слэшей. А для задач, выходящих за рамки регулярных выражений (парсинг HTML, XML), всегда предпочитайте специализированные парсеры.

Что нового в Python 3.14

Python 3.14 (что нового) (да, «пи»-релиз — разработчики не упустили возможность пошутить), выпущенный в октябре 2025 года, стал одним из самых значительных релизов за последние годы. Главные нововведения направлены на производительность — область, где Python традиционно уступал компилируемым языкам. Но 3.14 меняет правила игры.

Экспериментальный JIT-компилятор (PEP 744) — пожалуй, главная новость. Он компилирует часто выполняемые участки кода (так называемые «горячие пути») в машинные инструкции прямо во время работы программы. На реальных приложениях это даёт эффект варьируется: от замедления на 10% до ускорения на 20% в зависимости от нагрузки — на некоторых задачах JIT пока замедляет код без каких-либо изменений в коде. JIT пока отключён по умолчанию (в официальных сборках для macOS и Windows JIT уже включён в бинарники — активируется переменной окружения PYTHON_JIT=1), но уже работает стабильно на большинстве платформ. Это первый шаг к тому, чтобы Python перестал считаться «медленным языком».

Внутренняя архитектура интерпретатора переработана: новый tail-call диспетчер опкодов (на уровне C, не Python-функций) даёт прирост 3—5% на стандартном benchmark suite. Важно: это не оптимизация хвостовой рекурсии в Python-коде — RecursionError при превышении глубины стека по-прежнему возможен.

T-строки (PEP 750) — новый синтаксис шаблонных строк с префиксом t"...". В отличие от f-строк, T-строки не выполняют подстановку сразу, а возвращают объект Template, который можно обработать — экранировать специальные символы, валидировать параметры, преобразовать значения. Это отличное решение для безопасной генерации HTML и SQL без риска инъекций.

Среди других улучшений — ускоренные операции со словарями (до 40% быстрее в некоторых сценариях), оптимизированная работа сборщика мусора и улучшенные сообщения об ошибках, которые теперь подсказывают возможные причины проблемы. Обновлён синтаксис обработки исключений (PEP 758): теперь можно писать except ValueError, TypeError: без скобок (без as — с as по-прежнему нужны скобки: except (ValueError, TypeError) as e:). Также завершён переход на отложенное вычисление аннотаций типов (PEP 649/749) — аннотации больше не вычисляются при импорте модуля, что ускоряет запуск. Python продолжает развиваться, сохраняя обратную совместимость и фокус на удобстве разработчика.

Куда двигаться дальше

Python открывает множество карьерных путей, и выбор зависит от ваших интересов и склонностей. Вот основные направления, в каждом из которых Python — ключевой или один из основных инструментов:

1. Backend-разработчик — Django, Flask или FastAPI, базы данных (PostgreSQL, Redis), REST API, очереди задач (Celery), контейнеризация (Docker, Kubernetes)
2. Data Scientist / ML-инженер — pandas, scikit-learn, PyTorch, работа с данными, статистика, построение и деплой моделей
3. DevOps / SRE — автоматизация инфраструктуры (Ansible, Terraform), скрипты мониторинга, CI/CD пайплайны, облачные провайдеры (AWS, GCP)
4. ИИ-инженер — LLM, промпт-инжиниринг, RAG-системы, fine-tuning, LangChain, работа с API нейросетей (OpenAI, Anthropic, Mistral)
5. Автоматизатор / QA-инженер — Selenium, Playwright, pytest, автоматизация тестирования, нагрузочное тестирование (Locust)

Независимо от выбранного направления, есть навыки, которые пригодятся везде: Git для контроля версий, SQL для работы с базами данных, Docker для контейнеризации, Linux для понимания серверной среды. Python-разработчик в 2026 году — это не просто человек, который знает синтаксис языка, а специалист, владеющий инструментарием вокруг него. Также стоит освоить виртуальные окружения (venv, poetry, uv), линтеры (ruff, mypy) и основы CI/CD — это ожидается от любого профессионального разработчика. Для управления версиями Python-проектов пригодится наш путеводитель по Git.

Рынок труда подтверждает спрос: по данным hh.ru, количество вакансий с Python стабильно растёт на 15—20% в год, а медианная зарплата Python-разработчика уровня middle составляет 250 000—350 000 рублей в месяц. Специалисты на стыке Python и Data Science / ML зарабатывают ещё больше. Язык востребован не только в IT-компаниях: банки, телеком, ритейл, промышленность — Python нужен везде, где есть данные и автоматизация.

Отдельно стоит упомянуть растущий спрос на ИИ-инженеров. С развитием больших языковых моделей Python стал основным языком для интеграции ИИ в продукты: построение RAG-систем, создание агентов, fine-tuning моделей — всё это делается на Python. Библиотеки LangChain, LlamaIndex, Hugging Face Transformers формируют новую экосистему, которая растёт быстрее любого другого направления в IT.

Если вы в начале пути — начните со структурированной дорожной карты изучения Python. Она поможет не потеряться в обилии материалов и выстроить последовательный план обучения от основ до профессионального уровня. А затем возвращайтесь к этому путеводителю — здесь вы всегда найдёте ссылки на углублённые материалы по каждой теме. Мы регулярно обновляем наши гайды, чтобы они оставались актуальными — так что добавляйте страницу в закладки.

EmDash — это новая open-source CMS (система управления контентом) на TypeScript от Cloudflare, которую компания называет «духовным наследником WordPress». Главная идея: плагины работают в изолированных песочницах и не могут навредить сайту, даже если содержат уязвимости.

• Cloudflare выпустила EmDash v0.1.0 — open-source CMS на TypeScript с MIT-лицензией
• Каждый плагин запускается в изолированной песочнице (Dynamic Workers) и декларирует нужные разрешения в манифесте
• 96% уязвимостей WordPress-сайтов приходится на плагины — EmDash решает эту проблему архитектурно
• Под капотом — Astro, serverless-архитектура, Portable Text вместо HTML, встроенный MCP-сервер для ИИ-агентов
• Проект создан за 2 месяца с помощью ИИ-агентов, доступен на GitHub (3200+ звёзд за сутки)

WordPress исполнится 23 года в этом году (основан в 2003 году). Платформа обслуживает более 40% всех сайтов в интернете, но её архитектура родом из эпохи, когда AWS EC2 ещё не существовал. Плагинная система WordPress — главное преимущество и главная боль одновременно.

Почему безопасность плагинов WordPress — нерешаемая проблема

В WordPress плагин — это PHP-скрипт, который встраивается напрямую в ядро и получает полный доступ к базе данных и файловой системе. Нет изоляции, нет ограничений. Установить плагин — значит полностью ему довериться.

Статистика Wordfence и других ИБ-компаний неутешительна:

• 96% уязвимостей WordPress-сайтов происходят из плагинов
• В 2025 году нашли больше критических уязвимостей в экосистеме WordPress, чем за два предыдущих года вместе
• Очередь ревью в маркетплейсе WordPress.org — 800+ плагинов, ожидание — минимум 2 недели

WordPress не может решить эту проблему, не переписав архитектуру с нуля. Cloudflare решила это сделать.

Как EmDash изолирует плагины

В EmDash каждый плагин запускается в собственном изолированном воркере (Dynamic Worker — легковесная v8-песочница, запускающаяся за миллисекунды). Вместо полного доступа ко всему, плагин декларирует в манифесте, какие возможности ему нужны:

Этот плагин запрашивает ровно два разрешения: чтение контента и отправку email. Ничего другого он сделать не может — ни обратиться к внешнему серверу, ни прочитать файловую систему, ни получить доступ к базе данных напрямую.

Модель напоминает OAuth: при установке плагина вы видите, какие именно разрешения он запрашивает, и принимаете осознанное решение. Администратор может задать политики — какие capabilities допустимы для каких ролей.

Архитектура и стек

EmDash построен на современном стеке:

• TypeScript — весь код, включая плагины и темы
• Astro — фреймворк для контентных сайтов, рендеринг тем
• Portable Text — структурированный JSON вместо HTML, контент не привязан к DOM
• Serverless — масштабируется до нуля, работает на Cloudflare Workers или любом Node.js-сервере
• Passkeys — аутентификация без паролей по умолчанию (WebAuthn)
• MIT-лицензия — без ограничений GPL, плагины могут иметь любую лицензию

Хранение и совместимость

На Cloudflare EmDash использует D1 (база данных), R2 (файлы), Workers (вычисления). Но абстракции портируемы: можно запустить на SQLite, PostgreSQL, AWS S3 или локальном файловом хранилище. Команда для развёртывания:

ИИ-нативная CMS: MCP, CLI, Agent Skills

EmDash спроектирован для работы с ИИ-агентами:

• Встроенный MCP-сервер — Claude, ChatGPT и другие ИИ-инструменты могут управлять сайтом напрямую через Model Context Protocol
• Agent Skills — файлы-инструкции для ИИ-агентов: как писать плагины, портировать темы с WordPress, работать со схемами контента
• CLI — программное управление контентом, медиа, схемами

По сути, рутинную работу — миграцию контента, создание плагинов, адаптацию тем — можно поручить ИИ-агенту, и EmDash даст ему весь необходимый контекст.

Встроенная монетизация через x402

Каждый сайт на EmDash поддерживает стандарт x402 — нативные интернет-платежи. Клиент (например, ИИ-агент) отправляет HTTP-запрос, получает ответ 402 Payment Required и оплачивает доступ к контенту на лету. Настроить монетизацию можно без единой строчки кода — указать, какой контент платный, и привязать кошелёк.

Миграция с WordPress

EmDash поддерживает импорт существующих WordPress-сайтов:

1. Экспорт WXR-файла (WordPress eXtended RSS) из WordPress-админки
2. Или установка плагина EmDash Exporter, который создаёт защищённый endpoint для миграции
3. Автоматический перенос постов, страниц, медиафайлов и таксономий

Кастомные типы контента (которые в WordPress требуют Advanced Custom Fields) в EmDash задаются через визуальный конструктор схем в админке.

Что стоит учесть

EmDash находится в статусе бета-превью (v0.1.0). Несколько моментов:

• Проект молодой — 62 коммита, 4 контрибьютора, 34 релиза
• Песочница для плагинов через Dynamic Workers требует платного аккаунта Cloudflare (от $5/мес), но EmDash запускается и без неё — плагины будут работать в safe mode без изоляции
• Экосистема плагинов и тем ещё не сформировалась — на старте доступны формы, встраивания, SEO, аудит-лог
• Привязка к инфраструктуре Cloudflare — можно запустить на Node.js, но максимальную производительность даёт именно Cloudflare

Выводы

WordPress — триумф open source, который дал возможность публиковаться миллионам. Но экосистеме нужен вариант, который даёт ту же свободу и доступность, решая при этом проблемы, которые WordPress не может решить.

EmDash — амбициозная заявка Cloudflare на рынок CMS. За 24 часа после анонса проект набрал более 3200 звёзд на GitHub и 600+ баллов на Hacker News. Продакшн-готовности пока нет — это бета. Но идея изолированных плагинов с декларативными разрешениями решает реальную проблему, которая мучает WordPress-экосистему десятилетиями.

Попробовать EmDash можно в онлайн-песочнице или развернуть локально через CLI.

Go стал очень популярным языком для бэкенд-API, потому что он предоставляет:

• Очень высокая производительность (компилируемый язык)
• Простой параллелизм с помощью горутин
• Простое развертывание (один бинарный файл)
• Отлично подходит для микросервисов и облачных приложений

Такие крупные компании, как Google, Uber, Twitch, Dropbox, активно используют Go для серверных сервисов.

5 лучших веб-фреймворков Go в 2026 году

Gin — безопасный выбор по умолчанию

Сайт → https://gin-gonic.com/

GitHub → https://github.com/gin-gonic/gin

Gin — пожалуй, самый популярный фреймворк на Go на сегодняшний день. Если вы не знаете, что выбрать, выбирайте Gin.

Скорость изучения: 1–2 дня

Идея для бенчмарка: ~50–70 тыс. запросов в секунду

Преимущества 👍

• Очень прост в настройке

• Огромное сообщество и промежуточное ПО

• Стабилен и проверен в реальных условиях

• Работает со стандартной экосистемой net/http

Недостатки 👎

• Непредвзятость → большие проекты могут стать запутанными

• Отсутствие встроенной системы внедрения зависимостей

• Некоторым не нравится стиль с использованием контекста

Fiber — стиль Express.js для Go

Сайт → https://gofiber.io/

GitHub → https://github.com/gofiber/fiber

Fiber похож на Express.js, но написан на Go. Если вы знакомы с Node.js, он вам понравится.

Скорость обучения: 1 день

Идея бенчмарка: ~70–110 тыс. запросов в секунду

Преимущества 👍

• Чрезвычайно быстрый

• Очень удобен для разработчиков на Node

• Множество встроенных функций

• Чистый и простой синтаксис

Недостатки 👎

• Использует fasthttp вместо net/http

• Некоторые библиотеки Go не работают

• Отладка может быть затруднена

• Экосистема меньше, чем у Gin

Echo — чистый и продуманный фреймворк

Сайт→ https://echo.labstack.com/

GitHub → https://github.com/labstack/echo

Echo — это сбалансированный фреймворк. Не слишком маленький, не слишком большой.

Скорость изучения: 2–3 дня

Идея бенчмарка: ~50–65 тыс. запросов в секунду

Преимущества 👍

• Чистая структура

• Встроенная система проверки и промежуточное ПО

• Хорошая документация

• Развитая и стабильная

Компромиссы 👎

• Экосистема меньше, чем у Gin

• Для некоторых расширенных функций требуются дополнительные библиотеки

• Не такой быстрый, как Fiber

Chi — легковесный маршрутизатор для чистой архитектуры

Сайт → https://go-chi.io/

GitHub → https://github.com/go-chi/chi

Chi — это не полноценный фреймворк. Это маршрутизатор, который используется во многих серьезных микросервисах.

Время обучения: несколько часов

Идея бенчмарка: ~45–60 тыс. запросов в секунду

Преимущества 👍

• Очень легкий

• Использует стандартную сеть/http

• Идеально подходит для чистой архитектуры

• Простое тестирование

Компромиссы 👎

• Не подходит для новичков

• Все нужно создавать самостоятельно

• Нет встроенной объектно-реляционной модели или вспомогательных инструментов

• Медленное начало работы над небольшими проектами

Beego — полноценный MVC-фреймворк

Сайт → https://beego.vip/

GitHub → https://github.com/beego/beego

Beego похож на Django. В нем есть ORM, интерфейс командной строки, сессии, шаблоны.

Скорость освоения: 1–2 недели

Идея бенчмарка: ~20–40 тыс. запросов в секунду

Преимущества 👍

• Все встроено

• Быстрая разработка монолитных приложений

• Хорошие инструменты командной строки

• Встроенная объектно-реляционная модель и шаблоны

Компромиссы 👎

• Более низкая производительность

• Больше весит по сравнению с Gin или Fiber

• Сегодня сообщество меньше

• Не подходит для микросервисов

Откуда взяты эти показатели производительности

Приведенные выше цифры не случайны. Вы можете проверить их здесь:

👉 https://www.techempower.com/benchmarks/

Это самый надежный бенчмарк в сфере бэкенд-разработки. Он тестирует фреймворки на одном и том же оборудовании с одинаковой нагрузкой.

Но помните ⚠️

Реальная производительность зависит от:

• использования базы данных

• ведения журналов

• аутентификации

• размера полезной нагрузки

• TLS

• аппаратного обеспечения

Поэтому всегда проводите собственное тестирование.

Мои рекомендации на 2026 год:

- Если вы новичок → начните с Gin

- Если вам нужна максимальная производительность → попробуйте Fiber

- Если вам нужна сбалансированная структура → используйте Echo

- Если вам нравится чистая архитектура → используйте Chi

- Если вам нужен полноценный MVC → используйте Beego

Помните, что идеального фреймворка не существует. Выберите тот, который подходит вашей команде и проекту.

Перевод статьи

В версии urllib3 2.6.0 разработчики удалили несколько API, которые считались проблемными еще с 2019 года и были официально помечены как устаревшие с 2022-го.

Все было сделано «по правилам»: предупреждения в документации, changelog, отдельные сообщения через DeprecationWarning при каждом использовании устаревших методов.

Казалось, что сигнал более чем очевидный. Но на практике это не сработало.

После релиза выяснилось, что удаление API стало сюрпризом даже для активно поддерживаемых проектов — зависимых библиотек и крупных клиентов.

Почему предупреждения никто не заметил

Ключевая проблема в том, что DeprecationWarning в Python по умолчанию отключен. Он находится в списке предупреждений, которые интерпретатор просто игнорирует, если разработчик явно не включил их показ.

В итоге ситуация выглядела так: API годами «кричал» о своей устарелости, но его никто не слышал.

Когда методы удалили, пользователи и сопровождающие популярных библиотек — Kubernetes-клиента, Fastly, Airflow — столкнулись с поломками и неожиданными ошибками.

По словам Ларсона, обратная связь была однозначной: разработчики не видели предупреждений и не понимали, что API вот-вот исчезнет. В результате команде urllib3 пришлось срочно вернуть удаленные методы обратно и выпустить исправляющий релиз.

Предупреждение есть, эффекта нет

Вывод автора жесткий: DeprecationWarning в текущем виде не работает для Python-библиотек. Он формально существует, но экосистема его просто не воспринимает как сигнал к действию.

Парадокс в том, что сам механизм warnings в Python удобный и встроенный прямо в язык. Но именно DeprecationWarning оказался слишком «вежливым» — он не мешает, не ломает код и потому остается незамеченным.

Какие есть варианты выхода

Ларсон рассматривает несколько возможных путей:

• создавать собственные предупреждения на базе UserWarning, которые не игнорируются по умолчанию;
• отказаться от длительных периодов устаревания и делать более частые мажорные релизы по SemVer, как это принято в криптографических библиотеках;
• менять культуру работы с предупреждениями в Python — но это долгий и малореалистичный путь.

Что это значит для экосистемы

История с urllib3 показала: даже в зрелой и массовой экосистеме стандартные механизмы могут перестать выполнять свою функцию. DeprecationWarning задумывался как мягкий способ предупредить пользователей, но на практике он стал «мертвым письмом».

Для разработчиков библиотек это тревожный сигнал: если вы полагаетесь только на стандартные предупреждения, велика вероятность, что их просто никто не увидит — до тех пор, пока API не исчезнет и все не сломается.

• джунам, которые выбирают первый стек технологий;
• мидлам, которые хотят сравнить свой опыт с коллегами;
• сеньорам, которые подбирают инструменты под новый проект.

Вы узнаете — какие библиотеки и фреймворки выручают Java-разработчиков в 2025 году. Игорь Казаков, Константин Шибков и Вадим Федосеев рассказали, почему джависты предпочитают конкретный инструмент, для каких задач он удобен и на что обращать внимание при выборе.

Чем фреймворк отличается от библиотеки?

Библиотека работает как набор инструментов.

Хотите парсить JSON? Подключаете Jackson. Нужно логирование? Добавляете SLF4J. Вы решаете, когда и как использовать код библиотеки.

Фреймворк задаёт структуру приложения.

К примеру, Spring Boot — он запускает ваше приложение, создаёт контекст, инжектит зависимости. Хотите вы или нет, но придётся писать контроллеры, сервисы и репозитории по правилам фреймворка.

Некоторые фреймворки можно использовать как библиотеки. Например, Hibernate — с ним работают как с библиотекой для маппинга объектов или как с полноценным фреймворком с управлением сессиями и жизненным циклом. Выбор зависит от задачи и предпочтений команды.

На что смотрят профи, когда выбирают Java-фреймворк?

Фреймворк должен сопровождаться хорошей документацией, без этого самый крутой функционал превращается в головную боль. На втором месте — стабильность. Очень расстраивает, когда сделал 90% фичи, а потом всё встало из-за нерешённого бага в библиотеке.

Игорь Казаков, Lead Software Engineer (Java), при выборе инструмента оценивает:

• Производительность. Следующие преимущества будут неактуальными, если инструмент плохо оптимизирован.
• Документацию. Её наличие экономит массу времени и новичкам, и продвинутым пользователям.
• Поддержку. Важно, чтобы команда разработки инструмента следила за его актуальностью и совместимостью, держала вопросы безопасности на высоком уровне.
• Сообщество. Даже с блестящей документацией важно комьюнити, готовое поделиться опытом.

Отдельно он подчёркивает модульность и обратную совместимость — никто не хочет переписывать половину проекта после обновления версии.

Константин Шибков, Java-разработчик, ждёт от фреймворка следующее:

Жду от идеального фреймворка регулярные релизы с поддержкой новых технологий и версий языка, простое подключение модулей и понятный путь при миграции до новых мажорных версий. Идеальный фреймворк закрывает 80% типовых задач без бойлерплейта и лишней магии. Заложенная безопасность, готовая россыпь метрик его работы, обратная связь с командой разработки — это обязательные элементы отличного инструмента.

1. Spring Boot

Spring — это целая экосистема фреймворков. Spring Boot — один из его фреймворков. При работе с SB вы используете «стартеры», которые автоматически создают бины для компонентов Spring.

Фреймворк определяет, какие библиотеки вы используете, и самостоятельно их настраивает. Если подключите базу данных, Spring Boot создаст пул соединений, добавите веб-зависимость — получите встроенный Tomcat-сервер. Любую автоматическую настройку можно переопределить.

Spring Boot выбирают для разработки:

• REST API и микросервисов,
• веб-приложений с шаблонизаторами,
• консольных утилит и планировщиков задач,
• интеграций с внешними системами.

Spring Boot — самый распространённый фундамент любого бекэнд приложения. В большинстве вакансий я вижу именно SB. Фреймворк отлично сочетает рабочие библиотеки, хорошо описан и даёт достаточно контроля.

Новичкам советую начать именно со Spring Boot. Даже если проект в итоге не потребует всего функционала, вы получите отличное понимание современных практик Java-разработки, а также сможете быстро написать приложение без копания в тоннах документации и бесконечных отладок кода.

2. Hibernate

Фреймворк связывает Java-объекты с таблицами в базе данных. Вместо написания SQL-запросов вы работаете с обычными классами и методами.

Hibernate — зрелая ORM, реализующая стандарт JPA. Используется в большинстве видимых мною проектов с реляционными БД. Снимает с разработчика много рутины и позволяет в достаточной мере оптимизировать работу с базами.

Инструмент рекомендуют для разработки типичных бизнес-приложений с CRUD-операциями. Hibernate автоматически генерирует SQL, управляет транзакциями и кеширует данные. Вы пишете user.save() — фреймворк сам создаёт INSERT-запрос и выполняет его.

Иногда складывается обманчивое впечатление, когда запуск простого приложения на фреймворке — это задача 5 минут. Hibernate достаточно прост для создания CRUD приложения. Но когда нужны сложные связи между таблицами, особые типы данных или непростые выборки данных, в этих случаях фреймворк начинает «давить» на разработчика ограничениями и неявными правилами, которые были скрыты в угоду удобства.

3. Jackson

Библиотека превращает Java-объекты в JSON и обратно. Работает через аннотации — вешаете @JsonProperty на поле, и Jackson понимает, как его назвать в JSON.

Нужно игнорировать какое-то поле? Добавили @JsonIgnore и забыли. При этом Jackson умеет работать даже без аннотаций — просто смотрит на геттеры и сеттеры вашего класса.

Jackson стабилен, гибок и незаменим в работе с JSON.

Базовый модуль работает с JSON, но можно подключить дополнительные: для XML, YAML, CSV. Один и тот же код сериализует объекты в разные форматы. Ещё Jackson дружит с Java 8+ фичами через отдельный модуль.

Библиотека пригодится, когда пишете REST API, работаете с конфигурационными файлами или интегрируетесь с внешними сервисами. Spring Boot использует Jackson по умолчанию — все @RestController автоматически отдают JSON через него.

4. JUnit

Больше 20 лет JUnit лидирует среди фреймворков для тестирования Java-приложений. Разработчики выбирают его за простоту и скорость написания тестов — достаточно поставить аннотацию @Test над методом, и он превращается в полноценный тест.

JUnit — это модульные тесты через простую аннотационную модель, интеграция с IDE и средами сборки.

Фреймворк выручает при рефакторинге старого кода. Написали тесты на существующую логику — можете менять реализацию. Тесты покажут, если что-то сломалось.

JUnit 5 добавил параметризованные тесты: один тестовый метод проверяет сразу десяток разных входных данных.

К Spring Boot обязательно беру JUnit + AssertJ, Mockito и Testcontainers — вместе они обеспечивают реалистичные интеграционные тесты и быстрый фидбек в CI.

5. MapStruct

Библиотека генерирует код маппинга между Java-объектами во время компиляции. Вместо ручного переписывания полей из одного объекта в другой, вы пишете простой интерфейс с аннотациями — MapStruct создаёт реализацию автоматически.

Не представляю быструю реализацию мапперов без MapStruct. Библиотека избавляет от сотен строк шаблонного кода и ошибок при преобразовании DTO< ->Entity.

MapStruct изящно решает рутинную задачу преобразования объектов без магии и просадок производительности.

6. Lombok

Библиотека автоматически генерирует повторяющийся код через аннотации. Вместо того, чтобы писать геттеры, сеттеры, конструкторы и методы equals/hashCode руками, вы просто ставите аннотацию @Data над классом.

Lombok экономит время: помогает писать код чище.

Библиотека встраивается в процесс сборки и добавляет нужные методы в байт-код. Новые разработчики в команде могут удивиться, откуда берутся методы, которых нет в исходниках. Зато вы экономите время на рутине и концентрируетесь на бизнес-логике.

Jackson и Lombok — стандарт для энтерпрайза, без них не обходится ни один проект. Lombok не идеален, но сильно сокращает шаблонный код и делает DTO более читаемыми, позволяет сосредоточиться на бизнес-логике.

7. Testcontainers

Testcontainers решает классическую проблему: как протестировать код, который работает с базой данных или внешними сервисами? Библиотека запускает настоящие Docker-контейнеры прямо из тестов — PostgreSQL, Redis, Kafka, что угодно. Тесты получают реальное окружение вместо заглушек и моков.

Контейнеры живут ровно столько, сколько выполняются тесты. Запустил тест — поднялась база, прошёл тест — контейнер удалился.

Testcontainers выручает при:

• интеграционном тестировании с реальными базами данных,
• проверке миграций и SQL-запросов,
• тестировании микросервисов с брокерами сообщений,
• работе с NoSQL-хранилищами.

JUnit 5 с Jupiter API — стандарт для тестирования. Особенно в связке с Testcontainers — это очень важный инструмент.

8. Micronaut

Фреймворк компилирует магию dependency injection на этапе сборки, а не во время запуска приложения. Ваш сервис стартует за 1-2 секунды вместо привычных 10-30 секунд у Spring Boot. Типичное приложение съедает 50-100 МБ вместо нескольких сотен.

Фреймворк рекомендуют в трёх случаях:

• Пишете микросервисы и устали ждать перезапуска при каждом изменении.
• Разворачиваете приложения в AWS Lambda, Google Cloud Functions.
• Платите за облачные ресурсы и хотите сэкономить на железе.

Micronaut поддерживает реактивное программирование из коробки, дружит с GraalVM и компилируется в нативные образы. При этом синтаксис остаётся знакомым — те же аннотации @Controller, @Service, @Repository, что и в Spring.

9. Quarkus

Фреймворк компилирует код в нативные исполняемые файлы через GraalVM. Ещё Quarkus работает с микросервисами и облачными платформами.

Quarkus потребляет в 10 раз меньше памяти по сравнению с традиционными Java-приложениями. Разработчики пишут обычный Java-код, а фреймворк самостоятельно оптимизирует его под контейнеры и Kubernetes.

Некоторые компании используют Quarkus как более быструю и легкую альтернативу Spring Boot. Однако мне показалось, что вакансий с ним на рынке СНГ в разы меньше, чем на SB.

Quarkus и Micronaut хороши для небольших проектов и там, где важен быстрый старт приложения. Но пока они проигрывают Spring Boot в зрелости и глубине интеграций для большинства enterprise-сценариев.

10. MyBatis

Фреймворк соединяет Java-объекты с БД через SQL-запросы. В отличие от Hibernate, где SQL генерируется автоматически, здесь вы пишете запросы сами и размещаете их в XML-файлах или аннотациях.

MyBatis выбираю для маппинга запросов, когда планируется сложная бизнес-логика.

Фреймворк не навязывает архитектуру приложения и легко встраивается в существующий код.

11. Guava

Библиотека Google Guava закрывает пробелы стандартной Java. Это набор утилит, который экономит время на рутине. Валидация параметров, работа с Optional до Java 8, удобные билдеры для коллекций — библиотека решает десятки мелких задач, с которыми сталкивается каждый разработчик.

Новичкам всегда советую брать самые популярные инструменты, которыми пользуются большинство компаний. В Java не так много фреймворков, поэтому по умолчанию рекомендую Spring Boot, Hibernate, JUnit. Это тот опыт, который нужен для большинства вакансий. Изучив перечисленные инструменты, можно попробовать менее популярные инструменты и уже на личном опыте оценить их пользу.

🙄 После публикации заметили, что забыли упомянуть один не менее популярный фреймворк. Делитесь догадками в комментариях — какой инструмент незаслуженно остался на страницах черновика?

Последний рубеж React и Vue

Согласны, что VDOM превратился в бюрократическую прослойку? Изменили состояние в одном месте — получите полный пересчёт дерева компонентов. Фреймворки заставляют загружать всё сразу, тащат багаж служебного кода. И пока этот код не загрузится, пользователь смотрит на белый экран.

SSR ускоряет загрузку страницы: сервер рендерит HTML, пользователь видит контент и пытается с ним взаимодействовать. Но пока JavaScript не загрузится, ничего не заработает.

Потом JS наконец подгружается и начинает гидратацию. По сути, он заново создаёт в памяти то же дерево компонентов, которое сервер уже отрендерил в HTML. Выполняется двойная работа. Кстати, в это время пользователь тыкает неработающие кнопки — дотерпит ли он до полной загрузки?

Системные проблемы не исправить очередным хуком или новой версией фреймворка, поэтому появление SolidJS и Qwik — было вопросом времени.

Поиск новых решений — здоровый признак развития фронтенда. В конце концов, и Vue был создан потому, что Эвану Ю не хватало облегченной альтернативы AngularJS. Большая тройка фреймворков решает огромный спектр задач, имеет колоссальную поддержку сообщества, но их нельзя назвать идеальным инструментом на все случаи жизни.

Обзор SolidJS

SolidJS во многом похож на React. Самое интересное — его подход к обновлению интерфейса:

• Отсутствие виртуального DOM — Solid напрямую обновляет только те DOM-узлы, которые действительно изменились.
• Компоненты как функции инициализации — каждый компонент вызывается только один раз для настройки реактивности.
• Сигналы вместо хуков — состояние управляется через createSignal(), который возвращает геттер/сеттер пару.

Например, когда срабатывает счётчик, Solid не перерисовывает весь компонент. Он точечно обновляет только текст внутри <p>, где используется count():

Преимущества SolidJS

👍 Производительность и размер бандла

Благодаря отсутствию виртуального DOM и мелкозернистым обновлениям, приложения работают быстрее аналогов на React.

👍 Простота освоения

Синтаксис SolidJS похож на React. Функциональные компоненты, JSX, концепции вроде Suspense и Error Boundaries — всё это есть в Solid. Изучение основ займёт 1-2 дня, если есть опыт с MobX/effector/RxJS.

👍 Стабильность

Фреймворк находится на стабильной версии 1.x. Это означает отсутствие кардинальных изменений API, в отличие, например, от ситуации со Svelte, где сосуществуют версии 4 и 5 с разными подходами.

👍 Совместимость с React

SolidJS совместим с экосистемой React. Можно переиспользовать дизайн-системы и компоненты в legacy-приложениях.

👍 Удобное управление состоянием

Функционал сигналов и сторов покрывают 90% потребностей в управлении состоянием без необходимости подключать внешние библиотеки.

Минусы SolidJS

👎 Ограниченная экосистема

Выбор готовых компонентов и библиотек значительно меньше, чем у React. Команды тратят больше времени на создание компонентов с нуля: тяжко при работе с таблицами, гридами, формами, валидацией.

👎 Кривая обучения

Несмотря на знакомый синтаксис, модель реактивности SolidJS отличается от React. Разработчики должны усвоить следующие принципы:

• Избегать условных конструкций непосредственно в компонентах.
• Не деструктурировать пропсы и сторы, чтобы сохранить реактивность.
• Не использовать асинхронный код внутри createEffect.

👎 Проблемы с инструментарием

Возникают сложности с настройкой компилятора в нестандартных окружениях — монорепозиториях, при запуске тестов или интеграции с другими инструментами. DevTools не дотягивает до аналога у React.

👎 SolidStart всё ещё развивается

SSR-решение SolidStart пока не достигло зрелости Next.js или Nuxt. Разработчики сообщают о проблемах с гидратацией и других сложностях при работе с серверным рендерингом.

Обзор Qwik

Qwik — это проект Мишко Хевери (создателя Angular). Идея фреймворка заключается в возможности возобновить работу приложения на клиенте без повторного выполнения кода, который уже был выполнен на сервере.

В Qwik радикально решили проблему гидратации — полностью отказались от неё. Время до интерактивности (TTI) падает в разы. Пользователь может кликать на кнопки сразу после загрузки HTML, без ожидания разогрева всего приложения.

Qwik автоматически разбивает код на мелкие чанки и загружает их только при необходимости. Символ $ в коде указывает на границы ленивой загрузки.

Плюсы Qwik

👍 Мгновенная загрузка

Практически нулевой JavaScript при первоначальной загрузке, следовательно отличные показатели Core Web Vitals.

👍 Автоматическая оптимизация

Оптимизация на уровне компилятора, умная предзагрузка критических ресурсов. Не нужно думать о разделении кода — Qwik делает это автоматически.

👍 Знакомый синтаксис

👍 Спасибо за SEO

Быстрая загрузка улучшает ранжирование за счёт полноценного SSR из коробки.

Минусы Qwik

👎 Молодая экосистема

Ограниченное количество библиотек, мало готовых решений и компонентов. Небольшое сообщество разработчиков (если сравнивать с React/Vue).

👎 Кривая обучения

Придётся изучать новые концепции. Из-за ленивой загрузки усложняется отладка.

Qwik — это радикально новая ментальная модель. У фреймворка высокий порог входа: вас ждёт переобучение команды и сложности ручной оптимизации. Чтобы Qwik работал идеально, разработчик должен вручную указывать, что можно лениво загружать, а что нет.

👎 Сложность интеграции

Трудно интегрировать существующие React/Vue компоненты и ограниченная поддержка сторонних библиотек. Скорее всего, придётся с нуля переписывать код существующего проекта.

Экосистема и готовность к продакшену

Если сравнивать с React, то экосистема — самое слабое место обоих фреймворков.

SolidJS имеет SolidStart — метафреймворк с роутингом, SSR и серверными функциями. Документация качественная, сообщество активное. Большинство React-библиотек можно адаптировать без особых проблем, для популярных UI-китов есть готовые порты.

Qwik развивается в связке с Qwik City, который покрывает типовые задачи веб-разработки. Builder.io активно инвестирует в экосистему, регулярно выходят обновления и новые интеграции.

Риски есть, но они управляемые. Меньший размер сообщества означает меньше готовых решений и ответов на Stack Overflow. Если не боитесь изучать новое, то выигрыш в производительности перевесит неудобства.

Сравнение SolidJS и Qwik

SolidJS повышает производительность обновлений. Если данные меняются часто и непредсказуемо — графики, мониторинги, редакторы — Solid даст максимальную отзывчивость.

Qwik повышает производительность загрузки. Если бизнес зависит от первого впечатления, Qwik обеспечит мгновенный старт.

Медиа, блоги с жёсткими требованиями к TTFB/TTI/INP будут лучше работать на Qwik. Пользователи смогут читать и скроллить без задержки. Интерактив добавляется дозированно — это лучшая стартовая стоимость.

E-commerce, каталоги с SEO и карточками рекомендуется разрабатывать на Qwik. Особенно если на главной тяжёлые модули, а клиенты приходят с поисковиков. Вы выигрываете у конкурентов буквально на первом взаимодействии.

Сложный SPA или дашборд с живыми виджетами и апдейтами будет лучше работать на SolidJS. Точечная реактивность упростит жизнь и снизит цену апдейтов. Solid сияет в проектах, где происходят сотни мелких изменений в секунду.

Solid хорош для аналогов десктопных приложений в браузере — Figma, Miro. Здесь приложение загружается один раз, а потом работает долго и должно быть максимально отзывчивым. Также Solid будет хорош там, где важна плавность анимаций.

Лэндинги, мобильные приложения, визитки — здесь Solid даст сверхбыструю реактивность и облегчит сборку.

Оба фреймворка умеют SSR/SSG и стриминг. Solid снижает стоимость обновлений, Qwik — стоимость старта. Для LCP/TTI/INP в контентных сценариях выигрывает Qwik. Для интенсивных интерактивных сценариев Solid удерживает FPS и снижает CPU.

Оба дружат с серверными платформами. SolidStart имеет адаптеры для Vercel/Netlify, Qwik City — тоже.

Выбирайте Solid.js, если вы создаете сервис, куда пользователь заходит надолго, и ему важна отзывчивость после загрузки. Выбирайте Qwik, если вы создаете сайт, куда пользователь приходит за контентом, и важно показать ему этот контент мгновенно.

Немного выводов:

• Solidjs быстрее Qwik при рендеринге. Qwik быстрее Solidjs при загрузке страниц.
• У Solidjs документация лучше, чем у Qwik.
• С нуля код на Qwik писать проще и быстрее, чем на SolidJS.
• Typescript в SolidJS может быть головной болью, в Qwik об этом можно не беспокоиться.

Практические рекомендации по переходу на SolidJS и Qwik

1. Начните с аудита текущих проблем. Посмотрите метрики сайта: сколько времени занимает гидратация? Тормозят ли обновления интерфейса? Где именно проблема — на старте или в процессе работы?
2. Выберите изолированную часть проекта. Возьмите один виджет, одну страницу, один компонент и реализуйте его на новом фреймворке. Измерьте разницу в производительности и удобстве разработки.
3. Если проблема в медленной загрузке — попробуйте Qwik. Соберите прототип лендинга или каталога, включите SSG с resumability и протестируйте на медленном соединении.
4. Если проблема в тормозах интерфейса — попробуйте Solid. Перепишите самый страдальный компонент с частыми обновлениями, уберите мемоизации и посмотрите на результат.

Оба фреймворка собираются через Vite, имеют TypeScript из коробки и хорошую интеграцию с популярными инструментами. Стоимость эксперимента низкая, а потенциальная выгода высокая.

Тенденция отказа от React/Vue

Компании и разработчики не столько отказываются от популярных решений, сколько перестают использовать их для всех задач подряд. Раньше выбора практически не было, и эти фреймворки были молотком, для которого любая задача — гвоздь.

А вы что думаете? Готовы попробовать модные фреймворки SolidJS и Qwik в следующем проекте?

Visual Studio Code. Лидер среди редакторов кода

Бесплатный, универсальный IDE от Microsoft. Поддерживает все языки программирования и Git. Главная особенность — тысячи расширений. Заточен под разработку программных продуктов небольшой и средней сложности, отлично подходит для начинающих разработчиков.

JetBrains IntelliJ IDEA / WebStorm / PyCharm — лучшие IDE для Java, JS, Python

Несколько продуктов в виде профессиональных IDE для конкретных языков: Java, JavaScript, Python. Здесь есть умный анализ кода, который находит ошибки для запуска, много конкретных плюшек для Java, JavaScript, Python. Отлично подходит для больших проектов и тех, кто занимается командной разработкой.

Neovim — для любителей Vim с мощными плагинами

Текстовый редактор на базе VIM для тех, кто любит минимализм, но при этом не готов жертвовать функциональностью. Работает с терминалом на любых устройствах. У него открытый исходный код, никаких платных версий. Neovim очень гибкий в плане кастомизации, поддерживается большим сообществом, для него есть много расширений.

Системы контроля версий

Git + GitHub / GitLab / Bitbucket

Git — бесплатный инструмент, который помогает следить за изменениями в коде и работать над проектом вместе с командой. GitHub добавляет удобную автоматизацию (Actions) и популярен для открытых проектов. GitLab хорош для закрытых задач благодаря встроенным инструментам и приватности. Bitbucket легко дружит с JIRA для командной работы. Базовые версии бесплатны, платные — от 3 до 19$ в месяц. GitHub выбирают для опенсорса, GitLab — для секретных проектов, а Bitbucket — для тех, кто уже использует JIRA.

Git Kraken

Удобный интерфейс для работы с Git, где все изменения показаны в виде дерева. Помогает разбираться с конфликтами в коде и видеть историю. Бесплатен для личных проектов, командная версия — 5$ в месяц. Отличный выбор для новичков и тех, кто любит визуальные подсказки.

Лучшие CLI-утилиты для Git

Набор помощников, которые упрощают разработку с Git через терминал. Например, git-extras работает с рутинными задачами, tig показывает историю изменений, а git-flow помогает организовать ветки кода. Всё бесплатное и работает без интернета. Подходит тем, кто хочет ускорить работу и не боится командной строки.

Инструменты для CI/CD

GitHub Actions, GitLab CI/CD — встроенные пайплайны

GitHub Actions помогает автоматизировать сборку и запуск кода — например, чтобы тесты проходили сами после каждого изменения. Бесплатно до 2 тыс. минут для открытых проектов. GitLab CI/CD встроен в GitLab и делает то же самое с 400 бесплатными минутами, плюс больше контроля над процессом. Оба работают прямо с вашим кодом, без лишних программ. GitHub Actions проще для новичков, GitLab CI/CD — для тех, кому важна приватность. Отлично для команд, которые уже сидят на этих платформах.

Jenkins, CircleCI, Travis CI — обзор популярных решений

Jenkins — бесплатный инструмент с открытым кодом, где можно настроить всё под себя. Нужен свой сервер, зато без ограничений. CircleCI ускоряет автоматизацию, но стоит от 15$ в месяц. Travis CI дружит с GitHub: бесплатно для открытых проектов, от 69$ для закрытых. Jenkins берут для сложных задач, CircleCI — для скорости, а Travis — для простых опенсорс-проектов.

ArgoCD и FluxCD — CI/CD для Kubernetes

GitOps-инструменты для Kubernetes. ArgoCD синхронизирует код с кластерами через GUI и поддерживает откаты ошибок. FluxCD легче настраивается и автоматически обновляет образы. Оба бесплатны и работают с Helm. ArgoCD предпочтительнее для команд с опытом в Kubernetes, FluxCD — для небольших проектов с минимальными настройками.

Средства тестирования

Selenium, Cypress — тестирование фронтенда

Selenium — инструмент для автоматизации браузеров через WebDriver. Поддерживает все языки программирования, но требует дополнительных библиотек. Cypress — современное решение на JavaScript с упором на простоту и стабильность тестов. Выполняет тесты в том же цикле событий, что и приложение. Selenium универсальнее, Cypress быстрее и интуитивнее для фронтенд-разработчиков.

JUnit, PyTest, Mocha — тестирование кода

Набор инструментов для тестирования кода. JUnit — популярный выбор для Java, особенно в больших компаниях, где используют Spring; он простой и надёжный для старта. PyTest делает тестирование на Python удобным и понятным, без лишних сложностей. Mocha (часто с Chai) подходит для JavaScript: гибкий, лёгкий, и отлично работает с проектами на фронтенде или бэкенде. Все три встраиваются в автоматизацию и хороши для новичков, которые хотят проверять код без головной боли.

Postman, Newman — API-тестирование

Postman — удобный инструмент, который начинался как способ тестировать API, а теперь помогает создавать запросы, проверять их и даже автоматизировать работу. Newman — его версия для командной строки, чтобы запускать тесты без интерфейса, например, вместе с другими автоматическими задачами. Оба бесплатны для базовых вещей, а командные функции стоят от 12$ в месяц. Postman подойдёт новичкам для ручной проверки API или создания прототипов, а Newman — для автоматического тестирования API в проекте.

DevOps и контейнеризация

Docker и Podman — контейнеры в 2025 году

Docker — стандарт контейнеризации в 2025 году. Упаковывает код с зависимостями в переносимые образы. Бесплатен для локальной работы, командная разработка обойдется в 5$ в месяц. Ограничен в РФ из-за санкций. Podman — безопасная альтернатива без центрального домена, полностью совместим с Docker-командами. Поддерживает rootless-режим и работу с systemd, но имеет меньше обучающих материалов.

Kubernetes — главный инструмент оркестрации

Платформа для оркестрации контейнеров, незаменима для микросервисной архитектуры. Бесплатная, работает локально через Minikube или в облаке (от 10$). Управляет десятками контейнеров через YAML-манифесты, обеспечивает масштабирование и обновление без простоев. Требует опыта и мощного железа, но остаётся лидером для продакшн-окружений.

Terraform и Pulumi — инфраструктура как код

Terraform — бесплатное программное обеспечение, помогает настроить инфраструктуру (серверы, сети, кластеры) через код. Работает локально без платы, а облачная версия стоит от 20$. Подходит для любых облаков и нравится тем, кто хочет держать всё под контролем. Pulumi делает то же самое, но вместо специального языка использует привычные JavaScript, TypeScript или Python. Удобнее для тех, кто уже умеет программировать, хотя сообщество поменьше. Оба хороши для новичков, которые хотят проще управлять инфраструктурой.

Базы данных и инструменты для работы с ними

PostgreSQL, MySQL, MongoDB — что выбрать?

PostgreSQL — мощная бесплатная база данных с открытым кодом, которая подходит для анализа и обработки данных в сложных проектах. Она работает с разными типами данных, вроде SQL и JSON, и не берёт денег за локальное использование (облако — от 10$). У неё есть полезные дополнения, которые помогают справляться с большими нагрузками. Отличный выбор для бэкенда или аналитики, где запросы посложнее.

MySQL — простая и быстрая база данных, которая хорошо подходит для небольших и средних проектов. Есть бесплатная версия. Легко работает с языками вроде PHP, Python и Node.js, а начать с нее может любой новичок. У MySQL огромное сообщество, где можно найти готовые ответы. По сравнению с PostgreSQL, слабее в сложных задачах, но для старта — отличный выбор.

MongoDB — бесплатная NoSQL-база данных, которая хранит данные в виде JSON-документов, а не таблиц. Облачная версия Atlas стоит от 9$. Она гибкая — не нужно перестраивать структуру, если что-то меняется и запускается одной командой. По сравнению с SQL-базами хуже справляется с транзакциями, зато идеально подходит для быстрых прототипов и стартапов, где требования часто меняются.

Prisma и TypeORM — работа с БД в коде

Prisma — удобный инструмент для работы с базами данных в JavaScript и TypeScript. Поддерживает PostgreSQL, MySQL и MongoDB, помогая быстро писать код для бэкенда. Автодополнение упрощает жизнь, но на сложных задачах может немного тормозить. Отличный выбор для небольших команд, которые делают бэкенд на Node.js.

TypeORM — бесплатный инструмент с открытым кодом для работы с базами данных в JavaScript и TypeScript. Легко дружит с NestJS и Express, помогая связать код с базой. Подходит для средних проектов, где требования могут меняться. Документация не всегда полная, а некоторые функции работают не идеально, но для гибких задач на JS/TS — хороший выбор.

DBeaver, TablePlus — удобные GUI-клиенты

DBeaver — удобный интерфейс для работы с более чем 80 базами данных. Бесплатная версия (Community) доступна всем, платная (Enterprise) — от 11$ в месяц. Есть редактор для запросов с подсказками, возможность видеть структуру базы и выгружать данные. Программа ресурсоёмкая и не работает в РФ без средств обхода. Подходит разработчикам и аналитикам, которые не хотят использовать командную строку.

TablePlus — лёгкий и удобный интерфейс для работы с более чем 10 базами данных. Бесплатная версия позволяет подключаться к двум базам, а полная стоит 59$ единоразово. Интерфейс простой, данные можно выгружать, а старт занимает пару минут. В России для покупки платной версии нужны посредники. Подходит для тех, кто хочет быстро подключиться к базам без лишних наворотов.

Фреймворки и библиотеки

React, Vue, Angular, Svelte — выбор фронтенд-разработчиков

React — бесплатная библиотека для создания динамичных интерфейсов, например, сайтов, которые быстро реагируют на действия пользователя. Она с открытым кодом и включает в себя популярные инструменты вроде Redux и Next.js. У неё огромное сообщество, что даёт гибкость, но новичкам может быть непросто разобраться. Подходит для больших проектов, где команда готова потратить время на обучение.

Angular — фронтенд-фреймворк от Google для создания продуктов со сложными интерактивными интерфейсами. Бесплатный, с открытым кодом, идёт с TypeScript из коробки, что упрощает работу с большими проектами. Встроенные инструменты вроде Angular CLI ускоряют старт, а двусторонняя привязка данных (two-way binding) экономит время на синхронизации. Сообщество большое, документация подробная, но новичкам может быть тяжело из-за обилия концепций. Подходит для тех, кто работает в команде и создает корпоративные приложения, где важны структура и масштабируемость.

Vue — фронтенд-фреймворк с простым и понятным кодом, который помогает быстро создавать интерфейсы. Он лёгкий (всего 20 КБ), включает удобные инструменты вроде Vuex, Pinia и Nuxt для разных задач. Начать с ним проще, чем с React, хотя библиотек поменьше. Отлично подходит для быстрой разработки веб-продуктов.

Svelte — современный фреймворк, который превращает код в быстрый JavaScript. Он простой, не требует лишних сложностей и работает быстрее многих других. Есть SvelteKit для дополнительных возможностей. Код получается компактным, но сообщество и экосистема пока небольшие. Подходит для стартапов и приложений, где важна скорость.

Node.js, Deno, Bun — что актуально в бэкенде

Node.js — классика серверного JavaScript. Он быстро обрабатывает запросы и имеет огромный набор готовых решений через NPM, плюс Express для создания API. С его помощью разрабатывают приложения, где всё обновляется в реальном времени, например, чаты. Экосистема большая, но для задач с высокой нагрузкой процессор может быть слабоват. Отличный выбор для API и реалтайм-проектов.

Deno — безопасная альтернатива Node.js. TypeScript из коробки, изолированный доступ, встроенный пакетный менеджер, Web API. Безопасность по умолчанию, но меньше экосистема. Для современного бэкенда с акцентом на безопасность.

Bun — сверхбыстрый JavaScript-рантайм, в 3—5 раз быстрее чем аналогичные продукты от конкурентов. Встроенные пакетный менеджер и тест-раннер, поддержка TS и NPM. Скоростной, но молодой проект с багами. Для экспериментов и микросервисов.

Spring Boot, Django, FastAPI — лучшие серверные фреймворки

Spring Boot — java-фреймворк для масштабируемых проектов. Автоконфигурация, REST API, JPA, Security, встроенный Tomcat. Spring Cloud для микросервисов. Промышленный стандарт, но требует знания Java и ресурсов. Подходит тем, кто создает enterprise-приложения.

Django — мощный Python-фреймворк, который даёт всё нужное для разработки: от работы с базами до защиты и создания API. Он ускоряет процесс и делает проекты безопасными. Подходит для сайтов и приложений на Python, но для маленьких независимых сервисов может быть сложноват. Хороший выбор для быстрого старта.

FastAPI — современный Python-фреймворк для разработки быстрых API. Он простой, автоматически генерирует документацию к коду и работает шустро. Подходит для задач, требующих высокой производительности, и поддерживает асинхронные запросы, что делает его подходящим для работы с реальным временем (real-time). Админки тут нет, а для работы с реалтайм-функциями лучше иметь небольшой опыт. Отличный выбор для лёгких API и микросервисов на Python.

Приложения с инструментами для командной работы

Slack, Discord, Mattermost — коммуникация в командах

Slack — стандарт для командного общения. Бесплатно можно чатиться с историей сообщений за 90 дней, а платная версия стоит от 7$ в месяц за пользователя. Есть каналы для разных проектов и удобная связь с GitHub, JIRA или Google Drive. Настройка лёгкая, можно даже общаться с клиентами, но в России платные функции недоступны без обхода блокировок. Подходит командам, которые любят чаты и хотят всё держать в одном месте.

Discord — платформа для общения и сообществ. Базовое использование бесплатно, Nitro от $10/месяц. Текстовые и голосовые каналы, боты для модерации, стриминг и шеринг экрана. Отличное качество звука, но мало деловых интеграций. Доступен в виде веб-версии и приложения для всех основных платформ. Подходит для удалённых команд с частыми созвонами.

Mattermost — бесплатный мессенджер с открытым кодом для безопасного общения. Можно установить на свой сервер, облачная версия — от 10$ в месяц. Похож на Slack, но данные хранятся у вас, и есть плагины для связи с другими сервисами. Настройка требует усилий, зато приватность на высоте. Для компаний, которым важно держать всё под контролем.

Notion, Confluence, Obsidian — управление документацией

Notion — гибкий инструмент для хранения документации. Бесплатно до 5 гостей, безлимит — от 8$ в месяц. Можно делать заметки, таблицы и доски задач в одном месте. Удобно для стартапов, работает на всех устройствах, но большие проекты могут тормозить. Есть версии приложения под Android, Windows и IOS. Подходит для команд, которым нужна вся информация в одном месте.

Confluence — корпоративная платформа для документации от Atlassian, стоит от 6$ в месяц за пользователя, бесплатной версии нет. Хорошо дружит с JIRA и помогает организовать записи по проектам. В России оплата через посредников. Для больших команд с чёткими процессами.

Obsidian — бесплатное ПО для заметок. Работает локально, синхронизация — от 4$ в месяц, но тратить на неё средства не обязательно, можно настроить через сторонние плагины. Данные хранятся у вас, есть плагины для допфункций. Не подходит для командной работы. Хорош для личных записей и аналитики.

JIRA, ClickUp, Trello — управление задачами

JIRA — Инструмент для управления задачами, стоит от 7$ в месяц за пользователя, бесплатной версии нет. Подходит для планирования с досками и отчётами, но новичкам может быть сложно. Для профессиональных команд, которые работают по Agile.

ClickUp — универсальный сервис для выполнения задач с бесплатной версией до 100 МБ, полная — от 7$ в месяц. Есть доски, списки и автоматизация. Прост вначале, но функций так много, что можно запутаться. Для команд, которым нужен гибкий инструмент без сложностей JIRA.

Trello — простая система для задач с досками. Бесплатно до 10 досок, дальше — от 5$ в месяц с автоматизацией. Перетаскивайте карточки от «Сделать» к «Готово». Легко и наглядно, но для больших процессов не подходит. Для маленьких команд и простых проектов.

Новые и перспективные инструменты для разработки

AI-кодогенераторы: GitHub Copilot, Codeium, ChatGPT API, Cursor AI, Claude Code, Claude API, Cloud Code от Google

GitHub Copilot — ИИ-помощник, который подсказывает код и проверяет его. Бесплатно для студентов и открытых проектов, иначе — 10$ в месяц. Работает с кучей языков в популярных редакторах, ускоряя работу. Не работает в РФ. Подходит всем, кто хочет писать код быстрее.

Codeium — бесплатная альтернатива Copilot, где безопасность на первом месте. Для бизнеса — от 15$ в месяц. Помогает с кодом и тестами, данные обрабатываются локально. Отличный выбор для команд, которым важна конфиденциальность.

ChatGPT API — инструмент от OpenAI для создания своих ИИ-помощников. Стоит недорого, доступен в России и понимает много языков. Может писать код, объяснять ошибки, но нужно уметь его подключать. Для тех, кто готов копаться в настройках.

Cursor AI — редактор кода с ИИ, похожий на VS Code, но умнее. Подсказывает код, исправляет ошибки и ускоряет работу. Под капотом разные ИИ-продукты от Open AI, Google, Antropic. Простой и быстрый, идеален для новичков, которые хотят писать код без лишней головной боли.

Claude Code — терминальный помощник от Anthropic для автоматизации кодирования. Необычный подход к разработке в сравнении с конкурентами. Работает через командную строку, ищет код, правит файлы и пушит в GitHub. Бесплатен в preview, безопасен. Подходит тем, кто хочет ускорить рутину и не боится терминала.

Claude API (3.7 Sonnet) — лучший ИИ для кодинга по мнению автора статьи. Версия 3.7 Sonnet пишет код, чинит баги и думает над задачами. Во многих сценариях превосходит Chat GPT. Стоит от 3$ за миллион токенов, не работает в России. Для тех, кто хочет мощный ИИ в своём проекте, но готов разобраться с подключением.

Cloud Code от Google — плагин для VS Code от Google, чтобы писать код для их облака. Помогает с настройкой серверов и приложений, вроде Kubernetes. Бесплатен с аккаунтом Google Cloud. Подходит новичкам, которые начинают с облачных проектов и хотят всё делать в одном месте.

Инструменты Low-Code / No-Code для ускорения разработки

Betty Blocks — Low-Code платформа для создания своего программного продукта. Всё делается через визуальный редактор с готовыми шаблонами, плюс есть упор на безопасность. Её используют большие компании вроде Clifford Chance. Подходит для сложных задач, стоит от 1050$ в месяц, не очень дружелюбна для новичков. В основном для корпораций с хорошим бюджетом.

Bubble — No-Code инструмент для разработки веб-приложений. Можно перетаскивать элементы, использовать шаблоны. Есть бесплатный тариф. Легко начать, но большие проекты могут тормозить. Отличный выбор для стартапов и одиночек, которым нужен прототип.

Zapier — No-Code для автоматизации. Соединяет 7000+ приложений через простой конструктор, стоит от 19.99$ в месяц. Удобно для экономии времени, но дополнительные настройки могут поднять цену. Для тех, кто хочет объединить разные сервисы.

Softr — No-Code платформа с привязкой к Airtable. Шаблоны простые, настройка быстрая, цена от 49$ в месяц. Дружелюбный для новичков, есть поддержка, но сложные приложения не потянет. Подходит фаундерам и менеджерам без технических навыков.

Glide — No-Code для разработки приложений из таблиц, вроде CRM или дашбордов. Стоит от 69$ в месяц, быстро собирается. Удобно для малого бизнеса, но для продвинутых задач слабоват. Хорош для простых нужд.

Caspio — Low-Code с ИИ, в котором создают облачные приложения. Большой акцент на защите данных, цена от 100$ за пользователя в месяц. Подходит для больших систем, но стартапам будет не по карману. Для профессионалов, которым важна безопасность.

UiPath RPA — Low-Code для автоматизации рутины. Упрощает разработку благодаря ИИ. Цена индивидуальная, зависит от запроса. Хорошо подходит для ниш со здравоохранением и финансами. Настройка сложная и недешёвая. Понадобится отраслям, где много повторяющихся задач.

OutSystems — Low-Code для корпоративных проектов. Поддерживает визуальную разработку ПО для крупных систем. Цена индивидуальная. Для разработчиков и больших компаний.

Лучшие новые технологии, которые могут выстрелить в 2025 году

BlueQubit

Квантовый инструмент для разработчиков. Даёт доступ к вычислениям через облако, помогает решать задачи вроде шифрования или моделирования, с которыми обычные компьютеры не справляются. Дорогой и сложный в освоении. Подходит исследователям и компаниям с большими бюджетами.

Блокчейн: Polkadot, Solana, Truffle

Платформы для приложений без центра управления. Polkadot и Solana делают их быстрыми и масштабируемыми, Truffle упрощает работу с кодом. Безопасно и прозрачно для финансов или логистики, но нужен опыт. Хорош для финтеха и стартапов, которые смотрят на Web3.

Edge-вычисления: Apache Edgent, Azure IoT Edge

Обработка данных прямо там, где они появляются. Edgent — лёгкий и простой, Azure IoT Edge — для умных устройств. Быстро работает, например, для беспилотных машин, но настройка требует времени. Для разработчиков IoT и небольших сервисов.

IoT: Arduino, Raspberry Pi

Популярные платформы для разработки умных устройств. Они поддерживают современные технологии для связи (например, Wi-Fi, Bluetooth) и обеспечивают базовые механизмы защиты данных. Arduino и Raspberry Pi доступны по цене, гибки в настройке и отлично подходят для проектов умного дома. Однако для сложных систем с высокой нагрузкой они могут быть недостаточно мощными. Эти платформы идеальны для энтузиастов, хоббистов и небольших IoT-проектов.

Кибербезопасность: SAST, DAST

Инструменты для защиты кода. SAST ищет ошибки до запуска, DAST — во время работы с помощью ИИ. Спасают от атак и нужны в продакшене, но требуют частых обновлений. Для всех, кто работает с данными.

Вот такой топ лучших инструментов получился, а что вы добавили бы в эту подборку? Или может быть убрали бы из неё? Давайте составим свою подборку в комментариях.

Императивный подход:

«Встань. Подойди к выключателю. Нажми на нижнюю часть клавиши. Возвращайся обратно и садись».

Декларативный подход:

«Выключи свет».

Вот так фреймворк сокращает сроки разработки под iOS.

До SwiftUI использовали набор UIKit. Он устраивал разработчиков, но создание UI-элементов занимало много времени. В новых проектах на SwiftUI продолжают обращаться к набору компонентов — фреймворк пока не покрывает всех возможностей UIKit.

В статье рассказываем про SwiftUI для начинающих iOS-разработчиков. Вы узнаете, как создавать интерфейс, работать с состоянием объектов, анимировать приложение и как интегрировать UIKit в проект.

Начало работы со SwiftUI

Приложения под iOS пишут в IDE Xcode.

Создаем новый проект для платформы iOS, выбираем приложение «App». На следующей странице нужно придумать название проекта, ввести идентификатор (в качестве «заглушки» можно написать com.example).

Далее убедимся, что в поле «Interface» выбран SwiftUI и язык программирования — Swift.

После заполнения информации о проекте Xcode создаст базовую структуру приложения.

Основной файл проекта, с которым будем работать, называется ContentView.swift. По умолчанию Xcode создает в нем шаблон приложения «Hello, world!».

Чтобы изменить текст, нужно обновить строку внутри Text, и в превью справа отобразится обновленный экран. Симулятор iOS-устройства запускать не обязательно.

Компоненты в SwiftUI должны соответствовать протоколу View. Он определяет, как выглядят и ведут себя элементы интерфейса.

По правилам протокола View, разработчик должен реализовать одно обязательное свойство — body. Оно описывает содержимое и иерархию представления на экране.

Компонентный подход

При разработке на SwiftUI лучше разбивать интерфейс на небольшие части — компоненты. Из них строится дизайн приложения. Например, кнопка, список, карточка с информацией — все это можно представить как отдельные компоненты.

Преимущество подхода в том, что можно создавать небольшие части приложения и переиспользовать их. Каждый компонент отвечает за небольшой кусочек работы и имеет свои настройки.

Например, одна кнопка может быть синей, а другая — красной, но обе работают одинаково.

Основные компоненты iOS SwiftUI

Чтобы добавить на экран приложения текст, нужно создать компонент Text, для картинки — Image, для кнопки — Button и т. д.

Текст

Элемент поддерживает модификаторы для стилизации. Можно изменить шрифт, цвет или добавить отступы:

Картинки

Изображения в SwiftUI подключаются из ассетов проекта или системных иконок SF Symbols:

С помощью модификаторов можно изменять размеры, пропорции и стили изображения.

Кнопки

С кнопками сложнее: нужно определить текст в качестве содержимого и замыкание с действием.

Поле ввода и переключатели

Требуют привязки текста свойством @State:

TextField можно дополнить плейсхолдером, который исчезает при вводе текста. К нему также применимы модификаторы изменения стиля и обработки событий.

Переключатели тоже работают через привязку к @State:

Списки

Бывают статическими и динамическими.

Если планируете добавлять новые элементы в список, выбирайте динамическую структуру:

Создание пользовательского интерфейса

Чтобы расставлять элементы по своим местам, в SwiftUI применяют контейнеры:

• HStack,
• VStack,
• ZStack.

HStack располагает элементы горизонтально, VStack — вертикально, а ZStack накладывает компоненты друг на друга.

Собрать полноценное приложение получится, только если комбинировать контейнеры:

Работа с состоянием

Создадим приложение-счетчик. Его значение будет отображаться на основном экране, а изменяться на другом.

Локальное состояние хранится в @State. На первом экране для отображения и изменения счетчика его достаточно:

Передадим значение переменной count во вложенное представление с помощью @Binding. Теперь дочерний экран сможет напрямую менять состояние основного:

Если функция с более сложной логикой нужна на нескольких экранах, лучше использовать @StateObject.

Глобальное состояние, доступное любому экрану, нужно прописывать в @EnvironmentObject. Например, настройку темы:

Анимации и взаимодействие

Первым рассмотрим метод withAnimation на примере простой задачи: нужно скрывать и показывать элемент. С анимацией это выглядит так:

Плавное появление и исчезновение элементов удобнее реализовывать через модификатор .transition. Еще можно применять встроенные анимации через .animation. Они автоматически привязываются к изменениям состояния.

Поведение компонентов SwiftUI можно настроить на жесты пользователя. Например, перемещение объекта через DragGesture и реакции на нажатия через TapGesture.

Работа с навигацией

Переходы между экранами в приложении реализуют через NavigationView и NavigationLink.

Контейнер NavigationView добавляет кнопку для перехода и навигационный заголовок:

Здесь каждая строка в списке — это интерактивная ссылка, а destination — содержимое следующего экрана.

Если нужно переключаться между вкладками, то лучше использовать TabView. Это как папки на рабочем столе: каждая вкладка ведет к отдельному разделу:

Каждая вкладка содержит свой экран. TabItem задает иконку из библиотеки SF Symbols и текст для таба.

Интеграция с UIKit

SwiftUI отлично справляется с созданием интерфейсов, но иногда возникает ситуация, когда нужного элемента в нем просто нет. Тогда разработчики обращаются к UIViewRepresentable. Он «оборачивает» UIKit-компонент и делает его частью SwiftUI-интерфейса.

Например, так можно добавить индикатор активности из набора UIKit:

Теперь этот индикатор можно встроить в SwiftUI:

Обратная задача: внедрить SwiftUI в существующий UIKit-проект. Здесь поможет класс UIHostingController. Он берет View из SwiftUI и превращает его в контроллер, который можно добавить в UIKit. Класс UIHostingController используют, чтобы постепенно адаптировать старый код.

Мы познакомились с базовыми концепциями фреймворка и разобрали примеры простых элементов. Посмотрели на компонентный подход, работу с состоянием, анимациями, навигацией и интеграцией с UIKit. Но это лишь верхушка айсберга. Чтобы стать iOS-разработчиком, нужно знать нюансы SwiftUI, экспериментировать с реальными проектами, пробовать связанные инструменты.

Если хотите узнать, какие фреймворки и библиотеки учить, чтобы быстрее найти первую работу, читайте ответы middle и senior разработчиков.

Он уверен: разработчики никуда не исчезнут, но их работа станет совсем другой.

Сегодня индустрия переживает очередную революцию — теперь под давлением ИИ генераторов кода. Многие задаются вопросом: не заменит ли искусственный интеллект программистов?

О’Райли уверен: нет. Но привычный подход к разработке уйдет в прошлое.

Как менялась работа программистов?

Технологии программирования развиваются волнами.

• В 1940-х инженеры вручную соединяли физические цепи, чтобы задать алгоритм.
• В 1950-х появились первые языки низкого уровня — разработчики писали код на ассемблере.
• В 1960-х–1980-х на смену им пришли языки вроде Fortran, COBOL, C — более абстрактные, но всё ещё сложные.
• В 1990-х программисты начали работать с интерпретируемыми языками, такими как JavaScript, Python, PHP.
• В 2000-х мир покорили фреймворки и библиотеки, упрощающие работу с кодом.
• В 2010-х активно развивалась облачная инфраструктура и интернет-экосистемы API.

Каждый раз разработчики боялись, что их навыки станут ненужными. Но вместо этого количество программистов только росло.

Сейчас мы вступаем в эпоху ИИ-помощников. И снова слышны разговоры: «Теперь код будут писать боты!»

Чем ИИ отличается от прошлых революций?

Ранее автоматизация убирала рутину, но не сам процесс кодинга. Например, программистам больше не нужно вручную управлять памятью или писать драйверы для каждой новой мышки.

Сейчас же ИИ предлагает принципиально новый уровень абстракции:

• Можно не писать код, а просто описывать задачу словами.
• Можно получать прототипы за секунды, а не вручную разрабатывать архитектуру.
• Можно делегировать генерацию, тестирование и даже исправление багов.

Но здесь есть важный нюанс: ИИ пока не заменяет инженеров, а лишь ускоряет их работу.

ИИ делает программистов в 10 раз продуктивнее. Но если возможностей для программирования станет в 20 раз больше, нам всё равно понадобятся люди

Что ждёт программистов дальше?

О’Райли считает, что программисты не исчезнут, но их работа изменится.

• Новые роли. Разработчики будут не столько писать код, сколько управлять ИИ-системами, став своего рода менеджерами цифровых сотрудников.
• Другие навыки. Важно будет не просто знать язык программирования, а уметь правильно ставить задачи ИИ.
• Рост требований. Простой код смогут писать и новички с помощью нейросетей, но ценность приобретут архитекторы и инженеры высокоуровневых систем.

Если ИИ автоматизирует 70% рутинных задач, то останется 30%, с которыми справятся только профессионалы

Вывод: программирование не умирает, а эволюционирует

ИИ не сделает людей ненужными. Он размоет границы между программистами и пользователями, даст новые инструменты, но потребность в инженерах никуда не денется.

О’Райли считает, что мы сейчас в начале новой технологической эры. И те, кто быстро адаптируются, будут в выигрыше.

Это в корне неправильный подход. Устаревшие фреймворки и библиотеки не отвечают текущим требованиям к производительности, масштабируемости и адаптивности. Они не успевают за новейшими парадигмами и функциями, что неизбежно отражается на качестве создаваемых продуктов.

В нашем обзоре — 10 библиотек JavaScript, которым в 2025 году пора сказать «До свидания». Для каждого продукта из антирейтинга мы подобрали альтернативные варианты.

Фреймворки, которые утратили актуальность в 2025 году

jQuery

Это одна из первых библиотек JavaScript, которая из-за инерционного мышления все еще входит в некоторые списки самых популярных инструментов разработки. Пользователи ценят jQuery за кроссбраузерную поддержку, лаконичный синтаксис и простые алгоритмы взаимодействия с DOM.

Почему прогеры продолжают пользоваться библиотекой? Чисто технически jQuery присутствует во множестве сайтов, сделанных 10-15 лет назад (тогда этот код стал альтернативой VanillaJS). Библиотека создавалась, чтобы сделать язык более гибким и удобным в разработке.

Сегодня многие преимущества jQuery утратили свою актуальность — например, создание кода, работающего на всех браузерах. Теперь платформы стандартизированы, что делает кроссбраузерные решения библиотеки ненужными.

Кроме того, современные нативные API JavaScript серьезно улучшились — для подавляющего большинства задач, которые раньше выполнял jQuery, достаточно ванильного JS. Новейшие методики обеспечивают все манипуляции с DOM и взаимодействие веб -страницы с сервером (AJAX-запросы), поэтому необходимость в библиотеке отпадает.

В 2025 пришло время отпустить jQuery — его применение сейчас может привести к замедлению загрузки веб-страниц и приложений, а уж этого бы нам точно не хотелось.

Чем заменить

Нативного API JavaScript в ряде случаев будет достаточно для разработки, а для всех остальных ситуаций есть новые версии высокопроизводительных фреймворков React, Vue и Angular.

Lodash

Когда-то эта универсальная библиотека утилит считалась почти обязательной для каждого проекта на JavaScript. Здесь есть String — функция преобразования для обрезки и переноса в верхний регистр; Object — утилита для расширения и слияния; Array — для сжатия и изменения; многие другие фичи, включая глубокое клонирование объектов и манипуляции с массивами данных.

Библиотека Lodash помогала программистам писать более компактный, чистый и простой в обслуживании и поддержке код, конвертировать данные в различные форматы, выполнять математические операции. В настоящее для большинства таких операций утилиты не требуются.

Чем заменить

Сегодня многие функции, представленные в Lodash, есть в новой спецификации JavaScript E56. Оператор spread (…), методы Array (map, reduce, filter и прочие) решают те же задачи, которые некогда решал Lodash. В число главных недостатков библиотеки входит также ее большой вес — импорт всего одной функции увеличивает накладные расходы проекта.

Moment.js

Долгое время эта библиотека была основным инструментом для работы с датами. Ее сильными сторонами были:

• способность анализировать, проверять, актуализировать и отображать текущие метки времени;
• работать с календарными датами;
• определять длительность различных процессов;
• поддерживать часовые пояса и т.д.

Сейчас эта библиотека стала слишком тяжелой — даже в мини-формате она занимает 66 КБ, что излишне нагружает устройства, отражается на производительности и быстрой работе UX-функций. Есть более легкие пакеты с теми же функциями.

Чем заменить

Современная альтернатива — date-fns — набор функций для работы с датами на JavaScript, который не входит в библиотеки и работает независимо. Предусматривает модульный импорт — вы можете взять из пакета только то, что требуется для работы, тем самым снижая нагрузку.

Ещё один вариант — Luxon — новая библиотека для работы с датами, созданная командой Moment. Этот инструмент изначально позиционировался как замена предыдущему продукту компании как более мощное, современное и удобное средство. Здесь работа с часовыми поясами реализована без дополнительных расширений, применяется современный подход к написанию кода.

Кроме того, JavaScript Temporal API позволяет работать с датами и временем напрямую, не используя сторонние библиотеки. Поэтому любое из указанных трех решений делает применение Moment.js избыточным и ненужным.

RequireJS

Долгое время библиотека была для JavaScript-разработчиков основным инструментом для управления зависимостями. Технология асинхронного определения модулей (AMD) обеспечивала эффективную асинхронную загрузку файлов. Модульный принцип не использовался в других библиотеках и инструментах, что создавало ощущение эксклюзива.

Это был самый эффективный способ взаимодействия с зависимостями, особенно ценный в работе с большими приложениями. Совместимость со всеми популярными браузерами, включая Firefox, Safari, Chrome, Opera, а также веб-продуктами на Node, была еще одной сильной стороной библиотеки.

С появлением модулей в ES6 RequireJS утратила статус уникального инструмента. В новой спецификации JavaScript реализован нативный способ определения и импорта модулей. Такой подход делает синтаксис более интуитивным, ускоряет и упрощает разработку.

При этом RequireJS в сравнении с более свежими аналогами слишком сложен в настройке и применении. Он требует от прогеров ручной настройки загрузчика и управления путями зависимостей, что повышает риск ошибок и отнимает кучу времени. Современные загрузчики более расторопные и автоматизированные.

Чем заменить

Помимо ES6, с модулями успешно работает сборщик Webpack, компилируя их в единый файл. Это еще более эффективный инструмент, совместимый с TypeScript и Node.js. При запуске программа обрабатывает модули, выстраивает граф зависимостей между ними и на его основе генерирует общий файл.

У этого бендлера есть дополнительные продвинутые возможности — например, разделение кода, горячая замена модулей в реальном времени, а также операция tree shaking (встряхивание дерева), то есть удаление мертвого кода из продукта. Webpack делает работу с зависимостями более рациональной и полностью заменяет тяжелый и устаревший RequireJS.

Backbone.js

Одна из первых библиотек JS (выпущена в 2010), основанная на шаблоне проектирования Model-View-Controller. Предназначена, в основном, для разработки пользовательских интерфейсов и структурирования веб-приложений.

Некогда Backbone.js считался легковесным и функциональным инструментом, который упрощал работу с кодом, улучшал синхронизацию приложения с сервером и позволял создавать эффективный клиентский код.

Со временем у фреймворка стали проявляться ограничения. Например, отсутствие механизма двусторонней привязки данных. Такая опция есть у многих современных библиотек, поэтому разработчикам не приходится при каждом обновлении или изменении модели вручную настраивать DOM и множить шаблонный код. Все прогеры в курсе, что ручные операции существенно повышают риск ошибок.

Кроме того, в Backbone.js нет собственного шаблонизатора, что вынуждает применять другие библиотеки типа Handlebars.js.

Чем заменить

Достойных вариантов замены достаточно. Это React с его архитектурой, основанной на компонентах, и виртуальным DOM. Это и Vue.js с двусторонней привязкой данных и гибкой архитектурой. Это также универсальный Angular с теми же функциями.

Modernizr

Библиотека обнаружения особенностей HTML5 и CSS3 в браузере пользователя. В свое время была крайне полезной и обеспечивала работу приложений в разных браузерах.

С появлением транпислеров (программ, которые переводят части кода с одного языка программирования на другой) необходимость в Modernizr существенно снизилась. Более того, использование этого инструмента чревато увеличением расходов на приложения. Разработчикам приходится задействовать множество тестов на обнаружение функций, что замедляет загрузку.

Чем заменить

Компилятор (транспилер) JavaScript Babel успешно решает задачу преобразования современного кода в формат, совместимый со старыми версиями браузеров. Кроме того, Babel — полифил, то есть способен заполнять пробелы в скрипте с целью добавления новых функций.

MooTools

Объектно-ориентированный фреймворк, некогда популярный и безальтернативный. MooTools содержит комплект утилит для работы с DOM, событиями и AJAX-запросами. Сильными сторонами библиотеки был объектно-ориентированный подход и лаконичный синтаксис. Разрабы, предпочитающие писать элегантный и ясный код, были от MooTools в восторге.

Однако постепенно все преимущества фреймворка нивелировались — сообщество так и не дождалось существенных обновлений и перешло на более прогрессивные инструменты. В сравнении с ними MooTools занимает много места, что негативно сказывается на приложениях, где важна производительность (а сегодня она важна везде).

Чем заменить

В современной версии Vanilla JavaScript реализована большая часть функций, представленных в MooTools, в том числе методы для работы с DOM и для обработки событий.

Что касается полноценных библиотек, то MooTools без проблем заменят React или Vue.js. Это простые в освоении и использовании прогрессивные фреймворки для разработки пользовательских интерфейсов.

Script.aculo.us

Библиотека визуальных эффектов и методов управления пользовательским интерфейсом. Была популярна у разработчиков, работающих с анимацией и интерактивными опциями в приложениях. Сильные стороны Script.aculo.us — простота в применении, обширный ассортимент возможностей — перетаскивание, сортировка, слайдеры и т.д.

Отсутствие значительных обновлений и большой вес были факторами, которые ослабили позиции Script.aculo.us в сообществе. Если в 2025 году в мире еще остались программисты, которые пользуются этой библиотекой, им точно пора осваивать новые инструменты.

Чем заменить

GreenSock — более мощная, быстрая и универсальная библиотека анимации с огромным выбором эффектов и элементов управления. Работает на стороне клиента и сервера, совместима со всеми браузерами.

Anime.js — еще один гибкий и адаптивный инструмент. Подходит новичкам, поскольку его просто настраивать и легко использовать.

Underscore.js

Библиотека утилит, которая годами удерживала лидирующие позиции в разработке на JavaScript. Эксперты называли ее «швейцарским ножом разработчика» за большой выбор функций и массу возможностей.

Однако с этим инструментом произошло то же, что и другими библиотеками утилит. Большинство функций, которые были представлены в Underscore.js, теперь реализованы в ES6.

Чем заменить

Новая спецификация JavaScript E56+ поддерживает методы функционального программирования, позволяет манипулировать объектами и массивами данных. Таким образом, все функции Underscore.js доступны непосредственно на JavaScript без всяких посредников. Вывод — переносите код на E56+, он станет чище и проще в поддержке.

Axios

Библиотека для отправки запросов HTTP из браузера или Node.js. Поддерживает множество методов запросов (Get, Put, Delete и другие), загрузку и отправку файлов. Сильные стороны — удобный интерфейс, поддержка Promise API (способ организации асинхронного кода).

Несмотря на популярность Axios и его относительную свежесть, эта библиотека стремительно теряет позиции, поскольку появились новые инструменты с более расширенным функционалом.

Чем заменить

Fetch API превосходит конкурента по простоте и гибкости. Он выполняет те же задачи, но оснащен дополнительными функциями — потоковой передачей, отменой запросов, улучшенной обработкой ошибок.

Замена устаревших библиотек новыми — не только погоня за трендами и стремление к прогрессу, но и возможность создавать более производительные, легкие и экономичные веб-страницы и приложения.

В эпоху, когда быстродействие, лаконичность и оптимизация ценятся как разработчиками, так и юзерами, использование наиболее эффективных инструментов становится ключевым конкурентным преимуществом поставщиков цифровых продуктов.

Делитесь в комментариях, на какие библиотеки перешли! Ну а если хотите детальнее разобраться во всех аспектах Java и JavaScript, заходите в наш тг-канал.

Мы собрали топ самых эффективных инструментов для фронтенда в 2025 году. Актуальная информация о фреймворках, библиотеках, средствах сборки, проверки и отладки будет полезна как начинающим, так и опытным прогерам.

Фреймворки и библиотеки для разработки интерфейсов

Создание фронтенда, то есть клиентской части программного продукта — неотъемлемый этап разработки сайтов и приложений. Фронтендеры работают с с HTML, CSS, JavaScript, а также используют многочисленные библиотеки с готовыми решениями. Даже новички в курсе, что без фреймворков проекты сегодня не пишутся — это долго, тяжело и непродуктивно. Ниже — наиболее эффективные фреймворки для разработки UI.

React.js

Созданная Джорданом Валке, ведущим программистом самой известной в мире соцсети, библиотека React остается лидером в сфере разработки инфраструктуры на JavaScript UI. На React.js написаны такие проекты, как Skype, PayPal, Airbnb, Dropbox и многие другие.

Популярность библиотеки объясняется вполне объективными причинами:

• Обширное комьюнити. Только на GitHub вы найдете больше 110 тыс. публикаций с тегом «react». Библиотекой пользуются во всем мире, а тысячи профессиональных программистов постоянно обновляют инструменты и актуализируют данные. Если у разработчика появится вопрос, он обязательно найдет на него ответ в сообществе.
• Технологический бэкграунд. Библиотеку создали профи из FB для себя — такие проекты делаются максимально качественно и надежно. Тот факт, что технологии доверяют крупнейшие мировые корпорации, говорит сам за себя.
• Активное взаимодействие с TypeScript. Этот инструмент представляет собой продвинутую версию JS, который со временем стал слишком тяжелым в плане кода. TypeScript лишен многих недостатков Java, поэтому активно применяется в React.js. В общем, в 2025 году фреймворк точно не умрет.
• Версионность. В React, в отличие от Angular или Vue, код, написанный даже несколько лет назад, без проблем запустится на новейшей версии. А если там есть неактуальный элемент, программа сама подскажет, как его исправить.

В React 19 появились новые, еще более мощные компоненты, повышающие производительность и пользовательский опыт:

• Улучшенная поддержка Server Components, с которой более удобно работать с серверным рендерингом и загружать контент в больших проектах;
• Новый API — Actions, который делает более простой и продуктивной работу с формами и интерактивными элементами;
• Директивы preload и preinit обеспечивают предварительную загрузку важных ресурсов, что ускоряет работу приложений;
• Новый канал релизов React Canaries позволяет протестировать некоторые опции React еще до их официального выпуска.

Улучшения произошли и в экосистеме React. Упрощается работа с Redux — библиотекой, которую все чаще используют в связке с React. Инструменты для работы с таблицами и интерфейсами React Table 8 более доступны и производительные.

Vue.js

Еще один мощный, но при этом простой и гибкий в применении инструмент для фронтенд-разработчиков — Vue.js. Согласно экспертным прогнозам, он сохранит свои позиции в топе-3 фреймворков для JavaScript в 2025 году.

Относительно недавно создатели Vue радикально обновили движок и архитектуру. При этом доля TypeScript кода в репозитории приближается к 99%, что расценивается профессиональными прогерами крайне позитивно.

Команда разработчиков Vue.js, возглавляемая Эваном Ю, в свое время заявила, что фреймворк станет самым простым и удобным инструментом из всех существующих. По мнению экспертов, их слова полностью подтвердились.

В числе главных преимуществ фреймворка:

• Подходит для новичков. Для освоения достаточно знания HTML, CSS, JavaScript;
• Небольшой вес. Размер новой заархивированной библиотеки runtime меньше 10 kb;
• В пакет входит виртуальный DOM — объектная модель документа;
• Активное крутое сообщество. Профессионалы помогут, если у разработчика возникнут проблемы.

Количество полноценных приложений, сделанных на Vue.js, превышает 36 тысяч. Это число постоянно растет, и в 2025 году тренд обязательно продлится. В экосистему внедряются новые технологии, например, Vapor Mode, — инструмент, открывающий новые горизонты для разработки высокопроизводительного софта.

Подход, заданный Composition API, позволяет создавать компоненты через импорт функций вместо обновления опций. На выходе получаем более чистую архитектуру, что особенно важно для продуктов со сложной логикой.

Появление высокоуровнего фреймворка Nuxt 4 принесет важные улучшения в плане производительности и гибкости разработки. Поддержка Vue 3.3+ в Nuxt 4 улучшает работу с анимацией и межкомпонентные переходы. Пользовательский интерфейс становится более динамичным и плавным.

На фреймворке Vue созданы сайты Ozon, Zoom, Chess (сайт для шахматистов с посещаемостью 20 млн пользователей в месяц), Livestorm — платформа для запуска вебинаров, и многие другие ресурсы.

Angular

Этому мощному фреймворку доверяет Google, что уже говорит само за себя. Множество десктопных и мобильных приложений создано на AngularJS — это крутой инструмент с минимальным риском критических ошибок. На сайте фреймворка создатели призывают разработчиков сосредоточиться на приложениях, а код Angular берет на себя.

И хотя профи считают этот фреймворк более сложным в освоении, чем Vue и React, его функциональность оправдывает все трудности учебного процесса. В 2025 году эволюция Angular продолжится: его последние версии показывают существенные изменения в подходах к реактивности ПО и управлению состоянием.

Новые решения, на которые стоит обратить внимание:

• К числу ключевых нововведений фреймворка относится технология Signals, которая делает взаимодействие с реактивными данными более простым. «Сигналы» актуальны в том случае, когда требуется синхронное обновление UI и оптимизация производительности приложения.
• В Angular 19 компоненты Standalone стали новым стандартом. Теперь они могут использоваться без добавления в модуль. Такое решение упрощает архитектуру приложений и делает подход к коду более прямолинейным.
• Внедрение зависимостей (DI, Dependency Injection) дополнено новой функцией inject() — она заменяет стандартный конструктор, что также упрощает код и делает его более гибким.
• Автоматическая миграция продуктов к новому API — еще один шаг к упрощению и сокращению кода. Это напрямую отражается на производительности современных приложений, в первую очередь, на больших и логически сложных.

Прежние плюсы Angular остались неизменными — расширяемость, взаимодействие с другими фреймворками и инструментами, множество надстроек и дополнений — Auto Validate, Complete, Grid и т.д.

На фреймворке написан сайт британской газеты The Guardian, интерактивные элементы PayPal, самый посещаемый сайт мониторинга погоды Weather.com, фронтенд музыкального ресурса VEVO и многие другие продукты.

Svelte

В свое время фреймворк предложил принципиально новый подход к разработке пользовательских интерфейсов. Концепция создателей Svelte — делать больше с минимальными затратами. Некоторые разработчики считают Svelte больше компилятором, чем фреймворком, что по сути соответствует действительности.

В чем основные фишки Svelte:

• При меньшем весе проекты более производительны — им не требуется виртуальный DOM;
• Фреймворк прост в освоении, поэтому подходит начинающим разработчикам;
• Опытные прогеры обращают внимание на быстроту и стабильность инструмента;
• Анимации в Svelte доступны прямо из коробки — сторонние библиотеки не требуются.

На текущем этапе этот фреймворк рано ставить на одну ступень с React и Vue, но его рейтинг на GitHub постоянно повышается, и в 2025 году растущий тренд точно сохранится.

Фронтенд-разработкой с фреймворком Svetle пользовались такие компании, как Spotify, Ikea, Finance.yahoo, Music.apple и многие другие.

Solid.js

Минималистичный фреймворк, который по производительности и быстроте превосходит все остальные фреймворки из топа. Solid напоминает React, но вместо виртуального DOM использует компиляцию. Проект без проблем компилируется в JavaScript-код, что обеспечивает быстрый рендеринг страницы (трансформацию кода в картинку для пользователя).

В чем плюсы:

• Тонкая реактивность обеспечивает оптимизацию рендеринга в реальном времени;
• Есть бесшовная интеграция со всеми актуальными библиотеками на JS;
• Компоненты фреймворка — стандартные JavaScript-функции: они выполняются однократно для настройки представления, после чего автоматически обновляют интерфейс.

Solid.js, по состоянию на 2025, — идеальный инструмент для одностраничных приложений и продуктов с максимальной интерактивностью (чат-ботов, мессенджеров, панелей управления).

Фреймворк используют такие ресурсы, как 1c.ru, криптовалютная биржа Ape.pro, маркетплейс Майнкрафт Waypoint Studios и другие.

Инструменты для сборки и разработки

По мнению большинства экспертов, в 2025 году ведущим трендом в сборке и разработке на JavaScript будет работа с универсальными мета-инструментами, совместимыми с любыми фреймворками.

Топ наиболее эффективных инструментов этого направления:

• Vite. Локальный сервер разработки от Эвана Ю. В новой версии Vita 6 возможности существенно расширились, в том числе в плане поддержки других фреймворков, помимо Vue. Благодаря модульной архитектуре и новой системе плагинов, улучшилась кастомизация сборки (процесс внесения изменений). С Vite можно использовать несколько фреймворков в одном проекте — для сложных приложений это актуальная опция. Обновления в реальном времени происходят быстро и стабильно.
• Webpack. Сборщик модулей, который компилирует части кода в единый файл. Работает с JavaScript и TypeScript. Несмотря на появление новых инструментов сборки, в 2025 году Webpack останется обязательным инструментом, особенно для работы с масштабными проектами. Он оптимизирует размер и скорость загрузки ресурсов, эффективно выстраивает процессы разработки, в том числе HMR — горячую замену модулей. Плюс обеспечивает совместимость продуктов с различными версиями браузеров.
• Parcel. Главная фишка этого инструмента в том, что его не нужно настраивать и конфигурировать — это делается автоматически. Parcel применяет воркеры — скрипты для многоядерной компиляции, и содержит кэш файловых систем для ускоренной сборки. Есть поддержка из коробки JS, CSS, HTML, поэтому соответствующие плагины не требуются. Модули, которые меняются в процессе разработки, обновляются автоматически.

Тестирование и отладка

В 2025 году в тестировании и отладке продуктов наиболее востребованы следующие инструменты:

• Jest. Самый популярный фреймворк для тестирования кода на JavaScript. Работает с синхронным и асинхронным кодом, интегрируется с React и Vue. В числе основных плюсов — простая настройка и удобное применение. Подходит для проверки и отладки сложных приложений.
• Cypress. Инструмент для автоматизации тестирования, который подходит новичкам. Использует тест end-to-end, покрывая весь путь пользователя, и внедряется в CI/CD — процессы непрерывной доставки и развертывания. Благодаря подробной документации подходит для новичков.
• React Testing Library. Библиотека эффективных инструментов для тестирования пользовательских интерфейсов UI. RTL позволяет абстрагироваться от внутренней логики компонентов и проверяет состояние реального DOM, то есть имитирует действия пользователей, руководствуясь только данными браузера.
• Storybook. Позиционируется как максимально простое средство тестирования и разработки. Создает изолированную программную среду для ускоренного и эффективного процесса.

Инструменты для контроля версий

Актуальные в 2025 средства для контроля созданных разработчиками версий:

• Git. Распределенная VCS (система управления версиями) отслеживает изменения в исходном коде и файлах в совместных проектах. Позволяет править и контролировать версии в процессе разработки. Обладает расширенными возможностями работы с репозиториями.
• GitHub/GitLab. Службы управления репозиториями, которые используются и для управления изменениями в опенсорс-проектах. Оба репозитория обладают полным набором инструментов для контроля и интеграций, обеспечивая эффективную совместную разработку и неограниченное сотрудничество. Обладают встроенными опциями безопасности, которые разработчики могут в любой момент активировать.
• Bitbucket. Аналог GitHub с бесплатным доступом к контролю команды до пяти разработчиков. Подходит для написания частных проектов, обладает гибкостью, совместим со множеством других инструментов, в том числе с Jira, — средой для управления проектами. Интеллектуальный семантический поиск JQL сканирует код по запросу пользователя.

CSS-процессоры и CSS-фреймворки

Инструменты для первичной трансляции кода, актуальные в 2025 году:

• Sass. Препроцессор упрощает написание кода, исключая одинаковые участки или заменяя ключевые элементы синтаксиса одним знаком. Sass считается самым надежным языком расширений CSS, содержит средства импорта и множество других функций.
• Less. Этот препроцессор поддерживает CSS и позволяет разработчикам применять его методы для улучшения и дополнения веб-приложений. В Less встроены логические, строковые, математические функции, а также функции списков.
• Bootstrap. Классический фреймворк для ускоренной верстки со множеством встроенных компонентов. Более 20% всех сайтов в мире создано с его помощью. Автоматически выстраивает адаптивную сетку на базе Flex-модели, создает изображения, поставляется с панелями навигации и другими компонентами.
• Tailwind CSS. Фреймворк, который пользователи называют прогрессивной версией Bootstrap. Содержит обширный каталог утилитарных классов и инструментов для прототипирования, стилизации сайтов и приложений. Легко настраивается, работает с собственными служебными шаблонами, создает сложные адаптивные макеты, в том числе с ориентацией под мобильные устройства.

Инструменты для работы с API и серверной логикой

Эффективная работа с API обеспечивает надежность при обработке информации в приложениях.

В 2025 году топ таких инструментов выглядит следующим образом:

• GraphQL. Язык, описывающий взаимодействие клиента с сервером. Рассматривается как альтернатива стандартного инструмента REST. В сравнении с последним, более удобен в применении, содержит обширный инструментарий.
• Apollo Client. Язык запросов, созданный разработчиками FB. Интегрируется с GraphQL и React для управления состоянием приложения. Предоставляет эффективные инструменты в виде поддержки кэширования, управления состоянием и исправления ошибок. Интегрируется с библиотекой Redux и другими фреймворками.
• Axios. JS-библиотека для работы с HTTP-запросами, а по сути — клиент для работы в браузере и с платформой Node.js. Помогает настроить взаимодействие между frontend и backend.

UI и UX-дизайн

Интерфейсу и комфорту пользователя современные сайты и приложения уделяют максимум внимания. На кривые и неудобные ресурсы посетители просто не приходят — зачем, если есть лаконичные и функциональные продукты, отвечающие актуальным трендам цифрового дизайна.

Эти инструменты сохраняют свою актуальность в 2025 году:

• Figma. Графический редактор, который остается самым популярным инструментом для проектирования интерфейсов, прототипирования и тестирования. Также это среда взаимодействия команды разработчиков, доступная непосредственно в браузере. Содержит удобные инструменты, может работать в режиме многозадачности.
• Adobe XD. ПО для работы с интерфейсами, анимированием, прототипами сайтов, сервисов и приложений от лидера индустрии. Основной инструмент UX-дизайнеров, желающих создавать юзабельные и современные макеты и делиться результатами работы с командой. Содержит многочисленные инструменты для рисования, создания 3D-эффектов, добавления интерактивных функций и анимации.
• Sketch. Выбор многих профессионалов индустрии UI/UX дизайна. Упрощает разработку интерфейсов благодаря множеству встроенных полезных функций — артбордов, редакторов, поддержкой командной работы в режиме онлайн. Работает только с macOS.

При выборе фреймворков и инструментов фронтам стоит руководствоваться удобством и простотой использования, соответствием собственному профессиональному уровню, языковой поддержкой, ценой, а также спецификой создаваемого продукта.

Вспомогательные инструменты ускоряют и упрощают разработку, снижают риск ошибок и работают на результат — запуск привлекательных, быстрых и функциональных веб-продуктов и приложений.

Рассказывайте в комментариях, какими фреймворками и библиотеками пользуетесь вы. А если хотите найти большей полезной информации про фронтенд — вам сюда.

Теперь вместо описания самостоятельной настройки окружения, разработчикам предлагается использовать популярные фреймворки, такие как Next.js, Gatsby и Expo.

Причины обновления

Команда React отмечает, что современные фреймворки решают общие задачи, возникающие при разработке приложений: маршрутизация, сборка, серверные технологии и другие.

Использование готовых решений позволяет разработчикам сосредоточиться на логике приложения, не тратя время на настройку инфраструктуры.

Рекомендованные фреймворки

• Next.js: предлагает обновлённый API для создания полноценных приложений с серверными компонентами и асинхронной загрузкой данных.
• Gatsby: позволяет создавать статические сайты с использованием React, обеспечивая быструю загрузку и оптимизацию.
• Expo: предназначен для разработки нативных приложений на базе React Native, облегчая создание кроссплатформенных решений.

Реакция сообщества

Обновление документации вызвало дискуссии среди разработчиков.

Некоторые приветствуют переход к фреймворкам, упрощающим разработку и поддержку приложений. Другие выражают обеспокоенность из-за необходимости изучения дополнительных инструментов и возможной потери гибкости при настройке проектов.

Чтобы использовать эти инструменты, вспомним основы HTML, DOM-дерева и принципы работы динамических страниц.

BeautifulSoup — простая библиотека для парсинга HTML на Python: подходит для небольших задач, статических страниц и быстрых скриптов.

Scrapy — полноценный асинхронный фреймворк для масштабного парсинга: встроенные pipelines, управление прокси, ротация User-Agent и экспорт в JSON/CSV/XML.

Для динамических сайтов с JavaScript ни BeautifulSoup, ни Scrapy не работают напрямую — нужен Selenium или Playwright, имитирующий браузер.

Если сайт предоставляет API — всегда предпочитайте его парсингу: меньше нагрузка на сервер, структурированные данные, официальная документация.

Соблюдайте этику парсинга: уважайте robots.txt, делайте задержки между запросами 1–3 секунды и собирайте только те данные, которые действительно нужны.

Основные понятия парсинга данных

HTML-документ — это текстовый файл с расширением .html. Он содержит набор элементов для отображения страницы в браузере.

Структура HTML-документа состоит из двух частей: заголовка (head) и тела (body). Весь документ обрамляется корневым тегом html.

Заголовок содержит метаданные, стили, скрипты, заголовок страницы. В теле документа находятся теги и основной контент, который отображается в окне браузера.

DOM-дерево — это представление HTML-документа в виде древовидной структуры объектов. Каждый элемент HTML становится узлом этого дерева. Благодаря DOM можно взаимодействовать с элементами страницы через JavaScript:

• получать доступ к содержимому,
• изменять состояние тегов,
• добавлять или удалять элементы.

Корневой элемент DOM-дерева — тег html. От него идет разветвление на head и body — его прямых потомков. Остальные элементы образуют более глубокие уровни вложенности.

Тут можно посмотреть, как выглядит DOM-дерево для определенного фрагмента кода.

Статические страницы содержат фиксированный HTML. Его код не меняется после загрузки. По этой причине статические страницы проще парсить. Достаточно отправить HTTP-запрос и будет получен весь HTML-документ, из которого можно извлечь целевые теги. С этой задачей успешно справляются любые библиотеки для парсинга: Requests, BeautifulSoup, Urllib3 и другие.

Динамические страницы формируют контент с помощью JavaScript после загрузки основного HTML. Контент может подгружаться через API, изменяться при взаимодействии пользователя или обновляться автоматически.

Простой HTTP-запрос не парсит динамически загруженные сайты. Для этого нужны инструменты, эмулирующие работу браузера. Например, Selenium WebDriver. Он запускает браузер, выполняет JavaScript-код и парсит финальное DOM-дерево с динамическим контентом.

Этические и юридические аспекты парсинга данных

Парсинг не запрещен законодательством. Если ваша программа не выводит из строя сайты и не вредит бизнесу, то шансы на судебные иски стремятся к нулю.

Что можно делать:

• Собирать информацию, которая находится в открытом доступе.
• Парсить данные, не нагружая сайт и не мешая его работе.

Чего нельзя делать:

• Воровать закрытую информацию компаний.
• Собирать личные данные пользователей (телефоны, адреса, паспортные данные).
• Намеренно вредить работе сайта большим количеством запросов.

Перед сбором данных задавайте себе простой вопрос: «Мне понравится, если кто-то соберет эту информацию обо мне?» Подумайте также о том, приносит ли ваш парсинг пользу другим людям или вы делаете это только ради собственной выгоды.

Если закон разрешает какие-то действия, это не значит, что их правильно делать с моральной точки зрения. Например, технически возможно собрать все комментарии человека в соцсетях, но будет ли это этично по отношению к нему?

Cобирайте только те данные, которые действительно нужны для вашей задачи. Не нужно сохранять личную информацию людей просто потому, что вы можете это сделать.

Если собираете данные временно, например, чтобы найти фальшивые отзывы на Яндекс Картах, а потом сразу удаляете личную информацию — это более приемлемо, чем создание постоянной базы данных о людях для продажи рекламодателям.

BeautifulSoup: простой и удобный инструмент для парсинга

BeautifulSoup — это библиотека Python для извлечения данных из HTML и XML. Следуйте пошаговому руководству, чтобы установить BeautifulSoup.

Откройте терминал и выполните команду:

Установите парсер lxml:

Также понадобится библиотека requests для выполнения HTTP-запросов:

Самый простой парсер на BeautifulSoup:

Основные функции и методы библиотеки

Найти первый абзац:

Найти все абзацы:

Один элемент с классом 'content':

Все элементы с классом 'content':

Поиск ссылки по href:

Поиск по нескольким атрибутам:

Найти все абзацы с определенным классом:

Найти все ссылки внутри div с определенным id:

Плюсы BeautifulSoup

• Простой синтаксис, поэтому библиотекой пользуются даже начинающие разработчики.
• Гибкий поиск элементов ищет теги по имени, классу, id, атрибутам. Можно комбинировать условия поиска и использовать CSS-селекторы.
• Автоматическое исправление невалидного HTML. BeautifulSoup пытается восстановить неправильную структуру документа, что полезно при работе с некачественной версткой.
• Низкие требования к ресурсам компьютера по сравнению с браузерными решениями вроде Selenium.

Недостатки BeautifulSoup

• Нет поддержки JavaScript. Библиотека работает только со статическим HTML и не может обрабатывать динамически загружаемый контент.
• Ограниченная производительность при работе с большими документами. Для парсинга крупных файлов лучше использовать потоковые парсеры.
• Отсутствие встроенной поддержки асинхронности. Для параллельной обработки нескольких страниц требуются дополнительные библиотеки asyncio и aiohttp

BeautifulSoup не подходит для парсинга сайтов с динамической загрузкой контента, высоконагруженных проектов. Для этих целей выбирайте фреймворк Scrapy.

Scrapy: мощный фреймворк для парсинга больших объемов данных

Scrapy — это фреймворк для парсинга сайтов, построенный на асинхронной архитектуре. Рассмотрим его основные компоненты.

Пауки (Spiders) — это классы, которые определяют как парсить конкретный сайт. В пауке указываются начальные URL-адреса, правила извлечения данных и переходов между страницами. Паук обходит страницы сайта и извлекает информацию с помощью CSS-селекторов или XPath-выражений.

Элементы (Items) — это контейнеры для хранения извлеченных данных. Они похожи на словари Python, но предоставляют дополнительную валидацию полей. Items определяют структуру данных, которые будут собраны пауком.

Каналы обработки (Pipelines) — это компоненты для обработки извлеченных данных. Каждый элемент проходит через цепочку pipeline-обработчиков. В pipeline можно выполнять очистку данных, удалять дубликаты, сохранять информацию в базу данных.

Парсинг HTML на Scrapy выглядит так:

1. Паук отправляет запрос к сайту.
2. Получает ответ и извлекает данные.
3. Создает элементы с данными.
4. Передает элементы в pipeline.
5. Pipeline обрабатывает и сохраняет данные.

Установка и настройка Scrapy

Откройте терминал и выполните команду::

Создайте новый проект:

Эта команда создаст структуру каталогов — файлы настроек и шаблоны пауков.

Файл settings.py содержит основные настройки проекта. Базовые параметры, которые требуют настройки:

• USER_AGENT = 'Mozilla/5.0...' (идентификация парсера).
• ROBOTSTXT_OBEY = True (соблюдение правил robots.txt).
• CONCURRENT_REQUESTS = 16 (количество одновременных запросов).
• DOWNLOAD_DELAY = 1 (задержка между запросами).
• COOKIES_ENABLED = False (использование cookies).

Для создания нового паука используйте команду:

Пример простого паука:

Запуск паука выполняется командой:

Для сохранения результатов в файл:

Для обработки данных перед сохранением используется pipelines.py:

Активация pipeline происходит в settings.py:

Плюсы Scrapy

• Обрабатывает запросы асинхронно.
• Автоматически управляет порядком обработки URL и перераспределяет нагрузку.
• Легко добавлять прокси-серверы, ротацию User-Agent, обработку ошибок.
• Встроенная поддержка экспорта в JSON, CSV, XML.

Недостатки Scrapy

• Сложность отладки асинхронного кода.
• Ограниченная поддержка JavaScript.

Сравнение BeautifulSoup и Scrapy

Выбор инструмента зависит от масштаба задачи. Для извлечения данных с нескольких страниц достаточно BeautifulSoup. Для создания поискового робота или регулярного парсинга больших объемов данных оптимальным выбором будет Scrapy.

Парсинг на Python BeautifulSoup лучше подходит для:

• Парсинга отдельных страниц.
• Небольших скриптов.
• Интеграции в существующие проекты.

BeautifulSoup дает разработчику полную свободу в организации кода и выборе дополнительных инструментов, но ограничивается только базовыми функциями извлечения данных.

Scrapy эффективнее для:

• Парсинга интернет-магазинов с тысячами товаров.
• Регулярного мониторинга цен конкурентов.
• Полноценных парсинг-проектов со сложной логикой обработки.

Фреймворк используют для масштабного сбора данных. Python Scrapy имеет встроенные механизмы для работы с прокси, управления cookies, организации очередей запросов и конвейерной обработки данных.

Продвинутые техники парсинга

Динамически загружаемый контент — это проблема при парсинге. Чтобы выгрузить целевой контент со страницы, нужно имитировать действия пользователя. Для этого часто используют Selenium. Библиотека управляет браузером — загружает страницы, выполняет JavaScript и получает доступ к DOM после его изменения.

При обработке динамического контента учитывайте задержки. JavaScript выполняется асинхронно, поэтому Selenium должен дождаться полной загрузки элементов, прежде чем пытаться с ними взаимодействовать.

Пример ожидания:

Еще можно использовать time.sleep, но это менее эффективно — задержка фиксирована и не зависит от скорости загрузки страницы.

Если контент загружается через AJAX, можно использовать execute_script для проверки состояния загрузки. Например, можно проверить значение переменной JavaScript, которая отслеживает состояние загрузки.

Когда контент загружается поэтапно, приходится комбинировать ожидания, execute_script и циклы для обработки всех частей динамического контента.

Работа с API

Многие сайты предоставляют API для получения данных. Это предпочтительный способ парсинга на Python. Сбор данных через API:

• не нагружает сервер излишними запросами;
• предоставляет данные в структурированном виде;
• обычно имеет официальную документацию.

Для работы с API в Python есть библиотека requests.

Большинство API имеют ограничения на количество запросов. Для их соблюдения нужно добавлять задержки.

Использование прокси и обход блокировок

Прокси помогают обходить блокировки, которые сайты применяют для защиты от парсинга — не всем нравится, когда их контент собирают в базы. Если сайт блокирует ваш IP-адрес из-за частых запросов, использование прокси позволит продолжить работу под другим IP.

В Python для работы с прокси нужно импортировать библиотеки requests и urllib. Достаточно указать адрес прокси в параметрах запроса.

Пример использования прокси с requests:

Ваш парсер останется незамеченным, если выполнять подмену User-Agent, ставить задержки между запросами, настроить автоматическое распознавание капчи.

Если сайт предоставляет API, лучше делать запросы через него — это наиболее безопасный и эффективный способ.

Рекомендации по парсингу данных

Структура проекта способствует его поддержке, расширению и повторному использованию. Делите большие парсеры на отдельные компоненты по функциональности — один модуль для авторизации, другой для навигации по страницам, третий для извлечения тегов.

Файлы, полученные при парсинге, также требуют правильной организации хранения и обработки. Выбор формата зависит от объема и структуры данных:

• JSON подходит для иерархических данных и удобен для дальнейшей обработки в Python.
• CSV эффективен для табличных данных и открывается в Excel.

Для больших объемов информации используйте БД — SQLite для небольших проектов, PostgreSQL для масштабных. Создавайте промежуточное хранилище перед финальной записью — это защитит от потери информации при сбоях. Для Data Science — отдельная подборка топ-10 библиотек.

Задержки между запросами — обязательный элемент парсинга. Базовая рекомендация — выдерживайте паузу 1-3 секунды между запросами. Для высоконагруженных сайтов увеличивайте интервал до 5-10 секунд.

Дополнительные советы по созданию парсера:

• Реализуйте систему логирования для отслеживания ошибок и прогресса.
• Обрабатывайте сетевые ошибки, делайте повторные попытки с экспоненциальной выдержкой.
• Используйте прокси, User Agent для распределения нагрузки и маскировки запросов.
• Проверяйте работоспособность парсера перед запуском, так как структура сайтов может меняться.

Такой код сложно поддерживать: DOM рендерился со скоростью улитки, а засунуть много интерактивных элементов на одну страницу было равносильно самоубийству.

React решил эти проблемы. Разработчики получили виртуальный DOM, который ускорял отрисовку веб-страниц. Благодаря компонентам стало удобнее верстать сайты и веб-приложения, а реактивность помогла эффективнее внедрять интерактивные элементы. Да, рeact действительно крутой, однако он не лишён недостатков в сравнении с некоторыми более новыми фреймворками.

При написании статьи консультировался с Денисом Черновым, ведущим разработчиком платформенной команды Спортмастера (а то я чуть не убил Реакт), а также Мишей Родштейном, руководителем разработки в Дизайн-бюро «Интуиция», и Александром Гузенко, руководителем фронтенд-разработки отдела R&D в крупной европейской компании (к сожалению, под NDA).

Почему разработчики ищут замену React?

Спорный JSX

В обзорных статьях и видео React часто критикуют за JSX код. JSX — это плод любви HTML и JS, который выглядит как HTML, но таковым не является. У нас в JSX коде смешивается логика и верстка. В итоге получаем кашу.

Пример JSX кода:

Такой код немного хуже читается, чем обычные решения на HTML + JS, и может сбивать с толку новичков. Но стоит сделать ремарку, что некоторым разработчикам он нравится.

Виртуальный DOM как устаревший подход к оптимизации

DOM — еще одна крутая фишка React, которая со временем стала недостатком на фоне других фреймворков. Когда пользователь взаимодействует с интерактивным элементом, на его стороне сперва рендерится виртуальный DOM, после чего он сравнивается с главным DOM и перезаписывает данные на сервере.

Этот костыль был создан, чтобы ускорять обновление интерфейсов на стороне клиента, но сейчас есть другие, куда более шустрые подходы. Например, в тех же Svelte и SolidJS виртуальный DOM уже не нужен из-за компиляции, но это так, спойлеры.

Зависимость от сторонних библиотек

Изначально React вышел в свет как библиотека. Он быстро стал популярным, оброс сторонними библиотеками, кто-то его даже называет фреймворком. Но фреймворком его можно считать с большой натяжкой, поскольку при разработке часто приходится устанавливать сторонние библиотеки, а это увеличивает размер проекта и усложняет его поддержку.

В итоге мы получаем крутой инструмент, но с недостатками в виде не самого чистого кода, весомого бандла, зависимости от сторонних библиотек, трудностей в поддержке и не самой быстрой реализации рендеринга DOM.

Краткое знакомство с Svelte и SolidJS

Что такое Svelte: основные принципы, чем выделяется

Производительность из-за компиляции

Философия Svelte сводится к тому, чтобы получать больше за счет меньшего. Как и в случае с React, Svelte не совсем фреймворк. Разработчики позиционируют его как компилятор, и это именно так.

Благодаря компиляции кода, проекты на Svelte получаются более производительными и меньше весят. Здесь не нужны костыли в виде виртуального DOM.

Отсутствие JSX-кода и модифицированный HTML

Код в Svelte пишется на HTML, CSS и JS, причем HTML здесь модифицированный. Например, при верстке мы можем использовать директивы:

• bind: для двустороннего связывания данных (например, <input bind:value={name} />).
• on: для добавления обработчиков событий (например, <button on:click={handleClick}>).
• class: для условного добавления классов (например, <div class:active={isActive}>).

Вот пример простого кода — он создает интерактивный интерфейс, который реагирует на ввод пользователя и переключение состояния:

Значение в поле ввода связано с переменной name при помощи bind:value. Когда пользователь вводит текст, значение name обновляется, и это изменение отражается в приветствии ниже.

Инкапсуляция стилей

В Svelte поддерживается инкапсуляция стилей на уровне самого компилятора. Если мы определяем стили внутри компонента, то они будут работать только в рамках него.

Например:

Svelte при компиляции присваивает атрибутам внутри элемента идентификатор — так он реализует инкапсуляцию стилей.

Вот пример идентификатора для тега «p»:

А вот для стилей:

Если нам нужно, чтобы стиль был глобальным, то нужно использовать :global:

Анимации из коробки

Если в react анимации и переходы можно подключить только через сторонние библиотеки, то в Svelte они уже доступны из коробки.

Здесь есть:

• fade — плавное появление/исчезновение элемента за счет изменения прозрачности.
• fly — плавное перемещение элемента с одного места в другое (можно указать направление и расстояние).
• scale — изменение размера элемента, создаёт эффект увеличения или уменьшения.
• slide — плавное скольжение элемента с одного края экрана в другой (например, слева или сверху).
• draw — анимация, которая используется для рисования элементов, например, для SVG-изображений.
• blur — плавное размытие элемента, создаёт эффект фокусировки/размытия.

Пример анимации с использованием fly:

В этом примере элемент будет плавно перемещаться по горизонтальной оси (ось X), когда он появляется на экране.

По умолчанию анимации в Svelte работают локально, внутри компонента, как и стили. Но их можно сделать глобальными при помощи директивы :global:

Встроенные анимации в Svelte — это удобно. Благодаря компиляции они работают быстрее, чем в React, и нам не надо для этого использовать сторонние библиотеки. Хотя такая опция тоже остается.

SolidJS: чем уникален, ключевые особенности

Компиляция вместо VDOM

SolidJS похож на React. Тут тоже есть компоненты, реактивность и JSX. Но в отличие от своего старшего собрата он не поддерживает VDOM. Это здесь просто не нужно по той же причине, что и в Svelte. SolidJS более эффективно компилирует проект в чистый JS-код. В итоге страница рендерится быстрее, чем при работе в React с его виртуальным DOM.

Гранулярная реактивность

Реактивность в SolidJS работает при помощи сигналов. Сигналы хранят в себе данные и отслеживают их изменения. Если данные меняются, то происходит рендер только тех участков компонентов, с которыми эти сигналы связаны. Сам компонент целиком не рендерится в DOM, только его часть.

Пример кода с сигналами:

Здесь мы перерисовываем только элемент с данными внутри кнопки, а не саму кнопку. Так мы избегаем избыточной отрисовки лишних элементов интерфейса и оптимизируем производительность.

Реактивные хранилища

Реактивные хранилища напоминают сигналы, но на максималках. Если сигналы хранят и отслеживают единичные значения, то в хранилищах могут быть другие сигналы, массивы, объекты, обычные переменные, коллекции и состояния.

Пример создания реактивного хранилища:

При помощи реактивных хранилищ нам будет удобнее управлять состоянием и синхронизацией данных в приложении.

Сравнение: Svelte, SolidJS и React

Производительность

Проблемы реактивности в React

Реактивность в React реализована таким образом, что у нас обновляется не весь DOM, а только конкретный компонент через виртуальный DOM. В свое время это было прорывным решением. Если пользователь кликнул по кнопке, то у него изменялся не весь сайт, а только эта кнопка.

С выходом SolidJS и Svelte появились более производительные решения рендеринга интерактивных элементов. Всё благодаря компиляции кода без VDOM. Из-за такой реализации работы с DOM SolidJS и Svelte показывают большую производительность в бенчмарках.

Сравниваем производительность SolidJS, Svelte и React в бенчмарках

Для сравнения фреймворков я взял результаты тестов из бенчмарка js-framework-benchmark results для Chrome 130.0.6723.58. Использовались следующие версии фреймворков:

• Solid 1.8.15
• Svelte 5.0.5
• React 18.2.0

Результаты тестов записаны в миллисекундах. В качестве режима отображения выбрано медианное значение. Когда мы видим запись 38.8 ± 0.2, она означает, что есть погрешность в 0.2 миллисекунды и разброс может быть от 38.6 до 39.

Общая производительность

Видно, что SolidJS — самый производительный из всей троицы. Следом идет Svelte с незначительным отставанием. React гораздо более медленный, в некоторых тестах он многократно уступает другим фреймворкам.

Несмотря на такое существенное превосходство Solid и Svelte над React в производительности, стоит учитывать, что речь идет о миллисекундах. В большинстве проектов такая разница будет не очень заметной.

Работа с памятью

React во всех случаях занимает память ощутимо больше, чем Svelte и SolidJS. Svelte незначительно, но уступает Solid.

Как и в случае с производительностью стоит отметить, что современные устройства вряд ли будут испытывать недостаток памяти при взаимодействии с решениями на этих фреймворках. Исключением могут быть кейсы, когда клиент использует плохое интернет-соединение.

Удобство разработки

Простота синтаксиса

Новичкам удобнее всего будет работать в Svelte. Там используется хоть и модифицированный, но более понятный HTML, CSS и JS. Благодаря этому код выглядит чище и проще.

Еще одно преимущество Svelte — декларативный подход к разработке. Мы просто прописываем, что хотим показать в интерфейсе, а все манипуляции выполняются под капотом.

Вот пример кода на Svelte, который создает простой счетчик:

Такой код выглядит минималистичным, его легко читать и поддерживать.

А вот реализация на JSX в React:

Этот код более массивный, для реактивности приходится использовать useState и вручную вызывать функцию setCount, чтобы обновить интерфейса.

Теперь сравним с реализацией в SolidJS:

Здесь реактивность работает из коробки, поэтому код выглядит чуть более удобным, чем в React. Но JSX синтаксис по-прежнему проигрывает в массивности и читаемости.

Svelte более удобный для разработки с точки зрения поддержки, читаемости чем React или Solid. К нему будет проще привыкнуть чем к фреймворкам где используют JSX. SolidJS более компромиссное решение. Здесь все под капотом, поэтому код немного лаконичнее, чем в React, но менее гибкий.

Менеджер состояний

В React управление состоянием традиционно строится на хуках, таких как useState и useReducer.

React обновляет компоненты при изменении состояния, используя виртуальный DOM, чтобы определить минимально необходимые изменения в реальном DOM. Это эффективно, но не идеально, так как виртуальный DOM требует дополнительных вычислений.

Переменные в компоненте Svelte до 5-ой версии автоматически становились реактивными. Но с пятой версии мы можем гибко управлять реактивностью при помощи специальных функций — рун.

Рассмотрим более подробно код из предыдущего примера со Svelte:

Здесь мы используем руну state(). Она хранит данные, которые автоматически обновляют интерфейс.

SolidJS использует fine-grained reactivity, подобно Svelte, но с еще более детальным контролем. SolidJS отслеживает зависимости на уровне отдельных переменных, обновляя только те части DOM, которые зависят от изменения переменной.

В этом примере Solid перерисовывает только текст внутри кнопки, а не всю кнопку при изменении данных:

SolidJS более тонко работает с состояниями и реактивностью, чем Svelte и React. Зато в последних есть возможность более гибко их настраивать.

Экосистема, документация и трудоустройство

Зрелость React против развивающихся экосистем

React гораздо популярнее, чем SolidJS и Svelte. По данным Statista, React используют 39.5% веб-разработчиков. По своей популярности он уступает только NodeJS с его 40.8% (судя по данным, опрашиваемые могли выбрать несколько вариантов ответов). Для сравнения у Svelte 6.5%, а у SolidJS — 1.2%.

На React кодят больше. Это значит, что под него проще найти учебные материалы и получить ответы на вопросы на форумах. А у работодателей — более широкий пул кандидатов.

Аналогичная ситуация с библиотеками. Под React проще найти решение, чем под Svelte или Solid. Последние, конечно, тоже развиваются, но в плане размеров комьюнити и числа поддерживаемых библиотек им еще далеко до React.

Документация ко всем трём фреймворкам переведена на русский. В целом при подготовке статьи и сборе материалов чувствовалось, что о React есть много информации на русском, о Svelte меньше, а про SolidJS — в разы меньше.

Трудоустройство

На момент написания статьи React упоминают в 2669 вакансиях на hh.ru. Сотрудников без опыта рассматривают в 128 вакансиях. Кстати, в 270 вакансиях зачем-то хотят высшее образование :)

На Svelte нашлось только 43 вакансии и ни одной без опыта.

По запросу «SolidJS» нашлось 508 вакансий. Но многие из них точно не целевые и подразумевают не этот фреймворк. Пример нецелевой вакансии:

Скорее всего, под SolidJS реальных вакансий будет примерно столько же, как и под Svelte, если не меньше.

Ключевые преимущества для разных задач

Svelte лучше подходит для небольших проектов

Хорошо подойдет для малых и средних проектов благодаря лаконичному коду и производительности.

SolidJS отличный выбор для высоконагруженных интерфейсов

Благодаря более точечной реактивности и компилируемости отлично подходит для проектов с высоко нагруженными интерфейсами.

Например, в дашбордах, графиках или редакторах (аналогичных Figma) SolidJS быстро реагирует на изменения данных, сохраняет плавность интерфейса даже под большой нагрузкой.

React — по-прежнему оптимальное решение, но не всегда лучшее

React все ещё подходит для большинства проектов, просто разработка на нем может быть дольше и сложнее из-за JSX. Также его не стоит использовать для проектов, которые предполагают работу в регионах с плохим интернет-соединением или слабым железом.

Мнения экспертов

Большинство старых проектов Бюро сделаны на экспрессе + разный JS на фронте. Такой стек сложно поддерживать и развивать. Поэтому мы начали делать новые проекты на Свелт. Задача была как можно плавнее перевести ребят с разными навыками на современный стек. В итоге проекты на Свелт запускаются гораздо проще и работают в разы быстрее. Это всех подкупает.

С одной стороны, кайф: все, кто верстают — стали верстать быстрее и проще. С другой стороны, разработчики привыкли к одним паттернам, а в Свелт они другие, и приходится это «ломать».

Что касается действующих проектов, я не вижу смысла переезжать на Свелт с Реакта. Вообще не вижу смысла «на скаку» менять фреймворк. У нас был переезд проекта на Свелт, продлился год, и это было непросто. Но мы уткнулись в ограничения старой системы, и нам нужно было их решать.

Смена фреймворка — слишком большой слом налаженных процессов. Это всегда очень больно и долго, и, как правило, того не стоит.

И Svelte, и SolidJS обгоняют React по скорости и весят меньше. В частности, не последнюю роль в этом играет отсутствие Virtual DOM. Но для меня это важно только как часть кругозора. Если у вас в приложении наблюдаются проблемы с производительностью на React, с огромной долей вероятности в этом виноват плохой код, а не сама библиотека. Да, Реакт практически обязывает тащить за собой кучу дополнительных библиотек на все случаи жизни, которые также могут быть проблемой в производительности. Но в целом разница в скорости в пару десятков миллисекунд незаметна. Если у компании/команды есть экспертиза в React и его экосистеме — переходить на другие инструменты без сильной причины (просто для более красивых циферок) не вижу смысла.

Совсем другое дело, когда вы заранее знаете, что ваше приложение обещает быть тяжелым с точки зрения нагрузки или у конечных пользователей слабое железо (например, если вы выпускаете приложение на рынки Африки или Индии, для вас это актуально, тем более если им будут пользоваться с мобильных устройств). Но и здесь я бы не стал слепо отказываться от React’a — у него всё же есть много совместимых библиотек, легче найти решение проблемы. А вот с другими инструментами дела могут обстоять иначе, и не факт, что в лучшую сторону. Да, вы можете получить выигрыш в циферках производительности и веса сборки, но можно наступить на много граблей во время разработки, что сведет все преимущества на нет.

В целом я считаю важным периодически осваивать новые фреймворки и библиотеки, такие как Svelte и SolidJS. У них есть свои преимущества, и о них важно знать. Так, в моменты, когда стоит реализовать именно эти преимущества, вы сможете проявить себя, предложив новый инструмент. Более того, это позволяет поддерживать свой кругозор, как специалиста, и осваивать новые подходы. Рано или поздно эти знания могут пригодиться и в проектах на том же самом React или в любом другом решении. Просто знать, что можно и как разрабатывать — сильно повышает экспертизу разработчика!

Стоит ли уходить с React?

Зависит от проекта и ваших личных планов. Новичкам лучше оставаться на React — под него заточено большинство вакансий. Проект под SolidJS или Svelte будет найти сложнее, а на React уже написано много решений, которые надо поддерживать.

Для более опытных разработчиков Svelte будет лаконичным выбором, если они работают с небольшими проектами, но, опять же, React здесь тоже сгодится. SolidJS подойдет для создания веб-приложений и сайтов с высоконагруженными интерфейсами.

Тем, кто работает над новыми крупными проектами или поддерживает старые, лучше остаться на React. У него большое комьюнити и много библиотек. Да, он уступает другим библиотекам в производительности, но это отставание в большинстве проектов не будет критичным.

А какие фреймворками для разработки интерфейсов используете вы?

Разработчики выбирают Python для аналитики данных и машинного обучения из-за его гибкости, универсальности, низкого порога входа и силы комьюнити. Он позволяет интегрироваться с практически любой технологией, а также поддерживает мощные библиотеки, такие как Pandas, NumPy и Scikit-Learn. А еще язык постоянно развивается — не так давно разработчики выкатили новую версию 3.13, в которой сильно улучшилась производительность. Ниже рассказываем о топовых фреймворках и библиотеках, которые будут популярны в 2025 году.

Библиотеки для сложных вычислений

NumPy и SciPy

NumPy стала основой для большинства других библиотек, включая TensorFlow и PyTorch. Он используется для работы с массивами и числовыми данными. В машинном обучении почти каждый проект основан на эффективных математических функциях NumPy и точных операциях с массивами. И в плане векторов и многопоточности эта библиотека незаменима — на ней все держится.

Например, NVIDIA разрабатывает CUDA — платформу параллельных вычислений и модель программирования для работы на графических процессорах NVIDIA. CUDA Array Interface стандартизирует формат передачи массивов GPU между библиотеками без копирования данных. Так, CuPy реализует массивы NumPy на GPU NVIDIA с использованием CUDA, а Numba компилирует Python-код для GPU с прямой поддержкой массивов NumPy. Apache MXNet использует NDArray — аналог NumPy для GPU, ускоряющий работу моделей глубокого обучения. Это к слову о том, что NumPy уже стала стандартом.

Поверх NumPy можно использовать SciPy — она расширяет способности базовой модели для статистики и моделирования.

Pandas

Pandas — еще один базовый инструмент для работы с данными в Python, который остается в топе благодаря производительности (Панды отлично справляются с огромным количеством данных). Она, кстати, тоже используется поверх NumPy.

Возможно, в будущем мы увидим улучшение поддержки многопоточности и оптимизацию для работы с большими наборами данных — это сделает библиотеку ещё актуальнее.

Панды используют для подготовки данных во многих проектах — от финансового анализа до биоинформатики. Например, в здравоохранении с помощью Pandas анализируют электронные медицинские записи и прогнозируют эпидемии.

Dask

Dask используется для распределённых вычислений и параллельной обработки больших массивов данных. Он является топовым дополнением к Pandas в случаях, когда объемы данных превышают возможности оперативной памяти. В будущем всё больше компаний будут применять связку Pandas + Dask, чтобы масштабировать свои аналитические системы.

JAX

Новая селебрити в вычислениях от Google! JAX активно набирает популярность за счет своей способности ускорять численные расчеты и различать собственные функции Python и NumPy. Ожидается, что к 2025 году JAX будет активно применяться для статистического моделирования и разработки новых алгоритмов.

Топовые фреймворки для Machine и Deep Learning

TensorFlow — базовая база

TensorFlow от Google остается основным инструментом в машинном обучении благодаря своей мощной экосистеме, включающей компоненты для обучения, развертывания и мониторинга моделей. Сейчас он выделяется улучшенной интеграцией с облачными платформами (особенно с Google Cloud) и поддержкой edge-устройств — это упрощает развертывание моделей в разных средах.

Так, TensorFlow Lite позволяет запускать модели на мобильных устройствах, IoT-устройствах и микроконтроллерах — инструмент используют в приложениях для распознавания речи и обработки изображений в реальном времени, в том числе и на смартфонах. А в TensorFlow Extended (TFX) есть фичи для построения масштабируемых пайплайнов, таких как автоматическая настройка моделей (TensorFlow Model Analysis) и эффективное развертывание (TensorFlow Serving). Это особенно полезно для продакшн-сред.

PyTorch

PyTorch стал любимчиком в среде разработчиков из-за удобства динамических вычислительных графов и pythonic-подхода, что упрощает отладку и разработку. PyTorch известен тем, что предоставляет две из самых высокоуровневых функций — тензорные вычисления с мощным графическим ускорением и поддержку построения глубоких нейронных сетей на ленточной системе autograd.

Keras

Сейчас Keras максимально интегрирован с TensorFlow, поэтому порог входа в машинное и глубокое обучение становится все ниже. Его высокоуровневый API позволяет разработчикам создавать прототипы сложных нейронных сетей с минимальным количеством кода, сохраняя при этом возможность выполнять операции более низкого уровня.

Scikit-learn

Scikit-learn сохраняет статус универсального инструмента для классического машинного обучения. Простота использования, стабильный API и широкая документация делают его максимально подходящим для задач от классификации до сложных пайплайнов, с акцентом на интеграцию с фреймворками глубокого обучения. В последних обновлениях улучшилась поддержка многопоточности и ускорений на основе Cython, а значит, работа с большим наборами данных идет быстрее.

FastAI

Фреймворк основан на PyTorch и продолжает демократизировать глубокое обучение. Действительно инновационный трендовый инструмент, особенно в области компьютерного зрения и NLP-задач.

PyCharet

Эта low-code библиотека превратилась в большое комплексное решение для автоматизации задач AutoML. Подходит для тестирования гипотез или базовых моделей, которые можно улучшать по мере необходимости, а еще крута в прототипировании.

Ray

Это унифицированный фреймворк для распределенных вычислений. То, что нужно в машинном обучении.

Библиотеки для визуализации данных

Matplotlib

Основная библиотека для создания статических графиков. Отлично подходит для базовой визуализации, такой как линейные графики, столбчатые диаграммы, гистограммы и так далее.

Seaborn

Построена поверх Matplotlib и предлагает более стильные и готовые к использованию графики. Удобна для работы с табличными данными (например, из pandas DataFrame).

Подходит для визуализации распределений, тепловых карт, корреляций.

Plotly

Интерактивная библиотека, поддерживающая 2D и 3D-графики. Удобна для создания сложных визуализаций, которые можно использовать в веб-приложениях. Поддерживает интеграцию с Jupyter Notebook.

Bokeh

Еще одна интерактивная библиотека, подходящая для работы с большими наборами данных. Отлично работает с динамическими и веб-графиками.

Altair

Легкая и интуитивная библиотека, построенная на основе декларативных спецификаций. Удобна для быстрого создания сложных интерактивных графиков.

Yellowbrick

Расширяет возможности scikit-learn для визуализации моделей, метрик и диагностик. Включает визуализацию обучения, важности признаков и другие функции.

Mayavi

Для 3D-графики, особенно в научных и технических приложениях. Подходит для визуализации поверхностей, полей данных.

TensorBoard

Инструмент от Google для визуализации экспериментов TensorFlow. Удобен для анализа потерь, градиентов и обучения.

Библиотеки для NLP

Hugging Face Transformers

Библиотека Transformers произвела революцию в обработке естественного языка, сделав современные модели доступными для всех. Здесь и BERT, и GPT — в общем, благодаря ей внедрение инновационных технологий стало доступно как никогда.

NLTK и spaCy

NLTK предоставляет комплексные образовательные ресурсы и исследовательскую платформу, а spaCy фокусируется на производительности. Если применять их вместе, то библиотеки закроют весь пул потребностей в NLP — от академических исследований до промышленного применения.

Библиотеки для работы с медицинскими данными

Да-да, биотехнологии сейчас как никогда в тренде. И Python в них, можно сказать, впереди планеты всей. С помощью библиотек и фреймворков исследователи и разработчики могут анализировать сигналы мозга, строить прогнозы для пациентов и использовать AI для улучшения медицинской диагностики. Ниже — о них.

MNE

MNE — это незаменимый инструмент для работы с сигналами мозга, такими как магнитоэнцефалография (MEG) и электроэнцефалография (EEG). Он позволяет не только обрабатывать, но и визуализировать сложные временные ряды. Анализ данных мозга стал проще: загружаем файл, настраиваем фильтры и видим всё в наглядных графиках. Отличный выбор для нейрофизиологов и исследователей.

Nilearn

Nilearn делает анализ данных нейровизуализации, таких как fMRI, доступным даже для новичков. Построение тепловых карт активности мозга, изучение соединений и интеграция с машинным обучением через scikit-learn — всё это в одной библиотеке. Инструмент помогает мостить путь от простого анализа до сложных моделей ИИ.

MONAI

Если нужно внедрить глубокое обучение в медицинскую визуализацию, то MONAI — ваш выбор. Построенная на базе PyTorch, эта библиотека идеально подходит для задач сегментации и классификации медицинских изображений. Поддержка форматов DICOM и NIfTI и совместимость с ускорением на GPU делают её незаменимой для медицинских исследований и стартапов.

NiBabel

Когда нужно работать с нейровизуализационными данными и понимать все эти сложные форматы (NIfTI, MINC, Analyze), на помощь приходит NiBabel. Она помогает легко конвертировать и анализировать данные перед дальнейшей обработкой в Nilearn или MNE. Простота использования и мощный функционал — за это её любят исследователи.

Lifelines

Клинические исследования и прогнозирование событий, например, рецидивов или смертности, невозможны без анализа выживаемости. Lifelines предоставляет мощные инструменты для построения каплан-майеровских графиков и моделей Кокса. Простота синтаксиса и визуализация наглядных графиков делают её популярной среди медиков и биостатистиков.

Python в сфере Data Science популярен не просто так. Его применяют в реальных задачах — от анализа поведения пользователей до прогнозирования эпидемий. Инструменты Python делают сложные задачи проще и помогают бизнесу, науке и технологиям развиваться быстрее.

• Поиск преступника по записям с уличных камер;
• Сигнал о том, что на частную территорию зашёл незнакомый человек;
• Упрощение проверок на входе в организацию с пропускным режимом;
• Оплата услуг с помощью FaceID и многое другое.

Одной из проблем, возникающих при решении задачи face detection, является то, что лицо текущего человека нужно сравнивать со слишком большим количеством других лиц, что в случае неоптимальной реализации требует огромного количества машинных ресурсов.

Решению этой проблемы и посвящена статья.

Постановка задачи

Дана база фотографий, каждая из которых содержит лица одного или более человек (около 20 тысяч фотографий; пример приведён на рис. 1). На вход поступает новая фотография. Необходимо:

1. Определить, является ли эта новая фотография дубликатом одной из фотографий, находящихся в базе, и если является — вывести информацию о совпадающей фотографии;
2. Если не является, то вывести одну или несколько наиболее похожих на неё фотографий из базы, а затем добавить эту новую фотографию в базу.

Фотографии считаются похожими, если похожи лица изображённых на них людей. На обработку каждой новой фотографии должно тратиться не более нескольких секунд машинного времени.

Этапы решения поставленной задачи.

Оптимизация хранения фотографий в базе. Выбор метода распознавания лиц.

Выбор метода поиска наиболее похожих лиц. Построение общего пайплайна.

1. Оптимизация хранения фотографий в базе.

Поскольку фотография хорошего качества может иметь размер вплоть до 10 мегабайт, 20 тысяч подобных фотографий могут занять до 200 гигабайт, и тогда даже попиксельное сравнение новой фотографии со всеми имеющимися в базе с целью поиска дубликата будет занимать как минимум несколько минут (не говоря уже о поиске похожих). Кроме того, разные фотографии имеют разную длину и ширину, что неудобно для сравнения.

Таким образом, необходимо каждой фотографии (а точнее — каждому лицу на фотографии) поставить в соответствие вектор чисел фиксированной длины. Эта длина не должна быть слишком маленькой (иначе большая часть информации на фотографии будет потеряна), но и не должна быть слишком большой (иначе сравнивать будет по-прежнему долго).

2. Выбор метода распознавания лиц

К счастью, существует достаточно много алгоритмов face detection, которые делают в точности то, что нам нужно:

• Определяют, где именно на фотографии находятся лица;
• Для каждого из лиц возвращают вектор фичей, причём все эти векторы одинаковой длины.

Одной из лучших современных библиотек для распознавания лиц является InsightFace, которая получила много наград на соревнованиях по face detection. Поскольку эта библиотека является свободной и реализована на языке Python, было принято решение использовать именно её.

Реализация этой библиотеки по умолчанию возвращает 512 параметров для каждого лица, что полностью удовлетворяет требованиям, поставленным в предыдущем пункте: хранение такого количества параметров для 20 тысяч фотографий займёт около 200 мегабайт, что в тысячу раз меньше, чем при хранении самих фотографий. Файл такого размера легко помещается в оперативную память и может быть считан полностью за 1-2 секунды.

3. Выбор метода поиска наиболее похожих лиц

Тем не менее остаётся проблема с производительностью при поиске похожих, но не совпадающих лиц. Чтобы найти наиболее похожую фотографию (а тем более — несколько наиболее похожих), необходимо сравнить вектор фичей каждого из лиц на новой фотографии со всеми векторами из базы (на рис. 2 нужно сравнить каждый «зелёный» вектор с каждым «красным»):

При этом для каждой пары сравниваемых векторов необходимо посчитать метрику близости (например, евклидово или косинусное расстояние), что также является достаточно затратной операцией.

Таким образом, хотя при 20 тысячах фотографий, имея достаточно быстрый компьютер, мы сможем выполнить все сравнения за несколько секунд, такое решение будет плохо масштабируемым: при 200 тысячах фотографий нам придётся выполнять сравнение уже в 10 раз дольше, а при 1 миллионе — дольше в 50 раз, что уже неприемлемо.

Кроме того, нам нужно найти лишь одну или несколько наиболее похожих фотографий, а не отранжировать их все по убыванию похожести, поэтому бóльшая часть вычислений будет лишней, так что должен существовать способ делать это более оптимально.

И действительно — существуют библиотеки эффективного поиска похожих векторов. Одной из наиболее популярных и простых в использовании является библиотека FAISS (Facebook AI Similarity Search, принадлежит компании Meta, запрещенной на территории РФ). Её суть заключается в создании индекса (оптимизированной таблицы) из всех имеющихся векторов, а затем приближённого поиска в ней нового вектора.

Хотя библиотека scann от компании Google работает в 2-3 раза быстрее, она требует намного больше предварительных настроек, так что её использование станет оправданным лишь при существенном увеличении датасета. Поэтому в данном случае выбор был сделан в сторону FAISS.

4. Построение общего пайплайна

При постановке задачи нам была дана база с фотографиями, поэтому итоговая реализация алгоритма должна содержать следующие шаги:

1. Определение лиц на фотографиях и получение их фичей;
2. Конвертация фотографий из базы в таблицу с векторами фичей;
3. Построение индекса и нахождение похожих фотографий;
4. Добавление новой фотографии в базу.

Приведём примерную реализацию каждого из этих пунктов на языке Python с учётом того, что база фотографий представляет собой папку с файлами.

1) Определение лиц на фотографиях и получение их фичей. Этот шаг полностью основан на алгоритме FaceAnalysis библиотеки insightface, при этом все фотографии предварительно преобразуются в матрицы размера 640 * 640 *3 (то есть квадратные фотографии размера 640 * 640 пикселей в RGB-формате).

Подготовка алгоритма FaceAnalysis:

2) Конвертация фотографий из базы в таблицу с векторами фичей. Теперь нужно применить функцию, приведённую в шаге 1, ко всем фотографиям из заданной папки и записать её в таблицу (в данном случае это будет локальный csv-файл).

Функция получения таблицы с фичами из всех фотографий в папке:

Пример использования функции:

Если найденное минимальное расстояние по фичам оказалось равным нулю, то это значит, что мы нашли дубликат.

3) Добавление новой фотографии в базу. Мы можем выбирать, что делать с фотографией, которая оказалась дубликатом — добавлять в базу или игнорировать. Если же новая фотография не является дубликатом, то мы добавляем её в базу в любом случае.

Пример тестирования программы на новой фотографии, содержащей два лица:

Заключение.

Рассмотренное решение удовлетворяет всем требованиям поставленной задачи, однако его реализация имеет пространство для дальнейшей оптимизации, в частности:

• Стоит использовать графический процессор вместо CPU; тогда версию FAISS можно будет заменить на faiss-gpu для быстродействия;
• Локальные таблицы стоит заменить на распределённую базу данных; это значительно улучшит масштабируемость, а добавление новой фотографии не потребует считывания и затем сохранения всего файла;
• Извлечение фичей из фотографий стоит делать не по одной, а батчами по нескольку десятков фотографий - это существенно ускорит первый, самый долгий этап решения задачи.

Разработчики проводят испытания на возможность взлома, чтобы узнать, насколько программные ресурсы защищены от стороннего доступа. В этом случае тестировщики становятся «белыми хакерами» и собирают как можно больше сведений о статусе системы. В зависимости от результатов исследования специалисты внедряют новые решения или оставляют всё как есть, удовлетворенные уровнем защиты.

Обеспечить безопасность всех критически важных элементов системы не так просто. В протекции нуждаются операционные системы, драйверы, сети, базы данных, фреймворки и библиотеки, а также, собственно, код. Тестирование этих компонентов в ручном режиме потребует колоссальных затрат средств и времени. По этой причине организации применяют специальные инструменты для тестирования веб-приложений и других продуктов.

В статье расскажем о топовых системах для проведения испытаний — об их возможностях, преимуществах, ограничениях и сценариях использования.

Metasploit Framework

Многофункциональный фреймворк для сканирования сетей и серверов с целью выявления слабых мест в системе безопасности. Инструмент имеет открытый исходный код, что идет ему только на пользу — программы постоянно совершенствуется, добавляются новые функции.

Эксперты считают Metasploit одним из самых мощных инструментов в деле защиты веб-приложений и других продуктов. У него множество функций, подробная документация и свободный доступ к скачиванию на официальном сайте фреймворка.

Metasploit создан сообществом разработчиков в сотрудничестве с компанией Rapid7. Фреймворк помогает специалистам по безопасности не просто находить существующие уязвимости, но и выявлять потенциальные угрозы, тем самым работая на опережение.

Основные преимущества фреймворка:

• Обширная библиотека. Состоит из 1600 эксплойтов (программ, использующих уязвимости), сканеров, слушателей (модулей для сбора данных), кодеров, декодеров и сотен других компонентов для проверки безопасности.
• Автоматизированные инструменты для пентеста. Используются в процессе разработки и после релиза — с их помощью специалисты решают оборонительные и наступательные задачи.
• Наличие Мастера проверки уязвимостей. Он распределяет проблемы безопасности системы в приоритетном порядке, устанавливая очередность устранения этих уязвимостей.
• Универсальность. Подходит для любых программных продуктов, сетей и элементов инфраструктуры.
• Доступность. У фреймворка простая структура управления и понятный интерфейс, а его рабочая версия доступна в бесплатном режиме.

Метасплойт создает планы атак и самостоятельно их реализует. Они имитирует попытки взлома системы и быстро находит слабые места. При этом инструменты фреймворка сами оценивают, насколько опасны найденные уязвимости и как ими могут воспользоваться злоумышленники для проникновения в систему.

Nmap

Утилита (сканер) для быстрого и простого исследования сетей и тестирования безопасности. Обнаруживает активные устройства и вредоносные программы. Инструмент называют сетевым картографом — он действительно картирует сеть, после чего анализирует ответы.

С помощью Nmap специалисты по безопасности проверяют компоненты операционных систем и запущенные службы, находят открытые порты, тестируют брандмауэры и оценивают потенциальные угрозы.

Ключевые преимущества утилиты:

• Универсальность. Nmap работает с разными операционными системами — Windows, Linux, macOS.
• Совместимость с другими средствами. Инструмент можно использовать в сочетании с фреймворком Metasploit, чтобы автоматизировать выявление уязвимостей.
• Гибкость и возможность тонкой настройки. Возможность быстрого или более медленного, но детального сканирования. В числе интересных фич — наличие скрипта для проверки узлов на присутствие сетевого червя Stuxnet.
• Подробная документация. Есть справочное руководство на русском языке и полезные статьи по работе с инструментом.
• Возможность масштабирования. Утилита подходит для тестирования любых сетей, в том числе обширных с тысячами машин.

Nmap поучал статус «Продукта безопасности года» от профессиональных журналов и сообществ, что говорит о востребованности сканера и его качественных характеристиках.

Инструмент прост для установки, доступен в версиях с понятным графическим интерфейсом и командной строкой. Базовая версия бесплатна, но в ней отсутствует ряд важных опций.

Burp Suite

Этот высокоэффективный программный комплекс представляет собой набор утилит и используется для тестирования безопасности. Инструмент разработан PortSwigger, доступен в бесплатной и платной версиях. Один из наиболее востребованных вариантов применения — перехват трафика, в том числе HTTP-запросов.

В числе плюсов Burp Suite:

• Многофункциональность. Фреймворк активно используется специалистами по безопасности, пентестерами, разработчиками для выявления уязвимостей и потенциально слабых мест в приложениях или API.
• Модульная структура. Состоит из отдельных элементов — сканера, прокси-сервера, ретранслятора, секвенсора. При имитации атак модули работают совместно, выполняя различные тестировочные задачи.
• Возможность работы в связке. Используется в комбинации с Metasploit и Nmap для решения масштабных задач на безопасность продуктов.

Интегрированная платформа применяется для тестирования в ручном и автоматическом режимах и взаимодействует со всеми популярными ОС.

Применить Burp Suite для базовых проверок довольно просто:

1. Пользователь открывает панель управления и выбирает опцию New scan.
2. В поле для URL вводит адрес тестируемого сайта и нажимает Ок.
3. Утилита создает карту сайта, далее сканер начинает поиск уязвимостей.
4. Актуальный список проблемных точек появляется в окне Issue activity.
5. После выбора проблемы тестировщик получает доступ к вкладкам, где содержится детальное описание уязвимостей и рекомендуемые способы их устранения.

Burp выпускается в трех редакциях — корпоративной, профессиональной и бесплатной. Версия Community Edition — отличный вариант для начинающих тестировщиков.

Wireshark

Инструмент с открытым исходным кодом, используемый для анализа сетевых протоколов, выявления аномалий и возможных атак. Применяется в различных ОС для захвата текущего сетевого трафика, чтобы исследовать его на проблемы с безопасностью. Проект, запущенный еще в 1998 году, развивают эксперты по технологиям безопасности со всего мира.

Проверять и фильтровать сетевые пакеты можно в режиме реального времени, что позволяет сконцентрироваться на исследовании статуса конкретного трафика.

Базовые возможности и преимущества Wireshark:

• углубленная проверка сотен протоколов безопасности и постоянные обновления;
• перехват трафика в онлайн-режиме и автономный анализ данных;
• мультиплатформенность — работа на всех ОС, включая Windows, Linux, FreeBSD и многих других;
• сетевые данные можно анализировать с помощью графического интерфейса;
• содержит наиболее мощные и подробные фильтры отображения среди анализаторов трафика.

Wireshark — бесплатный анализатор, относительно простой в освоении и управлении. Это эффективное решение для организаций любого масштаба и профиля: инструментом можно оснастить всех специалистов компании, в том числе сисадминов.

После захвата трафика пользователь видит экран, на котором отображены пакеты и их декодирование. Эксперты утверждают, что декодировка в Wireshark выполняется на самом высшем уровне, однако далее все зависит от навыков оператора и его компетенций в сфере протоколов.

Основная сложность в использовании анализатора — это грамотная настройка фильтров. На экране отображается количество серверов, потоки данных, список проблем, на которые стоит обратить внимание. Требуется время, чтобы разобраться с фильтрами, но зато после освоения функционала работа с программой становится простой и удобной.

SQLmap

Этот инструмент представляет собой фреймворк эксплойтов, то есть набор инструментов для тестирования различных уязвимостей. У SQLmap открытый исходный код, что делает его востребованным и доступным вариантом для постоянного использования.

Фреймворк автоматизирует процессы обнаружения уязвимостей и операции с ними. SQLmap поддерживает множество систем управления базами данных, в том числе MySQL, Amazon Redshift, Oracle. Пентестеры часто используют этот инструмент в комбинации с ручным управлением.

Возможности SQLmap:

• фреймворк обнаруживает такие проблемы веб-приложений, как SQL-инъекции (фрагменты вредоносного кода, внедренные в базы данных);
• есть функции взлома хэшей, а также сброса столбцов и таблиц;
• тестирование выполняется автоматически — тестеру нужно лишь задать несколько параметров и запустить нужные опции, остальное SQLmap сделает сам;
• SQLmap обнаруживает уязвимые URL-адреса и дает рекомендации для работы с ними;
• для работы с фреймворк не нужны навыки написания сценариев, достаточно знать, что собой представляют запросы к базам данных.

Чтобы напрямую взаимодействовать с базами данных, достаточно указать учетные сведения, имя, IP-адрес, порт. Далее инструмент работает в самостоятельном режиме.

John the Ripper

Это инструмент используется для проверки надежности паролей и их восстановления. «Джон Потрошитель» выявляет уязвимости в системе безопасности организации и обеспечивает эффективное управление корпоративными паролями.

John the Ripper взламывает пароли, зашифрованные с помощью распространенных алгоритмов шифрования, включая MD5 и SHA.

Основные плюсы:

• открытый исходный код — постоянные обновления и улучшения со стороны экспертного сообщества;
• поддержка сотен кэшей и различных шифров;
• используются собственные оптимизированные модули для соответствующих процессорных архитектур;
• пакет Ripper поставляется со множеством вспомогательных утилит.

Взломщик изначально создан с упором на скорость и многофункциональность. В одной программе сочетается несколько режимов взлома, что позволяет настроить инструмент под конкретные запросы. John the Ripper работает на разных платформах, что позволяет использовать его везде, где это необходимо.

Aircrack-ng

Комплекс программ для тестирования беспроводных сетей, захвата передаваемого трафика, проверки надежности ключей шифрования. Инструмент работает со всеми беспроводными адаптерами с режимом мониторинга.

Возможности Aircrack-ng:

• работает с ОС Windows, UNIX, Linux, а также Zaurus и Maemo;
• анализирует трафик и отображает данные о сетях;
• создает виртуальный интерфейс для удобного управления;
• хранит пароли и управляет их списками;
• восстанавливает ключи.

Функционал Aircrack-ng достаточно обширен: в нем есть программы для настройки ложных точек доступа, расшифровки файлов WEP/WPA/WPA2, работы с беспроводными драйверами. .

Другие полезные инструменты

Инструментов для тестирования безопасности десятки. Их цель — имитация реальных атак на системы или конкретное веб-приложение. Задача пентестера — понять, смогут ли злоумышленники взломать сеть, пароли и воспользоваться другими уязвимостями.

Тестировщикам будет полезно узнать о дополнительных программах, известных в сфере цифровой безопасности:

• Hydra. Популярный взломщик паролей. Выполняет атаки методом перебора различных протоколов и методов шифрования. Поддерживает различные варианты аутентификации (HTTP, FTP, SMB), работает с огромным количеством онлайн-сервисов, что делает «Гидру» универсальным инструментом. Атака брутфорс выполняет взлом по имени пользователя и паролю одновременно.
• Nikto. Веб-сканер, которые избавляет тестировщиков и разработчиков от рутинных операций. Программа находит не до конца удаленные части скриптов, инструменты администрирования и проверяет сайт или приложение на различные ошибки, в том числе возникшие по вине человеческого фактора. Обнаружив нежелательные элементы и слабые места, Nikto сообщает о них пользователю.
• OWASP ZAP. Еще один бесплатный инструмент для проверки безопасности веб-ресурсов. Сканирует приложения, анализирует полученные ответы, выявляет потенциальные опасности, в том числе SQL-инъекции и нежелательный скриптинг (XSS). У OWASP удобный графический интерфейс, который работает на всех популярных платформах.

Итоги

Киберугроз, которые приходят из сети и других источников, становится все больше, что вынуждает специалистов постоянно следить за безопасностью сайтов, сетей, приложений и базами данных.

Пентестинг с помощью профильных инструментов — это практически полностью автоматизированный способ проверить ресурсы на уязвимости и проблемные места. Тестирование на проникновение — это возможность оценить уровень безопасности продукта и при необходимости добиться максимальной степени защищенности. Выбор инструмента зависит от особенностей, масштаба и направленности продукта, который нуждается в проверке и защите.

Популярность и востребованность

Вакансии на рынке труда

Начнем с самого важного. Количество вакансий с упоминанием фреймворка напрямую отражает, насколько просто будет найти/сменить работу в том или ином стеке.

Стоит иметь ввиду, что на многие позиции рассматривают разработчиков с опытом или Django, или FastApi (выглядят, как «опыт работы с Django/FastAPI»), так что точно понять, сколько проектов на одном фреймворке, а сколько на другом, затруднительно.

На российском рынке труда FastAPI на конец 2024 года в итоге смог обогнать Django по количеству вакансий. Вот цифры с HeadHunter:

Ровно год назад Django опережал FastAPI в два раза. Сейчас отрыв небольшой, но есть все основания полагать, что он будет увеличиваться.

Для разработчиков уровня junior ситуация в целом одинаковая:

Кратко об используемых фильтрах:

• Уровень дохода: любой
• Регион: Россия
  
• Опыт: не имеет значения
  
• Ключевые слова: в названии вакансии, в названии компании, в описании вакансии.
  

GitHub-звёзды

Косвенный критерий «популярности» фреймворка в мире.

• Django: 80,998 звёзд.
  
• FastAPI: 77,700 звёзд.

Учитывая немалый возраст Django, он практически наравне с FastAPI.
За год Django прибавил 15% (было 70 тысяч звёзд), а FastAPI — около 25% (было 60 тысяч звёзд). Так что можем сделать вывод, что FastAPI выходит вперед не только на нашем рынке.

Особенности фреймворков

Django: держи всё сразу, даже если не нужно

Django предлагает готовую архитектуру и тонну встроенных инструментов, которые помогают разработчикам быстро освоить основные концепции и паттерны разработки.

Работа с миграциями в Django вместе с DjangoORM помогает научиться работать с базами данных без лишних страданий. Так же в мире Django преобладает синхронный код, так как асинхронность доступна с ограничениями. Автоматическая документация, которую так часто ставят в плюс FastAPI, подключается за 15 минут с помощью drf-spectacular.

На Django часто пишут продукты для использования внутри компании, а так же b2b. Шанс встретить здесь реально большие нагрузки и сложную архитектуру крайне не велик.

FastAPI: гибко, но пустовато

FastAPI менее регламентирован, что позволяет разработчикам выбирать подходящую архитектуру самостоятельно. Стартуем с одним файлом, так что есть манёвр и для творчества, и для костылей:) Лучше найти готовые шаблоны проекта на GitHub.

Большинство проектов на FastAPI асинхронные. С одной стороны, это отличный навык в копилку любому разработчику. С другой стороны, на мой субъективный взгляд, новичкам сложнее вникать в такие проекты.

Многие проекты на FastAPI используют микросервисы. Также с таким стеком чаще всего встречаются хайлоад-проекты.

Что будет дальше?

FastAPI набирает популярность, и это уже не остановить. Основные причины:

1. Выше производительность, чем у Django. Здесь дает преимущество асинхронность. Разница может быть в 5 раз и более.
   
2. Лёгкий и минималистичный. Лучше вписывается в концепцию микросервисов. Django в микросервисы никто не тащит (я надеюсь).
   
3. Быстрее развивается. В FastAPI всего около 20к строк кода. Тем временем разработчикам Django приходится тащить за собой 300к строк кода.
   

Всё это приводит к тому, что Django постепенно теряет позиции. Тренд продолжится и дальше, а его итоги подведём ближе к декабрю 2025 года.

Заключение

Еще год назад я бы без раздумий всем начинающим порекомендовал Django. Но сейчас выбор становится очень сложным. С одной стороны, Django намного лучше подходит начинающим, с другой стороны, количество вакансий продолжит снижаться. Через год отрыв может быть 3 к 1 в пользу FastAPI.

Также в выборе важно учитывать и свои предпочтения, так как легче всего развиваться в проектах, которые вам нравятся.

Чтобы оставаться на связи, приглашаю в свой telegram-канал. Пишу про разработку интересно и без воды :)

JavaScript считается наиболее востребованным языком сценариев для создания веб-продуктов, интерфейсов, фронтенд- и бэкенд-частей сайтов, мобильных приложений. Для этого языка создано множество фреймворков различного назначения и профиля.

Узнаем, какие фреймворки JavaScript наиболее востребованы для разработки в 2025 году, каковы их сильные стороны и особенности, и как правильно выбрать продукт для своего проекта.

Преимущества фреймворков

Методы и функции, написанные на JavaScript и называемые фреймворками, представляют собой готовые решения для использования разработчиками. Эти структуры отвечают за взаимодействие приложений с серверами и значительно упрощают манипулирование элементами программных продуктов. Как правило, у них открытый исходный код, что позволяет программистам постоянно вносить улучшения.

В числе основных преимуществ фреймворков для разработки:

• Эффективность. Применение уже готовых функций шаблонов повышает качество разработанных проектов. Программисты пишут меньше кода, он более чистый, а сама задача выполняется оперативнее.
• Стоимость. Разработка веб-приложений обходится дешевле за счет сокращения ресурсов, при этом фреймворки JavaScript доступны всем желающим.
• Скорость. У большинства фреймворков JavaScript отличная документация, в которой подробно описана работа всех функций. По каждому продукту существует обширная группа поддержки, работает множество форумов для профи и любителей. Все это предоставляет разработчикам массу дополнительной информации, что упрощает задачу.
• Масштабирование. При необходимости дальнейшего развития программных продуктов фреймворки JavaScript используются для их адаптации под более широкую аудиторию пользователей или дополнительные опции.

Далее рассмотрим топ лучших фреймворков для языка скриптов, которые помогут разработчикам создавать 2025 году качественные, быстрые и производительные веб- и мобильные приложения.

React

Когда профессиональные разрабы говорят о лучших фреймворках JavaScript, они обязательно называют в первых рядах React. По сути не совсем фреймворк, а обширная библиотека, предназначенная для создания наиболее сложных пользовательских интерфейсов для веб- и нативных приложений. В 2025 году React остается в топе актуальных инструментов отрасли.

Основные преимущества React:

• Изолированность компонентов. Это свойство позволяет разработчикам разделять пользовательские интерфейсы и работать с каждым модулем по отдельности. Это обеспечивает платформам стабильную работу — если в одной из опций возникают сбои, это никак не сказывается на статусе остальных.
• Декларативный подход. Несмотря на использование кода на JavaScript, фреймворк React работает в декларативном режиме. То есть разработчик описывает желаемое содержание интерфейса, а библиотека реализовывает эту задачу. Поэтому программировать и настраивать продукты на React проще, чем писать классический код на JS.
• Наглядность. Это качество — прямое следствие декларативности. Поскольку на React сразу указывается итоговое состояние конкретного объекта, разработчику при написании кода заранее известно, как элемент будет смотреться на странице.
• Утилитарность компонентов. Созданные на React элементы можно не прописывать каждый раз заново при добавлении новых опций. Эти части можно копировать и вставлять в другие разделы. При этом в каждом компоненте содержатся все необходимые сведения и методы для реализации конкретных функций.
• Использование JSX. Это расширение JavaScript, в котором сочетается язык программирования и HTML. Инструмент предназначен для работы с разными компонентами на странице независимо от состояния прочих объектов. При этом части, которые выглядят в строке как HTML, сохраняют синтаксис JSX.
• Отзывчивость. React работает с DOM — объектной моделью документа. В копии есть все элементы веб-приложения и данные об их взаимодействии. Когда пользователи совершают действия, сначала реагирует виртуальная копия, затем реальная. То есть пользователь видит результат действий мгновенно, даже если сама платформа «тяжелая».
• Дополнительные инструменты. По причине популярности React разработчики-энтузиасты создали десятки совместимых с фреймворком инструментов. Один из них — React Native для развертывания продуктов в разных ОС и на любых устройствах с помощью стандартных протоколов.

Обширная экосистема React — это бесшовная и ускоренная разработка современных интерактивных интерфейсов, которые активно используются в самых популярных соцсетях. Библиотека продолжает развиваться и остается наиболее востребованной в среде опытных и начинающих программистов.

Vue.js

Прогрессивный фреймворк для разработки пользовательских интерфейсов. Отличается легкостью освоения, содержит множество полезных нововведений и улучшений в свежих версиях. Разработчики считают Vue.js идеальным выбором для быстрого прототипирования и использования небольшими командами.

Этот фреймворк подходит для постепенной интеграции, то есть внедрять его можно для отдельных страниц, что делает разработку более простой и доступной.

Основные плюсы Vue:

• легковесность — файлы фреймворка не требуют большого количества ресурсов;
• подробная документация с туториалами, что упрощает работу с инструментом новичкам;
• активное пользовательское сообщество, в том числе в русскоязычном сегменте;
• возможность подключения и создания собственных плагинов;
• эффективное взаимодействие с DOM;
• быстрая разработка.

Vue поддерживает расширение JSX и технологию TypeScript, но одновременно остается верен стандартам разработки на HTML и CSS. Такая универсальность упрощает процесс работы над проектом и его поддержку после реализации.

Для тех, кто знаком с основами фронтенд, освоение Vue и поддержка приложений на основе фреймворка не будет сложной задачей. Управление инструментом интуитивно понятно, а экосистема постоянно развивается, что делает Vue одним из самых популярных веб-фреймворков в 2025 году.

Svelte

Этот фреймворк практикует принципиально иной подход, чем Vue и React: вместо виртуального объекта DOM он использует компиляцию. То есть вместо работы в браузере Svelte компилирует компоненты в предельно оптимизированный и легкий код на JavaScript, что положительно сказывается на быстроте и эффективности созданных на Svelte приложений.

Не случайно такие компании, как Avast, 1Password и другие используют для создания своих продуктов именно этот фреймворк.

Ключевые преимущества:

• Простой и минималистичный синтаксис, похожий на HTML, который легко освоить и использовать. Благодаря простоте фреймворк вполне доступен для начинающих.
• Использование реактивной модели программирования. Такой подход строится на реагировании на события и асинхронности.
• Высокая производительность. По этому параметру Svelte благодаря уникальному подходу значительно опережает другие фреймворки.
• Быстрота. За счет скорости Svelte настоятельно рекомендуется для создания быстрых, масштабируемых и интерактивных веб-страниц.
• Универсальность. Svelte бесшовно интегрируется с другими востребованными инструментами.

Фреймворк идеально подходит для создания приложений с обширным объемом данных, а также продуктов, работающих в интерактивном режиме. Svelte выполняет задачи на ходу, что делает его топовым фреймворком 2025 года.

Next.js

Фреймворк Next.js предназначен для серверного рендеринга (SSR), при котором код веб-приложений генерируется на сервере, а не в браузере. Это сокращает время реакции и ускоряет интерактивность приложений.

Библиотека подходит для создания масштабируемых приложений и пользовательских интерфейсов на основе React. Благодаря наличию Node.js и возможности аутсорсить некоторые опции на сторону сервера Next.js можно использовать в качестве бэкенд инструмента.

В списке других достоинств, которые отмечают программисты:

• Автоматическое разделение кода. Next самостоятельно дробит код на небольшие, более управляемые части, что позволяет работать только с необходимыми компонентами и сокращает время первичной загрузки страницы.
• Фреймворк без проблем интегрируется с библиотеками CSS на JavaScript, что существенно упрощает стилизацию, при этом нет необходимости использовать сторонние инструменты.
• Горячая замена модулей. Благодаря этой опции разработчики видят изменения в состоянии в реальном времени без обновления страницы. Это делает разработку более эффективной и удобной.
• Роутинг на базе файловой системы. На платформе Next.js создание роутов (построение оптимального маршрута в структуре папок и файлов) упрощено, что делает более эффективной интеграцию внутренних и внешних функций приложения.
• Наличие собственных плагинов для работы непосредственно с фреймворком. Благодаря этому свойству программист может адаптировать рабочую среду под свои конкретные запросы.

При этом нельзя считать Next.js дополнением к React. Это полноценный фреймворк, в котором имеется набор оригинальных инструментов и алгоритмов. Однако разработчику перед освоением Next.js придется изучить основы React.

Nuxt.js

Еще один инструмент для серверного рендеринга, но уже на базе Vue.js. В первую очередь Nuxt.js — это фронтенд-фреймворк для разработки передовых динамичных веб-приложений с интерактивными функциями.

Несмотря на то, что эту библиотеку нельзя назвать полностью автономной, Nuxt во многих случаях будет приоритетным выбором для разработки приложений с быстрой загрузкой и SEO-оптимизацией, а также сценариев для сложных масштабируемых проектов.

Главные плюсы Nuxt.js:

• Быстрый и простой процесс разработки. Скрипты на JS используются не только на серверной, но и на клиентской стороне, что упрощает процесс написания кода.
• Автоматическая разбивка кода. Фреймворк генерирует статическую версию сайта, используя специализированную конфигурацию Webpack. При этом за каждый статически генерируемый роут отвечает отдельный файл с кодом для запуска.
• Качественная структура. Фреймворк по умолчанию предлагает упорядоченную структуру для всего проекта, что позволяет начать разработку на более выгодных стартовых условиях.
• Принцип «конвенция вместо конфигурации». В структуре минимум конфигурационных файлов, что ускоряет разработку и минимизирует ошибки. Встроенная маршрутизация существенно упрощает разработку сложной навигации.
• Удобство. Nuxt.js часто обновляется и совершенствуется. Разработчикам доступна подробная документация, а благодаря стандартным настройкам освоить фреймворк относительно легко.

Сильной стороной фреймворка выступает также полноценная экосистема плагинов, которые облегчают такие задачи, как обработка API, создание серверного функционала и управление состоянием. Мощная модульная архитектура позволяет без труда подключать счетчики аналитики, добавлять прогрессивные PWA-фишки на сайт и решать множество других задач.

Remix

Относительно новый фреймворк для разработки клиент-серверных продуктов на JavaScript. Основан на библиотеке React, имеет встроенную поддержку TypeScript. Разработчики часто используют Remix для создания одностраничных веб-приложений с перспективой масштабирования.

Преимущества использования фреймворка:

• Вложенные страницы. Все страницы внутри папок выступают вложенными роутами, а не отдельными. По этой причине компоненты можно добавить непосредственно на родительскую страницу, что ускоряет загрузку.
• Граничный метод обработки ошибок. Error Boundaries — наиболее эффективный способ исправления ошибок в компонентах библиотеки React. Это особенно удобно для сборки, поскольку исключает блокировку целой страницы из-за незначительной ошибки.
• Автоматическая обработка. В Remix состояния загрузки обрабатываются самостоятельно, разработчику нужно лишь указать, что будет отображаться в процессе загрузки приложения. Это встроенная возможность фреймворка, для которой не потребуются сторонние библиотеки.
• Универсальность. Remix подходит для работы на всех платформах и взаимодействует с любыми интерфейсами. Фреймворк обрабатывает запросы непосредственно на HTTP-сервере.

В целом разработчики отмечают улучшение пользовательского опыта за счет уменьшения строк кода. Этот фреймворк становится все более распространенным, особенно для работы над частными проектами и игровыми приложениями.

Другие перспективные фреймворки

В зависимости от целей разработки можно использовать и другие инструменты для сценариев на JavaScript. В 2025 году опытные разработчики рекомендуют обратить внимание на следующие фреймворки и библиотеки:

• Solid.js. Декларативная библиотека для быстрой разработки пользовательских интерфейсов. Здесь, как и в Svelte, нет виртуального DOM, а есть компиляция шаблонов в реальные узлы и их обновление через детализированные реакции. У фреймворка достаточно обширная документация, в том числе русскоязычная. Есть все основания полагать, что фреймворк в ближайшем будущем будет активно набирать популярность.
• Astro. Еще один проект с большим потенциалом. Ориентирован на создание веб-продуктов с объемным контентом (информационные сайты, блоги, интернет-магазины и т.д.). Фреймворк практикует серверный рендеринг, поддерживая HTML, CSS и при необходимости TypeScript. Производительность и ориентирование на контент обеспечивает высокую конверсию. Сайты и приложения на Astro загружаются быстро, при этом разработчики используют на порядок меньше сценариев.
• Qwik. Еще один относительно новый фреймворк с улучшенной архитектурой и преимуществами в виде ускоренной загрузки сайтов независимо от уровня их сложности. Поскольку скорость загрузки ресурса уже учитывается поисковыми системами, это свойство приобретает особую ценность для коммерческих проектов. В Qwik строгая иерархия компонентов и улучшенные функции за счет применения техник SSR или SSG.

Выбор оптимального фреймворка для качественной и быстрой разработки проекта зависит от множества факторов и тщательного предварительного анализа. Разработчикам необходимо грамотно определить приоритеты. Среди значимых факторов — скорость работы, мобильность и возможность масштабирования, частота обновлений фреймворков. В любом случае быстрота, простая поддержка и легкость в добавлении новых функций пойдут инструментам только на пользу.

Apache Hadoop — это платформа для хранения и работы с большими объемами данных. Ее преимущество заключается в распределении вычислений между множеством узлов. Hadoop разбивает большую задачу на много маленьких и решает их одновременно на разных компьютерах.

Основные компоненты фреймворка:

• Hadoop Distributed File System (HDFS) — файловая система для хранения больших данных с потоковым доступом. HDFS оптимизирована под работу с файлами до десятков терабайт, а кластеры могут хранить петабайты информации.
• MapReduce — модель для обработки записей из HDFS. MapReduce разбивает задачу на две фазы. На этапе «Map» данные обрабатываются параллельно на разных узлах кластера, а на этапе «Reduce» результаты объединяются.
• Yet Another Resource Negotiator (YARN) — система управления ресурсами кластера и планирования задач. YARN расширяет возможности Hadoop и поддерживает другие модели обработки помимо MapReduce — Spark, Flink.

HDFS, MapReduce и YARN образуют основу Hadoop, обеспечивая хранение, обработку и управление ресурсами соответственно.

Hadoop используют для анализа логов пользователей, чтобы, например, улучшить таргетирование рекламы. Онлайн-ритейлеры применяют Hadoop для рекомендаций товаров на основе истории покупок и просмотров. Распределенная система также применяется в банковской сфере для обработки транзакций.

Преимущества Hadoop

Масштабируемость. Систему Hadoop можно расширять до тысяч узлов. Компании наращивают вычислительные мощности по мере роста объемов данных.

Экономия. Дешевые сервера на базе Hadoop объединяются в мощный вычислительный кластер. Компании используют Hadoop, чтобы не инвестировать в дорогостоящее оборудование.

Отказоустойчивость. Благодаря распределенной архитектуре и автоматической репликации Hadoop работает даже при отказе отдельных узлов кластера.

Гибкость. Hadoop применяется в проектах со структурированными и неструктурированными данными.

Что такое Apache Spark?

Apache Spark — это система распределенных вычислений. Она используется для преодоления ограничений Hadoop MapReduce и интегрируется поверх HDFS.

Spark до 100 раз быстрее Hadoop MapReduce благодаря обработке данных в памяти. Также Spark предоставляет API на Java, Scala, Python. Еще поддерживаются пакетная обработка, интерактивные запросы, потоковая обработка и машинное обучение.

Компоненты Apache Spark:

• Spark Core — движок для распределенной обработки больших данных. Включает в себя API для работы с Resilient Distributed Datasets (RDD) — основной абстракцией данных в Spark.
• Spark SQL — модуль для работы со структурированными данными, поддерживающий SQL-запросы.
• Spark Streaming — компонент для обработки потоковых данных в реальном времени.
• MLlib — библиотека машинного обучения с алгоритмами для классификации, регрессии, кластеризации и фильтрации данных.
• GraphX — движок для визуализации данных на графиках.

Преимущества Spark

Скорость. Spark быстрее Hadoop. Производительность заметна при интерактивной обработке информации и задачах с низкой задержкой.

Отказоустойчивость. Как и Hadoop, Spark устойчив к сбоям за счет распределенного хранения и обработки информации.

Универсальность. Spark подходит для разных видов обработки информации: пакетной, потоковой, SQL-запросов, машинного обучения и графовых алгоритмов.

Интерактивность. Благодаря производительности, с помощью Спарка можно анализировать информацию в реальном времени.

Hadoop vs Spark: сравнение и различия

Оба инструмента предназначены для работы с массивами информации, но их подходы и возможности существенно различаются.

Производительность

Hadoop был создан как решение для распределенной обработки информации, позволяющее разделить нагрузку между множеством серверов. Spark же появился позже как ответ на ограничения Hadoop, предлагая более быструю и гибкую альтернативу пакетной обработке.

Hadoop эффективен для пакетной обработки больших данных, но не отличается высокой скоростью из-за постоянного обращения к внешнему хранилищу. Это делает его подходящим для задач, не требующих мгновенного отклика, например, для анализа ежемесячных отчетов.

Спарк ориентирован на обработку в реальном времени. Он копирует информацию в оперативную память, что значительно ускоряет процесс. Такой подход позволяет Spark превосходить Hadoop как в простых, так и в сложных операциях.

Hadoop:

1. Записывает промежуточные результаты на диск, что замедляет выполнение задачи.
2. Эффективен для пакетной обработки, когда время выполнения не критично.
3. Предпочтительнее для обработки данных, которые не помещаются в память кластера.

Spark:

1. Хранит промежуточные результаты в памяти, минимизируя операции ввода-вывода.
2. Использует направленный ациклический граф (DAG) для оптимизации задач.
3. До 100 раз быстрее Hadoop MapReduce, когда данные помещаются в память.

Программные модели

Основа Hadoop — собственная распределенная файловая система HDFS, которая разбивает массивы данных на мелкие блоки и распределяет их по кластеру. Спарк не имеет встроенной файловой системы, поэтому использует HDFS Hadoop для хранения и управления базой.

Hadoop:

1. Двухэтапная модель map и reduce.
2. Сложно реализовывать алгоритмы с несколькими этапами обработки данных.

Spark:

1. Более гибкая модель с использованием Resilient Distributed Datasets (RDD) и DataFrame API.
2. Поддерживает функциональное программирование, что упрощает написание итеративных алгоритмов.

Hadoop изначально разрабатывался с учетом высоких требований к безопасности и включает функции шифрования и контроля доступа. Spark имеет ограниченные встроенные механизмы защиты и требует дополнительных мер безопасности при развертывании.

Поддержка различных типов данных и возможностей машинного обучения

Функционал Spark в обработке данных гораздо шире, чем у Hadoop.

Hadoop:

1. Поддержка структурированных данных через Hive.
2. Обработка неструктурированных данных через MapReduce.
3. Ограниченная поддержка потоковых данных.
4. Ограниченная поддержка графовых данных.
5. Работа с CSV, JSON через Hive.
6. Нет встроенной библиотеки машинного обучения.
7. Ограниченный набор алгоритмов ML через внешние инструменты.
8. Ограниченные возможности интерактивного анализа данных.
9. Обработка текста через MapReduce.
10. Ограниченные возможности анализа графов.
11. Проблемы с реализацией алгоритмов машинного обучения.

Spark:

1. Поддержка структурированных данных через Spark SQL.
2. Обработка неструктурированных данных через RDD API.
3. Полная поддержка потоковых данных через Spark Streaming.
4. Полная поддержка графовых данных через GraphX.
5. Работа с CSV, JSON, Parquet и другими форматами через Spark SQL.
6. Встроенная библиотека машинного обучения MLlib.
7. Широкий набор алгоритмов ML в MLlib.
8. Широкие возможности интерактивного анализа через Spark Shell.
9. Обработка текста через RDD API и MLlib.
10. Реализованы алгоритмы PageRank, Connected Components, Shortest Paths.
11. Относительно простая реализация сложных алгоритмов ML.

Интеграция Hadoop и Spark

Платформы интегрируются вместе на проектах, где необходимо хранить данные долговременно и быстро их обрабатывать:

• HDFS используется как основное файловое хранилище, предоставляя масштабируемую инфраструктуру для хранения информации.
• Spark обрабатывает и трансформирует данные в реальном времени.
• YARN распределяет вычислительные мощности между платформами.

Расширить функционал системы можно при помощи следующих инструментов:

• Apache Hive — позволяет выполнять SQL-подобные запросы к данным, хранящимся в HDFS, используя Спарк в качестве движка.
• Apache Kafka — система обмена сообщениями, часто используемая вместе со Spark Streaming для обработки в реальном времени.
• Apache HBase — NoSQL на основе HDFS, которая может быть использована совместно со Спарком для быстрого доступа к данным.

Чтобы выбрать оптимальную архитектуру системы и компоненты, нужно определить требования и цели проекта. Например, если требуется обрабатывать потоковые данные, то помимо Hadoop и Spark понадобиться Apache Kafka.

Следующий этап — планирование инфраструктуры. Необходимо рассчитать объемы данных, которые будут храниться в HDFS, и спроектировать кластер. Нужно выделить достаточно ресурсов для процессов Спарка, учитывая пиковые нагрузки.

Шаг 1. Определите источники данных и их характеристики

Составьте список всех источников данных, которые будут загружаться в HDFS. Для каждого источника выясните:

• формат (CSV, JSON, Avro, текстовые логи),
• частоту поступления (раз в час/день/неделю, непрерывный поток),
• объем, поступающий за один период,
• ожидаемый рост в будущем.

Пример:

Есть 3 источника данных об активности пользователей на сайте, о покупках и логи сервера приложений. Данные поступают каждый день в формате JSON, со средним объемом 5 ГБ, 10 ГБ и 20 ГБ соответственно. Ожидаемый ежегодный прирост — 20%.

Шаг 2. Определите время хранения данных

Решите, как долго хранить каждый тип данных, исходя из требований бизнеса. Иногда достаточно хранить только свежие данные за последний месяц.

Пример:

Решили хранить данные об активности и покупках за последние 2 года, а логи сервера — за 6 месяцев.

Шаг 3. Рассчитайте общий объем сырых данных

Для каждого источника рассчитайте ожидаемый объем данных за требуемый период хранения. Учитывайте ожидаемый рост.

Пример:

• Активность: 5 ГБ × 365 дней × 2 года × 1.2 (прирост 20% в год) = 4.38 ТБ
• Покупки: 10 ГБ × 365 дней × 2 года × 1.2 = 8.76 ТБ
• Логи: 20 ГБ × 182 дня × 1.1 (за полгода прирост около 10%) = 4 ТБ
• Итого сырых данных: 4.38 + 8.76 + 4 = 17.14 ТБ

Шаг 4. Учтите репликацию

По умолчанию HDFS хранит 3 копии каждого блока данных для обеспечения отказоустойчивости. Поэтому оценку объёма данных нужно умножить на коэффициент репликации.

Пример:

С учетом репликации потребуется 17.14 ТБ × 3 = 51.42 ТБ

Шаг 5. Добавьте пространство для промежуточных данных

В процессе обработки данных в Hadoop создаются временные файлы, результаты ETL-процессов, агрегаты. Нужно зарезервировать под них дополнительное пространство — обычно 20-30% от объема сырых данных.

Пример:

Добавляем 30% к оценке: 51.42 ТБ × 1.3 = 66.85 ТБ

Шаг 6. Спланируйте разделение по папкам

Для удобства управления данными в HDFS их нужно разделить по папкам — например, по типам, по бизнес-доменам. Примерная структура:

• /data/raw/,
• /data/processed/,
• /data/tmp/,
• /user/,
• /apps/.

Это позволит выставлять разные политики хранения для разных типов данных, ограничивать права доступа.

В HDFS планируется разместить около 66.85 ТБ данных с учетом двухлетнего срока хранения, ожидаемого роста, репликации и промежуточных сведений. На основе этой оценки можно принимать решения о конфигурации кластера. В реальных проектах могут быть и другие факторы, влияющие на расчеты — например, сжатие больших данных, нагрузка на кластер.

Пример проекта с большими данными на Hadoop и Spark

Предположим, что есть большой набор данных о продажах в сети розничных магазинов. Наша задача — проанализировать собранные сведения, чтобы получить бизнес-инсайты. Будем использовать HDFS для хранения информации, а Spark — для их обработки.

Сначала загрузим датасет в HDFS. Информация о продажах содержится в CSV-файле sales_data.csv. Загрузим его в HDFS с помощью bash-команды:

Пример кода на PySpark для анализа данных из sales_data.csv:

Скрипт создает сессию Spark с конфигурацией для работы с HDFS, читает данные из CSV-файла. Далее запускается 3 вида анализа:

• Расчет общих продаж по категориям товаров.
• Определение средней цены продукта по брендам.
• Выявление ТОП-5 продуктов по количеству продаж.

В конце скрипт выводит результаты анализа на экран и сохраняет их в HDFS в формате CSV.

Заключение

Hadoop и Spark открывают огромные возможности для работы с большими данными, но их внедрение — это непросто. Каждый проект уникален, и опыт использования этих технологий может сильно различаться.

А вы уже использовали Hadoop и Spark на своих проектах?

Поделитесь опытом в комментариях:

• Какие задачи вы решали с помощью этих инструментов?
• С какими трудностями столкнулись при внедрении?
• Какие недостатки обнаружили?

Ваши истории будут очень полезны для тех, кто только начинает изучать Hadoop и Spark.

Фреймворк базируется на стандартах JavaScript, CSS и HTML. У него интуитивно понятное программное управление, подробная и понятная документация. А еще у Vue.js реактивная система отрисовки и обширная экосистема, которая постоянно развивается.

Однако в ряде случаев фреймворку требуется управление состоянием — для этой цели используются специальные библиотеки. Узнаем, что это за библиотеки, в каких случаях они нужны, каковы преимущества и недостатки самых популярных из них.

Когда нужно управление состоянием в Vue.js

Чтобы разобраться в этом вопросе, нужно выяснить, что собой представляет состояние в Vue и зачем им управлять. С технической точки зрения все компоненты фреймворка самостоятельно управляют своим реактивным состоянием — то есть источником данных, отвечающим за работу приложения.

В простых программных продуктах отдельные блоки, помимо строк состояния, включают в себя Представление (View) и Действие (Actions). Схема кажется простой, но ее стройность нарушается, когда есть несколько компонентов с одинаковым состоянием. В таких ситуациях ряд Представлений и Действий зависит от одного фрагмента Состояния, в результате возникают сложности с реализацией.

Можно попытаться «поднять» состояние до общего родительского компонента, после чего передать его вниз в формате входных параметров. Однако такая стратегия становится слишком трудоемкой в структурах с глубокой иерархией, что приводит к разнообразным проблемам.

Иными словами, управление состоянием при разработке веб-приложений бывает крайне сложным. В особенной степени это касается масштабных и быстрорастущих проектов, когда требуется эффективное централизованное управление состоянием. При этом полноценное управление — важнейший параметр Vue-приложений, обеспечивающий масштабируемость кода.

Разработка современных веб-приложений неизбежно связана с вопросом управления состоянием. Особенно если речь идет о сложных структурах, в которых каждый элемент играет определенную роль и взаимодействует с другими компонентами. Управление состоянием здесь играет роль дирижера оркестра, который отвечает за гармоничное и согласованное звучание инструментов.

На фреймворке Vue.js состояние — набор данных, который определяет текущий статус приложения. Сюда относятся данные пользователя, параметры интерфейса, запросы к серверу. Если приложение небольшое, управление состоянием несложное — элементы напрямую обмениваются данными с помощью свойств и событий.

В более сложных приложениях такие схемы не работают. Здесь и вступает в силу концепция управления состоянием. Ее грамотное применение существенно упрощает работу с данными и делает код более гибким и предсказуемым. В Vue эту задачи решают библиотека Vuex и более продвинутый инструмент Pinia.

Почему важно управлять состоянием:

• Централизованное хранение данных. Информация не разбросана по разным компонентам, а собрана в едином хранилище. Такая структура позволяет без труда отслеживать изменения данных и упрощает отладку приложений.
• Прозрачность данных. Каждое изменение состояния реализуется с помощью определенных методов (actions и mutations), что делает процесс прозрачным, управляемым и предсказуемым, а также устраняет риски неконтролируемых модификаций.
• Простой обмен данными. С помощью библиотек управления компоненты получают доступ к данным центрального хранилища. Отпадает необходимость в создании длинных цепочек (props). Архитектура приложения существенно упрощается.
• Масштабируемость. В сложных приложениях по мере их роста управление сохраняет свою структуру благодаря разделению внутренней логики на отдельные модули. Каждая ветвь отвечает за свои компоненты состояния, при этом код становится более организованным.

По мере усложнения фронтенд-разработки эффективное управление состоянием приложений становится все более актуальной задачей. Централизованное управление значительно упрощает работу, поскольку пользоваться данными, которые хранятся и обрабатываются в одном месте, гораздо проще.

Популярные библиотеки для управления состоянием

В распоряжении разработчиков две полноценных библиотеки для управления состоянием — это Vuex и Pinia. Оба этих инструмента можно назвать официальными — они поддерживаются многочисленным сообществом разработчиков и одинаково востребованы.

Vuex

Это первая официальная библиотека, созданная для управления состоянием на фреймворке Vue. Этот инструмент служит также централизованным хранилищем, в котором содержатся все компоненты конкретного приложения. Vuex гарантирует, что изменение состояния будет происходить только предсказуемым образом.

Структура Vuex тщательно организована, а каждое действие в этой системе строго регламентировано. Библиотека управления состоянием представляет собой высокоэффективный инструмент для работы с данными.

Рассмотрим его ключевые компоненты:

• State. Это централизованное хранилище всех данных, относящихся к приложению. Сюда входит и пользовательская информация, и настройки интерфейса. По сути это главный источник, координирующий работу всех элементов приложения.
• Getters. Это своего рода окна, которые обеспечивают доступ к содержимому хранилища. С их помощью разработчики извлекают и обрабатывают данные, не изменяя при этом самого состояния.
• Mutations. Это единственные компоненты в библиотеке, которые могут изменять состояние. Mutations можно представить как стражей хранилища, которые строго следят за тем, чтобы любые изменения внутри приложения проходили по регламенту и были полностью предсказуемы. Компоненты действуют синхронно и за стартовый параметр принимают текущий статус состояния.
• Actions. Действия в библиотеке Vuex выступают посланниками асинхронных задач — они передают результаты Mutations и принимают текущий контекст хранилища в качестве параметра.

Каждый элемент библиотеки играет строго определенную роль, а вместе они поддерживают порядок внутри хранилища. Работа с Vuex относительно проста — научившись создавать простые предложения, разработчики смогут их легко масштабировать.

Библиотека предлагает пользователям продвинутые возможности. Одна из них — модули. Эти инструменты позволяют управлять приложением даже в ситуации, когда оно структурно усложняется по мере роста проекта. Модули поддерживают порядок и помогают избежать хаоса.

Когда приложение усложняется и разрастается, управлять состоянием становится все труднее. Применение единого хранилища в подобных обстоятельствах создает неудобства — ухудшается читабельность кода, сложно отслеживать ошибки и интегрировать новые функции. В таких ситуациях и нужны модули. У каждого из них есть своя область управления. Модули разделяют код на логические блоки, делая работу более комфортной.

Еще одна продвинутая функция — асинхронные действия. В разработке приложений это направление становится все более актуальным. Асинхронные действия нужны для управления состоянием в соответствии с данными, поступающими из внешних источников. Приложение обращается к серверу и обновляет состояние в зависимости от полученных ответов. В Vuex асинхронные действия — ключевой момент взаимодействия с API.

В числе базовых преимуществ Vuex:

• наличие модульной структуры, позволяющей управлять состоянием сложных приложений;
• интеграция с Vue DevTools — плагином для отладки приложений в браузере;
• функции отладки — редактирование и откат до прошлого состояния;
• доступность в использовании.

Недостатком библиотеки эксперты считают слишком сложную структуру, мешающую работе с небольшими проектами. Однако для крупномасштабных приложений это идеальный вариант.

Pinia

Это новый, более легковесный инструмент с интуитивно понятным API и более продвинутой системой реактивности. Эксперты считают эту библиотеку управления состоянием прогрессивной и отмечают ее уникальные возможности — расширяемость, удобную организацию модулей и возможность создания нескольких хранилищ.

Работа с Pinia максимально упрощена — чтобы начать, необходимо лишь установить и создать хранилище. Это делается с помощью простых команд. Легкость использования способствует быстрому росту популярности библиотеки — благодаря сообществу Pinia, как и Vuex, стала официально рекомендованным инструментом для работы с Vue.js.

Кривая обучаемости на Pinia будет максимально простой для разработчиков, ранее освоивших библиотеки Flux, включая Redux, MobX. Документация, как и в случае с Vuex, подробна, написана понятным языком, удобна к использованию опытными и начинающими программистами.

Pinia — одна из самых быстрорастущих библиотек на GitHub. За пять лет с момента выхода было уже несколько стабильных релизов. Все эти продукты имеют открытый исходный код и доступны в бесплатном режиме.

Разработчики стараются поддерживать продукт в русле философии Vuex. По производительности Pinia в некоторых моментах опережает предшественника, что объясняется малым весом библиотеки (1 КБ). Однако некоторые функции, например, редактирование, поддерживаются не во всех версиях. Вложенных хранилищ здесь нет, зато в библиотеке можно создавать хранилища последовательно по мере надобности и распределять их в коде.

Основные плюсы Pinia:

• уникальная легкость продукта;
• отсутствие деления на mutators и actions (есть только действия);
• поддержка нескольких хранилищ вместо модулей;
• поддержка Vue Devtools и SSR;
• модульность и гибкость.

Главный недостаток — отсутствие некоторых функций отладки и редактирования.

Composition API + Reactivity API

В ряде случаев для управления состоянием достаточно встроенных инструментов Composition API и Reactivity API. Разработчики могут использовать эти функции, если есть фрагмент, общий для нескольких экземпляров. В этом случае создается реактивный объект, после чего импортируется в несколько компонентов.

В простых случаях такие функции работают, но в долгосрочной перспективе при усложнении проекта Reactivity API не будет удобным и эффективным. Таким образом, встроенные инструменты Vue подходят только для простых приложений или их компонентов.

Критерии выбора библиотеки — когда использовать Pinia, а когда Vuex

Pinia — удобная и производительная библиотека, но она не имеет цели заменить Vuex. Последняя остается рекомендуемым инструментом для управления состоянием.

При выборе стоит учитывать, такие параметры, как:

• масштаб и уровень сложности проекта;
• поддержку текущей версии фреймворка Vue.js;
• особенности проекта.

Эксперты считают, что Pinia больше подходит для небольших и средних по размеру приложений, а также для проектов без сложной структуры. При работе с более масштабными приложениями могут возникнуть проблемы по той причине, что некоторые опции отладки, типа возврата во времени и редактирования данных, в этой библиотеке не поддерживаются. Возможно, этот недостаток будет устранен в новом релизе.

Для больших и сложных проектов с разветвленной структурой и перспективой масштабирования больше подходит Vuex. Для малых проектов использование этого инструмента нецелесообразно, поскольку его тяжеловесность может стать причиной низкой производительности приложения.

Многие разработчики, специализирующиеся на простых проектах, легко обходятся без Vuex, используя либо встроенные инструменты фреймворка, либо Pinia. Но как только они сталкиваются с более сложным продуктом, применение библиотеки Vuex становится предпочтительным вариантом. Только этот инструмент обеспечивает возможность создавать сложную структуру, работая в команде, занимаясь отладкой и редактированием данных.

Итоги

Сравнивать библиотеки Pinia и Vuex не совсем корректно, поскольку они работают в разных весовых категориях. У каждого из этих инструментов есть свои положительные и негативные стороны, так что их использование зависит от особенностей конкретного веб-приложения, с которым вы имеете дело. Цель создателей Pinia — не заменить библиотеку Vuex, а облегчить работу с Vue.js в случаях, когда это оправдано.

В тоже время Pinia развивается более стремительно, тогда как в библиотеку Vuex новые функции уже не добавляются. По этой причине создатели Pinia сделали ее рекомендованной библиотекой для новых приложений.

• безопасность,
• производительность,
• удобство разработки.

Для начинающих важно, что в релизе есть улучшения специально для них. Эти JEP упрощают изучение Java, чтобы не пугать новичков с первого взгляда:

• Неявные классы и main-методы экземпляра класса (третья предварительная версия).
• Импортирование модулей (предварительная версия).

В превью вы узнаете, какие JEP вошли в новую Java и чего коснулись эти изменения.

Как начать использовать фичи в предварительной версии

Чтобы попробовать экспериментальные фичи или фичи в предварительной версии, нужно их явно включить. Вы можете это сделать как через командную строку, так и настроить в интегрированной среде разработки (IDE).

В командной строке включите фичу в предварительной версии одним из следующих способов:

• Скомпилируйте программу с помощью javac --release 23 --enable-preview Main.java и запустите ее с помощью java --enable-preview Main.

• При использовании source code launcher запустите программу с java --enable-preview Main.java.

• При использовании jshell запустите его с помощью jshell --enable-preview.

Повышение безопасности

Scoped Values (третья предварительная версия)

Scoped values впервые появились в JDK 20 в режиме инкубатора. В третьей предварительной версии метод ScopedValue.getWhere будет удалён. Этот метод заменит новый функциональный интерфейс, позволяющий JVM понять, будет ли выброшено исключение.

Scoped values позволяют совместно использовать неизменяемые данные в рамках одного потока и между потоками. Scoped values следует использовать вместо класса ThreadLocal, потому что они уменьшают сложность кода и повышают надёжность многопоточных приложений.

Вот пример того, как два метода фреймворка, выполняющиеся в одном потоке обработки запросов, могут использовать переменную типа ThreadLocal для совместного использования FrameworkContext. Так, не нужно передавать FrameworkContext в качестве аргумента методу, когда фреймворк вызывает пользовательский код, и наоборот: пользовательский код вызывает метод фреймворка.

1. Фреймворк объявляет переменную типа ThreadLocal CONTEXT (1).
2. Когда Framework.serve выполняется в потоке обработки запросов, он записывает подходящий FrameworkContext в переменную типа ThreadLocal (2), а затем вызывает пользовательский код.
3. Если и когда пользовательский код вызывает Framework.readKey, этот метод считывает переменную ThreadLocal (3), чтобы получить FrameworkContext потока, обрабатывающего запрос.

Переменная типа ThreadLocal служит неким скрытым параметром метода: поток, вызывающий CONTEXT.set в Framework.serve и CONTEXT.get в Framework.readKey, автоматически увидит свою собственную локальную копию переменной CONTEXT. По сути, поле ThreadLocal служит ключом, который используется для поиска значения FrameworkContext для текущего потока.

Но у ThreadLocal есть несколько недостатков:

1. Все переменные ThreadLocal изменяемые. Метод get() переменной ThreadLocal может быть вызван в любом месте кода, так же, как и метод set().
2. Если переменная ThreadLocal копии потока определена с помощью метода set(), то значение переменной сохраняется в течение всего времени существования потока или до тех пор, пока код в потоке не вызовет метод remove(). Разработчики часто забывают вызывать метод remove(), поэтому значение переменной хранится дольше, чем нужно.
3. Дочерние потоки наследуют переменные ThreadLocal родительского потока и обязаны выделять часть памяти для каждой переменной ThreadLocal родительского потока, что очень накладно по памяти. Учитывая, что на практике дочерние потоки редко используют метод set() на унаследованных переменных ThreadLocal.

Эти недостатки усугубляются с появлением виртуальных потоков — их может быть тысячи или даже миллионы. Получается, переменные ThreadLocal только усложняют передачу значения переменной в рамках одного потока без использования явного параметра и накладывают расходы, которых нельзя избежать.

Недостатки ThreadLocal решает ScopedValue.

А вот этот же пример кода, но переписанный с использованием класса ScopedValue:

1. Фреймворк объявляет переменную CONTEXT типа ScopedValue вместо ThreadLocal (1).
2. Метод serve() вызывает ScopedValue.runWhere вместо метода set() класса ThreadLocal (2).

Метод runWhere обеспечивает односторонний обмен данными от метода serve() к методу readKey(). Метод runWhere() связывает переданное значение с соответствующим объектом на время выполнения, что позволяет любому методу, вызванному из runWhere(), получить это значение через CONTEXT.get()(3).

Если Framework.serve вызывает пользовательский код, который затем вызывает Framework.readKey, то значение будет таким же, как и в момент вызова runWhere(). Эта связь действует только внутри runWhere(). Попытка получить значение через CONTEXT.get() в Framework.serve после завершения runWhere() приведёт к исключению, так как связь больше не существует.

Таким образом, значение ScopedValue связывается с объектом только на время выполнения метода runWhere(), что освобождает разработчиков от необходимости помнить об очистке значений переменных. Также значение переменной ScopedValue можно только получить методом get() и нельзя изменить, так как у ScopedValue нет метода set(). Так решается проблема с дорогим наследованием: дочерним потокам не нужно копировать значение, которое не изменяется в течение периода жизни.

Подготовка к удалению методов доступа к памяти в sun.misc.Unsafe

Цель создания класса sun.misc.Unsafe — выполнение низкоуровневых операций в JDK, поскольку этот класс содержит методы для доступа к памяти on-heap и off-heap. Эти методы могут помочь увеличить производительность в некоторых специфических сценариях, но только в том случае, если по пути выполняются исчерпывающие проверки на безопасность. Иначе использование этих методов может привести к неожиданному поведению приложения, сбоям JVM или снижению производительности. Многие библиотеки используют sun.misc.Unsafe, но не все выполняют требуемые проверки безопасности.

Для решения этой проблемы введены два запасных API:

• Variable Handles — для доступа к памяти on-heap,
• Foreign Function & Memory API — для работы с памятью off-heap.

С помощью этих API стало возможным вывести sun.misc.Unsafe из использования с помощью JEP 471 и удалить этот класс в будущих выпусках.

Рассмотрим небольшой пример миграции. Допустим, что в классе Foo есть целочисленное поле int, над которым мы хотим провести операцию атомарного удвоения. Мы можем сделать это с помощью sun.misc.Unsafe:

А теперь улучшим этот пример с помощью VarHandle API:

Увеличение производительности

С каждым релизом производительность Java увеличивается. Этот релиз не исключение.

Vector API (восьмой инкубатор)

Vector API появилось в JDK 16 и пока остаётся в инкубационном периоде. В восьмом инкубаторе всё без изменений.

Vector API повышает производительность расчётов на массивах однотипных данных, которые компилируются в векторные инструкции во время исполнения приложения.

Vector API зависит от некоторых фич проекта Valhalla, который находится в разработке. Как только эти функциональности станут доступны в предварительной версии, векторное API так же попадёт из инкубатора в предварительную версию.

Вот пример простого скалярного вычисления над элементами массива:

Этот же пример, только переписанный с использованием Vector API:

Кажется сильно больше и страшнее. Сначала мы получаем предпочтительный вид из FloatVector, оптимальный для текущей архитектуры, и сохраняем его в static final поле, чтобы компилятор рассматривал его как константу для лучшей оптимизации вычислений. Затем основной цикл проходит по массивам с шагом, равным длине вектора (т.е. длине SPECIES), загружает векторы типа float из массивов a и b, выполняет арифметические операции и сохраняет результат в массив c. Остаток элементов после последней итерации обрабатывается обычным скалярным циклом.

Сборщик мусора ZGC по умолчанию — generational

Сборщик мусора Z Garbage Collector (ZGC) появился ещё в Java 21. В Java 23 сборщик мусора без поколений (non-generational) признан устаревшим и будет удалён в следующей версии. Цели этого JEP 474:

• снизить затраты на поддержку двух сборщиков мусора ZGC: без поколений (non-generational) и generational,
• предупредить о дальнейшем фокусе разработки на generational.

Раньше ZGC хранил молодые и старые объекты вместе и собирал все объекты сразу. С созданием generational ZGC хранит молодые и старые объекты в разных областях и чаще собирает молодые объекты, что уменьшает потребление ресурсов CPU и кучи при сборке мусора.

Чтобы включить ZGC generational в командной строке или IDE, передайте следующие аргументы при выполнении программы:

• -XX:+UseZGC

Используется generational ZGC.

• -XX:+UseZGC -XX:+ZGenerational

Используется generational ZGC. Выдается предупреждение о том, что опция ZGenerational является устаревшей. Выдается предупреждение о том, что режим без поколений (non-generational) устарел и подлежит удалению.

Команда Axiom JDK реализовала доработку сборщиков мусора G1 GC, CMS GC, Parallel GC и Serial GC для выполнения требований ФСТЭК. Эта доработка включает в себя патчи, которые зануляют содержимое объектов, деаллоцируемых сборщиком мусора, и не дают другим приложениям получить доступ к конфиденциальным данным.

Структурированный параллелизм (третья предварительная версия)

Чтобы упростить многопоточное программирование, в JDK 19 было представлено API структурированного параллелизма. Это третья предварительная версия этого API, которая будет включена в JDK 23 без изменений для получения обратной связи от разработчиков.

Структурированный параллелизм (Structured Concurrency) рассматривает группы связанных задач, выполняемых в разных потоках как единое целое. Задача расщепляется на несколько подзадач, которые выполняются в отдельных потоках. Затем эти подзадачи воссоединяются в блоке кода главной задачи. Таким образом, задача координирует выполнение подзадач и отслеживать ошибки их выполнения. Это устраняет риски, связанные с отменой и внезапным завершением работы.

• Взаимосвязь между задачами и подзадачами будет чётко прослеживаться в структуре кода, что повышает наблюдаемость.
• Если происходит сбой в подзадаче или поток, выполняющий задачи, прерывается до вызова join(), то другие подзадачи отменяются. Это повышает надёжность кода.

Удобство разработки

Всё больше фичей Java позволяют упрощать написание кода и делать это быстрее.

Примитивные типы в шаблонах pattern matching, instanceof и switch (предварительная версия)

Благодаря JEP 455 можно использовать примитивные типы во всех контекстах шаблонов. Это улучшит pattern matching и расширит функции instanceof и switch для работы со всеми примитивными типами.

Цели этого JEP:

• устранить ошибки времени исполнения,
• позволить исследовать данные примитивных или ссылочных типов единым образом.

Раньше instanceof работал только с ссылочными типами, а удобного способа проверить примитивные значения на безопасность приведения типа не было. Из-за этого примитивное значение могло быть «по-тихому» преобразовано без выброса исключения. Теперь оператор instanceof проверяет и примитивные типы. Если значение может быть безопасно приведено, instanceof вернёт true, иначе — false.

С поддержкой примитивных типов в конструкции switch выражение ниже:

Можно переписать c заменой блока default на блок с паттерном примитивного типа int, который раскрывает сопоставляемое значение:

Теперь к instance of. Преобразование значения int в float выполняется автоматически оператором присваивания, несмотря на то, что это потенциально может привести к потере данных. Разработчик не получает предупреждения об этом:

Между тем, преобразование значения из int в byte выполняется с помощью явного приведения, но это приведение потенциально может привести к потере данных, поэтому ему должна предшествовать трудоемкая проверка диапазона значений:

instanceof сможет проверять как значения, так и типы. Два предыдущих примера можно переписать так:

Stream Gatherers (вторая предварительная версия)

Stream Gatherers появились в JDK 22 для усовершенствования Stream API поддержкой пользовательских intermediate-операторов. Во второй предварительной версии нет изменений по сравнению с JDK 22, цель этой версии — собрать дополнительную обратную связь и улучшить опыт использования.

Stream Gatherers позволит стримам преобразовывать данные более лёгкими способами по сравнению с существующими встроенными intermediate-операторами. Цели создания Stream Gatherers:

• сделать стримы более гибкими,
• позволить пользовательским intermediate-операторам управлять бесконечными потоками.

До Stream Gatherers для создания необходимой логики в уже существующих intermediate-операторах приходилось создавать отдельные классы или методы. Теперь Stream::gather(Gatherer) позволяет обрабатывать потоки в определённом пользователем порядке.

gather() также является промежуточной операцией, поэтому может быть несколько gather() в одной цепочке:

Чтобы добиться такого же результата, как в примере выше, Gatherer поддерживает метод andThen(Gatherer). Так, этот пример эквивалентен следующей записи:

Поддержка Markdown-разметки в doc-комментариях

Благодаря JEP 467 для написания doc-комментариев можно использовать Markdown, а не только сочетание HTML и тэгов JavaDoc. Это облегчит чтение и написание комментариев в исходном виде для API.

Сравните, как выглядит doc-комментарий в java.lang.Object.hashCode с использованием HTML и javadoc-тэгов:

А теперь посмотрите, как выглядит этот же doc-комментарий, но в стиле Markdown без HTML и с несколькими javadoc-тэгами:

Совсем другое дело. Его легче как написать, так и прочитать.

Импортирование модулей (предварительная версия)

JEP 476 позволит импортировать сам модуль вместо явного импортирования его отдельных пакетов. Это упростит переиспользование модульных библиотек путём одновременного импортирования модулей.

Вместо перечисления всех нужных пакетов модуля в коде, вы сможете одной строкой кода импортировать сам модуль с нужными пакетами. Новички в Java-разработке смогут импортировать требуемые библиотеки и системные Java-классы без необходимости изучать положение этих библиотек и классов в иерархии пакетов.

Так, вместо:

достаточно будет написать:

Неявные классы и main-методы экземпляра класса (третья предварительная версия)

С помощью неявных классов и main-методов экземпляра класса начинающие Java-разработчики могут писать простые программы без сложных конструкций корпоративной разработки и усложнять свои программы с углублением знаний. Опытные разработчики смогут создавать приложения без компонентов, используемых для программирования крупных систем.

Рассмотрим пример. Так выглядит базовая программа Hello World!, которая даётся на начальном уровне изучения Java:

Примитивная по сути программа на Java усложняется большим количеством кода, непонятных новичку понятий и конструкций: class с модификатором доступа public, параметр String[] args, модификатор static и вывод System.out.println(). Прежде чем написать даже такую программу, нужно изучить кучу всего.

Неявные классы имеют только конструктор по умолчанию без параметров (zero-parameter) находящийся в пакете unnamed, на который нельзя ссылаться по имени. Каждый неявный класс должен содержать метод main и представлять собой самостоятельную программу.

Тогда Hello World! упрощается до трёх строк:

В третьей предварительной версии:

1. Неявные классы автоматически импортируют три статических метода для простого текстового ввода и вывода с консоли. Эти методы объявлены в новом классе верхнего уровня java.io.IO:

• public static void println(Object obj),
• public static void print(Object obj),
• public static String readln(String prompt).

Теперь можно обойтись без System.in и System.out. Простая интерактивная программа упрощается до:

2. Неявные классы автоматически по требованию импортируют все публичные классы верхнего уровня и интерфейсы пакетов, экспортируемых модулем java.base. Можно будет использовать API из широко используемых пакетов в теле неявного класса так, будто эти пакеты были импортированы.

Гибкий конструктор (вторая предварительная версия)

Эта функциональность появилась в JDK 22 под названием JEP 447: Выражения перед super(…). Чтобы уменьшить объём и сложность кода, можно добавлять инструкции в конструкторе перед явным вызовом конструктора super() или this(). Это не нарушает естественный порядок инициализации сверху-вниз (top-down).

Во второй предварительной версии конструктор сможет инициализировать поля в том же классе перед явным вызовом конструктора. Конструктор суперкласса (superclass) не выполнит код, который увидит значение поля по умолчанию подкласса (например, 0, false или null). Это может произойти, когда из-за переопределения конструктор суперкласса вызывает метод в подклассе, используя некоторое поле.

Class-File API (вторая предварительная версия)

В Java 22 в предварительной версии появилось стандартный API для парсинга, генерации и трансформации class-файлов. Этот API будет развиваться вместе с форматом класс-файлов и позволит компонентам и фреймворкам Java-платформы использовать его вместо сторонних библиотек.

Во второй предварительной версии появилось следующее:

• Упрощён класс CodeBuilder.
• Экземпляры AttributeMapper в Attributes теперь доступны через статические методы, а не через статические поля. Это позволяет реализовать отложенную (“ленивую”) инициализацию и снизить затраты на запуск Java.
• Переделали Signature.TypeArg в алгебраический тип данных для упрощения его использования.
• Добавлены ClassReader.readEntryOrNull и ConstantPool.entryByIndex, которые выбрасывают ConstantPoolException вместо ClassCastException, если запись по индексу не требуемого типа. Процессоры Class-File смогут указывать, что несоответствие типа записи набора констант — это проблема формата Class-File, а не процессора.
• Класс ClassSignature точнее моделирует общие сигнатуры суперклассов и суперинтерфейсов.
• Исправлена опечатка в несоответствии имён в TypeKind.
• Удалены подробные методы реализации в ClassReader.

Java 23 в России

Законы РФ запрещают использование зарубежных дистрибутивов — Oracle JDK и других поставщиков. Чтобы применять Java в проде легально и без опаски, стоит перейти на отечественную платформу Axiom JDK. Ее, например, использует почти каждый из нас, оплачивая услуги картой «Мир» и в Системе Быстрых Платежей (СБП), а также картами ушедших Visa и Mastercard. Все они процесcятся на российской Java.

Axiom JDK зафиксирован в реестре российского ПО и отвечает жестким требованиям критической информационной инфраструктуры (КИИ) по 4-ому уровню доверия сертификации ФСТЭК. Поэтому все секьюрно.

В целом, технологии Java можно найти почти везде — в соцсетях, добыче нефти и газа, финтехе, облачных сервисах, антивирусах. А ещё кассы самообслуживания в сети магазинов «Пятёрочка» тоже работают на Java. Теперь вы будете вспоминать об этом, когда покупаете там что-либо.

Заключение

Java 23 — это не LTS-версия. Но опыт Java 22 показал, что российские компании стремятся к инновациям и с момента выпуска стараются тестировать улучшения. Поэтому стоит приглядеться к изменениям в JDK 23 уже сейчас, чтобы оценить преимущества и заранее продумать миграцию на одну из LTS-версий.

Black

Это инструмент, который одновременно выявляет ошибки и форматирует код на Python. В сообществе питонистов уже давно есть PEP8, оформляющий код в едином стиле, и пойти против него — практически преступление. Black менее красивый, но при этом более консистентный, плюс его нельзя конфигурировать. Об этом даже написано в readme.md пакета:

By using it, you agree to cede control over minutiae of hand-formatting. In return, Black gives you speed, determinism, and freedom from pycodestyle nagging about formatting. You will save time and mental energy for more important matters.

Используя его, вы соглашаетесь больше не контролировать форматирование вручную. Взамен Black «обещает» скорость, определенность и свободу от придирчивого отношения к стилю pycodestyle. Тем самым вы экономите свое время и силы для более важных дел.

Форматирование кода крайне важно при работе над крупными проектами и в больших командах — код будет в разы проще читать, равно как и выявлять ошибки.

Для установки вводим в командную строку:

А чтобы сразу приступить к работе с дефолтными настройками, прописываем:

MyPy

MyPy — инструмент статической проверки типов, который поддерживает и динамическую типизацию (duck typing). Он помогает выявлять ошибки несоответствия типов в коде до его выполнения, повышает надежность программы, а еще — поддерживает другие библиотеки и разные режимы проверки типов.

Для установки вводим:

Пример кода с ошибками, который проверяет работу MyPy:

Вывод будет такой:

Pydantic

Популярная библиотека для проверки данных и управления настройками. Внутри — интуитивно понятный синтаксис и user-friendly инструменты, которые проверяют данные на достоверность и соответствие заданным типам и ограничениям.

Pydantic определяет структуру данных декларативным способом с помощью аннотаций типов Python, а также использует схему JSON для интеграции инструментов и проверяет стандартные типы библиотек с помощью TydepDicts.

Вот простой пример, как работает Pydantic:

Здесь можно увидеть, как использование библиотеки Pedantic уменьшило размер кода и сделало его более понятным за счет того, что в нежелательном кастомном методе validate() особо нет необходимости.

Hypothesis

Это мощная библиотека Python для property-based тестирования, которая генерирует тестовые данные в соответствии с определенными правилами (strategies). Основная идея заключается в том, чтобы задать общие свойства программы, а Hypothesis автоматически сгенерирует множество входных данных для проверки этих свойств.

Библиотека интегрируется со многими популярными утилитами для тестирования, например, с pytest и unittest.

Установка:

Вот пример простого кода с ошибкой деления на 0, которую проверяет «Гипотеза»:

Тест выдаст следующее:

Pre-commit

Классный фреймворк Python для управления многоязычными прекоммитами и их поддержки. Он определяет набор проверок и преобразований, которые выполняются в вашем коде автоматически перед каждым коммитом.

Для установки:

Вот как это работает:

• Создаем файл .pre-commit-config.yaml в корневой структуре проекта:

• Устанавливаем скрипты Git-хуков:

• Сам коммит-код:

Pre-commit автоматически проверит код на ошибки и исправит их.

Vulture

Пакет Python, который выявляет мертвый код в ваших проектах и выдает подробный отчет.

Мертвый код — код, который никогда не использовался и не выполнялся, он может накапливаться с течением времени, но при этом не несет никакой пользы.

Устанавливаем:

Работает это так:

Isort

Утилита командной строки и одновременно библиотека, которая упрощает жизнь разработчикам. Она сортирует import Python — упорядочивает и делает его более читабельными, группируя по типу (стандартная библиотека, сторонние и локальные) и выстраивая в алфавитном порядке внутри каждой группы.

Для установки:

Пример до и после использования Isort:

PyDocstyle

Утилита проверяет, соответствует ли ваши docstrings стандарту PEP 257. Это стиль, который упорядочивает высокоуровневую структуру таких строк — что они должны содержать и как их писать (при этом он не затрагивает синтаксис в самих строках).

Для установки:

Затем пишем это и проверяем свой код:

Вывод будет следующий:

Bandit

Программа проверяет безопасность кода. Она ищет наиболее частые проблемы в приложениях на Python.mlt, анализирует AST (абстрактное синтаксическое дерево) и запускает набор плагинов для выявления ошибок.

Код, который проверял автор статьи на ошибки безопасности:

Вот какой результат выдал «Бандит»:

Radon

Пакет Python, который анализирует исходный код и вычисляет различные метрики, включая Cyclomatic Complexity (CC), Maintainability Index (MI), Raw metrics (SLOC, комментарии, пустые строки), и Halstead metrics. Radon помогает найти слишком сложные части кода, которые можно упростить, а также выдает отчеты для документирования и проверки кода. Пакет особенно полезен в больших проектах, когда код должен быть качественным, отлаженным и системным.

Устанавливаем:

Код, который автор статьи тестировал на сложность:

Для теста: random cc code.py

Чтобы эффективнее использовать Radon, можно создать файл конфигурации random.cfg — так будет проще управлять действиями пакета:

Эта конфигурация исключает определенные каталоги и устанавливает минимальные пороговые значения для Cyclomatic Complexity and Maintainability Index.

Конечно, это далеко не все фичи, которые будут действительно полезны питонистам. Если у вас есть другие крутые решения — приносите в комментарии.

Для нового выпуска мы спросили про итоги недели Кирилла Мокевнина – автор YouTube и тг-канала «Организованное программирование», разработчик-преподаватель и сооснователь онлайн-школы Хекслет.

Кирилл делится своим опытом разработки системы для Хекслет Колледжа, реакцией на релизе СhatGPT Omni и советами по продуктивности.

Как прошла неделя? Над чем работаешь в последнее время?

Активно участвую в разработке небольшой системы, для работы с абитуриентами в Хекслет Колледже. Это система, которая упрощает работу по приему документов и оплаты обучения. Сейчас самая активная стадия набора и я доводил эту систему до ума, упрощая и ускоряя процесс поступления

Какая из последних IT новостей запомнилась тебе больше всего? Почему?

Релиз ChatGPT Omni. То как он работает с картинками это просто что-то. Еще понравился софт, который через себя пропускает звонки в поддержку и делает речь спокойной, если на той стороне ведут себя агрессивно. Спасет кучу нервов людям, которые работают в саппорте.

Вообще все что происходит вокруг ИИ не может не радовать. Я слежу за интересными проектами в этой сфере и активно встраиваю их в мои личные процессы и процессы Хекслета.

С какой сложной задачей ты столкнулись в последнее время? Какой простой совет можешь дать, чтобы решить

Для поступления в колледж заполняется большая многоступенчетая форма со множеством разнообразных документов, состав которых зависит от количества параметров, включая пол, возраст, гражданство и т.п.

Причем каждый документ проходит процесс верификации с возможным отклонением. Нам нужно было не просто реализовать эту систему, но и сделать ее такой, чтобы документы и шаги в этот процесс могли добавляться достаточно легко и со стороны UI и со стороны бекенда. В итоге получилась довольно удобно.

Совет тут простой, описание такой системы хорошо ложится в модель конечного автомата, вот их мы и применили.

Что слушал на неделе: трек или подкаст

Недавно открыл для себя группу Джейло. Слушаю на репите.

Что советуешь почитать и посмотреть

Порекомендую свою же статью, про то как неделю назад в процессе разработки этого проекта, у нас удалилась продакшен база данных из-за неожиданного поведения фреймворка

Из того, что советую посмотреть. Мне очень понравилось интервью известного уборщика в тренажерном зале. Рекомендую всем, кто так или иначе задумывается о том, чтобы начать блоггерскую деятельность.

Твой топ-3 приложений

• Telegram
• X (twitter)
• Amazon

Если говорить про работу, то по сути два: Slack и Notion

Как планируешь проводить выходные и что посоветуешь другим попробовать

Куда-нибудь пойдем с детьми. Ну и обязательно спорт, я катаюсь на роликах, рекомендую попробовать wizard skating. Очень красиво и получается зарядиться на работу.

Как итог — любимый IT-мем недели!

Следите за новыми выпусками «Ретроперспективы недели» на Tproger — будет ещё больше интересного! Если у вас есть идеи, кого бы вы хотели видеть в следующем выпуске, дайте нам знать!

Кстати, вы можете проверить свои знания: попробуйте угадать, для чего нужна та или иная Python-библиотека.

Гайд написан владелицей Django-сайта. Если вам интересно, как пересесть с nocode-CMS вроде WordPress на самописную админку, посмотрите эту статью.

Универсально для всех фреймворков

Даже если не все инструменты понятны и нужны сразу, сохраните этот листинг в закладки: тогда тулы вроде gunicorn станут «на вырост».

• pillow: библиотека для работы с изображениями.
• psycopg: один из лучших адаптеров PostgreSQL для Python.
• python-dateutil: расширение для стандартного py-модуля datetime.
• boostrap-icons: npm-пакет с иконками, прикручиваемый к HTML-темплейту.

• tzdata: утилита с информацией о временных зонах.
• urllib3: для выполнения запросов к веб-серверам.
• requests: одна из самых популярных библиотек для HTTP-запросов на Python.
• sqlparse: форматирование и парсинг SQL-запросов.
• text-unidecode: транслитерация из Unicode в ASCII.

• pandas: библиотека для работы с табличными данными.
• certbot: бесплатные SSL-сертификаты.

• plotly: дизайнерские графики с тонкой настройкой почти любого аспекта.

• FastAPI: современный, быстрый веб-фреймворк для создания API.
• pytest: быстрее способа писать тесты для ваших функций просто нет.
• gunicorn: сервер для запуска Python веб-приложений.

• six: библиотека для совместимости кода между Python 2 и 3.

• PyYAML: человекочитаемый формат конфигов.

Для подобных файлов Python нужен отдельный коннектор

• wheel: ускоряет установку библиотек и модулей.
• charset-normalizer: управляет кодировкой текста.

Помимо прочего, обеспечивает совместимость с разными браузерами и спасает от вредоносного кода, отправляемого через формы.

• idna: обработка доменных имен с интернациональными символами.

• typing-extensions: аннотация типов для разных версий Python.

Инструмент позволяет, например, на Python 2, использовать аннотацию типов крайней версии языкового пакета.

• cryptography: шифрование, хэширование — защита ваших данных от третьих лиц.

Прочитать зашифрованное сообщение без «ключа» у хакера не получится.

• fsspec: унифицирует обращение с файлами вне зависимости от ОС.
• MarkupSafe: безопасное отображение HTML/XML-текста.
• python-slugify: создание коротких дружелюбных URL.

Django-мастхэв

• django-tailwind: интеграция CSS-фреймворка Tailwind с Django.
• django-tinymce: интеграция WYSIWYG-редактора TinyMCE.

• django_mathjax: пакет для встраивания MathJax.

Вжух! И читатель увидит следующее:

• django-orm: переключение между SQLite и PostgreSQL.
• django-js-asset: управление зависимыми от JavaScript файлами.

Заключение

Стоит признать: подбор стека — задача не для новичков. Пока начинающий веб-разработчик только-только справляется со стандартными для сайта фичами, вроде форм обратной связи и картинками с CDN-ссылок, оперативной памяти мозга на выбор библиотек, как правило, не остается. Вы можете воспользоваться предложенными в статье общепринятыми решениями, однако функционал моего блога и вашего проекта наверняка различаются. Списка выше будет недостаточно.

В такой ситуации полезны LLM: ChatGPT и прочие ассистенты даже с меньшим числом параметров справляются с выдачей общепринятых решений «на пять». Так что начинаем с проверенного комьюнити решения по умолчанию, и только потом, когда ощутим свободу и желание экспериментировать, пробуем менять pandas на polars.

Мне не хочется обманывать новоприбывших, что переписывать под новую библиотеку весь код — нормально. Это ресурсоемко и больно. Тем более, если это ваш пет-проект, и на него приходится разыскивать время.

Если вас как веб-разработчика порадовал какой-то новый питонический инструмент, способный потеснить укоренившиеся решения, поделитесь в комментариях.

Чем занимаются фронтенд-разработчики

Фронтенд-разработчик пишет интерфейс — ту часть сайта или приложения, с которой взаимодействуют пользователи. Задача специалиста — сделать его максимально понятным и комфортным для них.

Фронтендер отвечает за то, чтобы все элементы интерфейса были на своих местах и работали как надо: меню, кнопки и формы обратной связи, корзины, карточки товаров (и это далеко не весь список).

Какие навыки нужны специалистам

Самый распространенный список хард скиллов выглядит так:

• HTML — формирование структуры страницы;
• CSS — добавление цветов, позиционирование элементов, анимации и прочее.
• JavaScript и TypeScript — добавление «интерактивности», элементов, которые решают задачи пользователя прямо в браузере.
• фреймворки, например, React или Vue — разработка полноценных веб-приложений.

Еще фронтенд-разработчику нужны софт-скиллы. Среди них умение копать вглубь, разбираться в сути задач как с точки зрения бизнеса, так и пользователей и умение работать в команде.

Важнейшие навыки — умения общаться и вставать на место пользователя

Комфорт пользователя при работе с интерфейсом — одна из важнейших составляющих общего впечатления о продукте. И чтобы его обеспечить, фронтенд-разработчику нужны в первую очередь не технические навыки, а умение проявлять эмпатию, вставать на место пользователя, понимать его потребности.

И только когда эти потребности четко сформулированы, можно переходить к коду.

Чтобы создать максимально комфортное приложение, потребуется работать вместе с дизайнерами, аналитиками, бэкенд-разработчиками, тестировщиками и другими участниками команды. Можно поискать хорошие решения у коллег по цеху. Фронтенд — достаточно открытая сфера, и многие разработчики с радостью делятся своими решениями в статьях и докладах. Или даже выкладывают исходный код проектов на GitHub.

Еще нужно постоянно быть в курсе изменений

Фронтенд — относительно молодая и стремительно развивающаяся сфера, в которой регулярно появляются новые технологии и практики. И требования к специалистам очень зависят от трендов и потребностей аудитории.

Например, когда-то сайты были простыми, легковесными страницами. Для их разработки использовали HTML, CSS и немного JavaScript-кода. Но требования к интерфейсам росли, больше логики переносилось на клиентскую часть — доля JS начала расти и появились фреймворки, которые помогали делать самостоятельные веб-приложения.

В процессе выросло время загрузки сайта, поскольку загрузка и выполнение JavaScript-кода гораздо дороже для браузера, чем работа со статическим HTML. Чтобы вернуть время до показа пользователю контента к прежним показателям, возникла техника SSR (Server Side Rendering), которая позволяет выполнить большую часть логики формирования интерфейса на сервере. Она оказалась особенно актуальна для сайтов, на которых пользователь в первую очередь получает какую-либо информацию, а не взаимодействует с интерфейсом: сайты со статьями и новостями, лендинги и так далее. И появились метафреймворки (например, Next.js). Они позволили структурировать код так, чтобы в браузер отправлялось минимальное количество JavaScript при той же функциональности.

В противовес появилась технология PWA (Progressive Web Application), которая оказалась полезна сложным интерактивным приложениям (приложения банков, графические редакторы или интернет-магазины). Она позволила устанавливать веб-приложения на смартфоны или планшеты и пользоваться ими вне браузера, порой даже без интернета.

Сколько зарабатывают фронтендеры

По данным «Хабр Карьеры» зарплаты фронтенд-разработчиков составили в среднем 150 тысяч. Джуниоры в России в среднем получают 60 тысяч, специалисты уровня мидл — 150+ тыс. руб. в месяц, а сеньоры — 280+ тыс. руб.

Стажеры получают около 40 тысяч.

Зарплата сотрудника в любой компании будет зависеть от того, насколько быстро и качественно будет решать потребности бизнеса, в том числе — взаимодействовать с клиентами.

Куда можно расти

Из фронтенда можно вырасти в другие специальности — не особо меняя стек технологий. Например, если перейти с React DOM на React Native, можно перейти с фронтенда в мобильную разработку. И не нужно учить новый язык и кардинально менять навыки.

А JavaScript используют везде: программирование микроконтроллеров и роботов, создание мобильных приложений и игр, даже анимация и создание видеоконтента.

Подробнее о пути развития фронтенд-разработчика вы можете узнать в статье «Что должен уметь Frontend разработчик (+Roadmap)».

Фронтенд-разработка тесно связана с DevOps. Если вы хотите расширить свои навыки и работать в динамичной среде, обратите внимание на вакансию Devops-инженера в Островок — travel-tech компанию. Этот опыт поможет вам лучше понять взаимодействие между разработкой и эксплуатацией.

И пара советов напоследок

1. Слушайте тематические подкасты, например:

• «Веб-стандарты» — здесь обсуждают тренды, актуальные технологии. Это мастхэв для фронтенд-разработчика.
• «Подлодка» — про IT целом. Очень полезен, чтобы расширить кругозор.

2. Посещайте профильные конференции и митапы: HolyJS; Frontend Conf; Я 💛 Фронтенд.

3. Читайте тематические ресурсы:

• Популярный в русскоязычном сегменте Habr.
• dev.to — похожий на Хабр англоязычный ресурс.
• Дока — русскоязычная энциклопедия про веб-технологии. Весь контент и исходный код есть в открытом доступе на GitHub и поддерживаются сообществом. Так что любой может внести свой вклад в ее развитие.
• MDN — справочник преимущественно на английском языке. Русскоязычная версия обновляется с задержкой, поэтому советуем прокачать язык.

4. Проходите профессиональное обучение. Могу посоветовать курс «Профессия Фронтенд-разработчик», который мы делали вместе со Skillbox.

5. Пользуйтесь интерфейсами, которые создавали другие разработчики, и черпайте вдохновение из них.

Напоминаем, что вы можете задать свой вопрос экспертам, а мы соберём на него ответы, если он окажется интересным. Вопросы, которые уже задавались, можно найти в списке выпусков рубрики.

Если вы хотите присоединиться к числу экспертов и прислать ответ от вашей компании или лично от вас, то пишите на experts@tproger.ru, мы расскажем, как это сделать.

Какие библиотеки, инструменты, фреймворки Android уже устарели?

Андроид развивается очень динамично, поэтому, многое из того, что было популярно 5 лет назад уже не используется. Конечно же сразу приходит на ум RxJava, про нее был каждый второй доклад на любой конференции 5-6 лет назад. А теперь ее изредка спрашивают на собеседованиях. На замену ей пришли Kotlin Coroutines.

Java как язык разработки под андроид остался, наверное, только в каких-то старых проектах динозаврах. Kotlin это новый стандарт уже лет 6.

С появлением Jetpack Compose UI код использующий стандартные Android Views стал легаси. Многие приложения сейчас Compose First, и все новые фичи тоже разрабатываются на Compose.

Архитектура презентационного слоя так же изменилась, всё меньше можно увидеть MVP, а MVVP и MVI стали де факто стандартами разработки.

Какие библиотеки Android нужно знать в 2024 году?

Если мы возьмем более менее стандартное приложение со стандартными подходами, то наверняка там будут эти библиотеки: Retrofit 2, Dagger2/Hilt, Kotlin Coroutines, Jetpack ViewModel, Room, Lifecycle. Но стоит помнить, что библиотеки приходят и уходят, а фундаментальные знания остаются. Человеку, освоившему фундамент будет гораздо легче освоить какую-либо библиотеку.

Какие фреймворки Android нужно знать в 2024 году?

В Андроид немного фреймворков, наверное главный и самый нашумевший в последнее время это Jetpack Compose. Так же стоит знать архитектурные подходы MVI/MVVM, MVP, плюсы и минусы их работы. Так же неплохо было бы понимать базовые вещи, которые могут не относится только к Android, например SOLID, Dependency Injection.

Какие инструменты Android нужно знать в 2024 году?

Швейцарский нож Android разработчика в 2024 это Kotlin, Kotlin Coroutines, Jetpack Compose, MVVM/MVI, Google Jetpack Libraries, REST, Single Activity, Dagger 2, Retrofit 2. Зная этот стек можно будет легко разобраться в 95% приложений.

Что уже устарело

Язык разработки Java для Android

Современный подход к разработке под Android является Kotlin-first. Это означает, что Kotlin является основным языком для разработки приложений. Также уже несколько лет все нативные библиотеки для самых различных целей и задач пишутся преимущественно на Kotlin. Поэтому будет полезнее направить усилия по изучению данного языка вместо Java. Java вы всегда успеете выучить при необходимости, чтобы лучше понимать подкапотный мир JVM, общий с Kotlin.

Расхожее мнение, что с появлением Jetpack Compose учить разработку View на Xml становится неактуально. Тут все неоднозначно. Несмотря на нарастающую популярность Compose, все еще много проектов, где UI реализуется преимущественно на классическом подходе (View + Xml), а переезд на новую технологию по каким-то причинам не так приоритетен.

RxJava

Использование реактивного подхода было весьма популярно еще буквально несколько лет назад. С помощью фреймворков типа RxJava решали вопрос и компактности кода, и реализации асинхронной разработки. Сейчас фокус сместился в сторону Kotlin Coroutines. Это является актуальным и рекомендованным решением для многопоточной разработки.

Также к устаревшим технологиям относятся DataBinding для связи верстки и бизнес-логики, KAPT для обработки аннотаций. Редко уже используется SqLite ORM.

В целом, большинство устаревших решений никуда не уходят. Просто появляются новые библиотеки-обертки, делающие работу с ними и их освоение более удобным.

Какие библиотеки нужно знать в 2024 году

Must-havе любого разработчика Android - это семейство библиотек Jetpack Components:

• ViewModels (это не только ViewModels для MVVM, но и в целом рекомендованный компонент для вызова бизнес-логики и хранения состояния),
• Lifecycle,
• Navigation
• Room ORM (для локального хранилища).

Для сети продолжает оставаться актуальным использование Retrofit. В качестве альтернативы можно порекомендовать Ktor.

Очень полезным будет знание Kotlin Coroutines, Kotlin Flows. Для организации фоновой работы будет полезно знание такого механизма как WorkManager.

Для построения корректной архитектуры приложения необходимо знание 1-2 библиотек для Dependency Injection. Актуальным будет знание Dagger/Hilt, дополнительно можно освоить Koin и Kodein.

Какие фреймворки нужно знать

Конечно, Android SDK и Jetpack Compose. С первым все понятно - это база по Android. Декларативные подходе к разработке приложений в принципе актуальны последние несколько лет, т.к упрощают и ускоряют процесс. После выхода первой стабильной версии Compose, несмотря на необходимость доработок, компания Google сделала ставку на данную технологию. Практически все туториалы и гайды по работе с UI ориентированы теперь и на Compose. Какие-то решения уже идут Compose-First. Например, Google добавили в фреймворку поддержку различных классных анимаций.

Философия Jetpack Compose - это не только UI, но и управление состоянием приложения, связь элементов с бизнес-логикой, поддержка навигации и т.п

Какие инструменты нужно знать

Основным инструментом разработки под Android является Android Studio. Это доступная и бесплатная среда разработки, которую можно установить на любую операционную систему. Помимо тулинга для разработки, дебага и сборки приложения, IDE содержит инструменты для профилировки приложения. Очень важно знать Gradle как систему управления зависимостями и сборкой приложения.

Эрудированному разработчику Android в 2024 году полезно знать набор Jetpack Components, Jetpack Compose, Kotlin Coroutines, Retrofit, Dagger/Hilt. Обязательно владение Android SDK и Kotlin, знание паттернов и архитектур, понимание принципов SOLID и ООП.

Напоминаем, что вы можете задать свой вопрос экспертам, а мы соберём на него ответы, если он окажется интересным. Вопросы, которые уже задавались, можно найти в списке выпусков рубрики. Если вы хотите присоединиться к числу экспертов и прислать ответ от вашей компании или лично от вас, то пишите на experts@tproger.ru, мы расскажем, как это сделать.

Мы опросили специалистов уровня middle и senior, которые дали свои комментарии. Вот, что они ответили.

Напоминаем, что вы можете задать свой вопрос экспертам, а мы соберём на него ответы, если он окажется интересным. Вопросы, которые уже задавались, можно найти в списке выпусков рубрики.

Если вы хотите присоединиться к числу экспертов и прислать ответ от вашей компании или лично от вас, то пишите на experts@tproger.ru, мы расскажем, как это сделать.

Язык

Очевидно, но всё же: начинать нужно со Swift. Это основной язык разработки для платформ Apple — iOS и macOS. За 10 лет с момента выхода он полностью заменил Objective-С. В целом iOS-разработчику полезно знать Objective-C, поскольку его всё ещё можно встретить в легаси проектов с историей, но основной инструмент всё же Swift.

Архитектурные фреймворки

Apple в своей документации по-прежнему рекомендует архитектурные шаблоны MVC, Model-View-Controller. Это первый шаблон, с которым столкнётся начинающий iOS-разработчик. Шаблон — это способ организации кода, призванный сделать его поддерживаемым, расширяемым и читаемым.

Интересно, что эппловский MVC несколько отличается от канонического, общепринятого. И кстати, многие крупные компании отказываются от MVC, поскольку он приводит к разрастанию кодовой базы, и код, напротив, становится сложным для чтения.

С этой проблемой можно работать с помощью других архитектурных шаблонов проектирования, например MVP, Model-View-Presenter и MVVM, Model-View-ViewModel.

Библиотеки

UIKit и Swift UI

UIKit — фреймворк для создания интерфейсов в iOS. Он существует почти столько же, сколько сам айфон, и включает все компоненты пользовательского интерфейса — кнопки, текстовые поля, таблицы…

SwiftUI — более новый фреймворк, который позволяет верстать пользовательские интерфейсы в соответствии с актуальным декларативным подходом. В чём отличие декларативного от более старого императивного подхода?

Императивный подход предполагает, что мы пишем код приложения как инструкцию: за шагом 1 следует шаг 2 — и никак иначе.

При декларативном подходе мы описываем желаемый результат, без явного указания последовательности действий.

Как правило, декларативный подход делает код более читаемым и поддерживаемым. Это очень важно, потому что разработчик около 80 % времени не пишет, а читает код, разбирается в нём.

Пока UIKit и SwiftUI существуют параллельно — в том числе потому, что SwiftUI работает с версиями iOS от 13 и младше. Со временем UIKit уйдёт, как и язык Objective-C.

Core Data и SwiftData

Это инструменты работы с базами данных. Более новый фреймворк SwiftData создан на основе Core Data и предлагает более удобный и простой синтаксис. Кстати, SwiftData и Core Data могут использоваться одновременно.

GCD и async/await

GCD, Grand Central Dispatch — это механизм от Apple работы с многопоточным асинхронным кодом.

Если упростить, взаимодействие фронтенда и бэкенда устроено так: мы отправляем запрос и получаем ответ. Пока этот запрос идёт к серверу, а тот собирает эти данные и пытается нам их вернуть, может пройти 2-3 секунды. Если мы будем ждать выполнения метода — нам придётся на это время «заблокировать» приложение, остановить его работу для пользователя. Это плохо, так нельзя.

Потому и нужна асинхронность. GCD отвечает как раз за асинхронность, управляет очередями запросов, в нужные моменты создаёт и останавливает их.

При этом многопоточный асинхронный код тяжело поддаётся отладке. Баг, связанный с многопоточностью и асинхронностью, тяжело выявить и исправить.

Среда разработки

XCode — это «родная» среда разработки для создания приложений для iPhone, iPad, Apple Watch, MacBook и других устройств экосистемы Apple.

XCode включает в себя редактор кода, интерфейсные конструкторы, отладчики — словом, все инструменты, которые нужны для разработки и тестирования.

Любые существующие альтернативы — неофициальные, Apple их не поддерживает.

Система контроля версий

Конечно, нет разработки без какой-либо GIT, системы контроля версий. Когда разработку ведёт команда — а это любое количество разработчиков больше одного — необходимо хранить историю изменений. Например, чтобы в любой момент можно было откатить изменения и вернуть предыдущую версию приложения. Умение работать с GIT необходимо любому разработчику, независимо от платформы, для которой он пишет.

Чтобы ответить на вопрос, что надо изучать молодым разработчиками под iOS или тем кто хотят ими стать в 2024, надо для начала в кранце описать те изменения которые происходят сейчас в индустрии.

С приходом в массовое использование LLMs которые становятся все более полезными при разработке, на первый план будет выходить базовые знания и общее понимание того, что делать программист.

Все больше и больше будут цениться не те люди которые знают какие-то фреймворки или работал с определенными библиотеками, а те, кто хорошо понимает как построить хорошую архитектуру приложения, лучшие практики в разработке, знает алгоритмы и структуры данных, понимает как работает управление памятью на iOS и т.д.

На эту теоретическую базу уже необходимо накладывать практике по написанию приложений, во время которой и появится опыт работы с фреймворками, библиотеками и всеми остальными прикладными навыками, без которых приложение не написать.

Следующий важнейший момент - это максимально быстро постараться получить опыт работы в команде, ознакомиться с современными методологиями построения рабочего процесса, понимать что такое Agile, Scram, Code Review, парное программирование и т.д.

Еще я бы советовал на самом раннем этапе разобраться в том что такое Unit тесты, для чего они нужны и как их писать и стараться через боль и слезы писать их как можно больше в своих тестовых проектах. Этот навык автоматом заставит писать качественный код, а понимание покрытия приложения тестами даст огромный плюс для начинающего разработчика.

Ниже краткий гайд того как бы я рекомендовал выстраивать изучение iOS в 2024:

1. Потратить время на базовые знания в области алгоритмов и структур данных и изучение языка программирования Swift, понимать что такое массивы, множества, классы, структуры, перечисления и т.д. Этот пункт может быть очень тяжелым для начинающего и поэтому я бы рекомендовал не тратить на него много времени с самого начала, чтобы не потерять мотивацию, а возвращаться к нему и подтягивать знания во время остальных пунктов.
2. Начать изучать SwiftUI и жизненного цикла приложения в iOS, начать писать первые очень простые приложения, которые позволят продолжать тренировать и прокачивать пункт No1.
   
3. Почитать про архитектуру приложений, паттерны проектирования (базовые из них). Изучать и самое главное постараться максимально понять на примерах, что такое SOLID. На этом этапе можно взять свое тестовое приложение с предыдущего этапа и переписать его используя лучшие практике.
   
4. Освоить системы контроля версий хотя бы на базовом уровне. Изучать что такое Git и как с ним работать, выработать привычку делать изменения своего кода в отдельных ветках и т.д.
   
5. Начать изучать сетевое взаимодействие, понимать что такое HTTP, как происходит взаимодействие с сервером, какие запросы бывают и т.д. На этом этапе я бы советовал взять любой открытый API и написать простейший клиент к нему использую URLSeession. Не надо искать библиотеке, которые помогут вам это сделать, попробуйте разобраться в тех фреймворках которые предоставляет Apple.
   
6. Немного покопать в сторону многопоточности используя пример с запросами к серверу, почитать про GCD и нативный Cuncurrency в Swift (Actors, async/await, etc.)
   
7. Если предыдущие этапы пройдены, и появилось базовое понимание того как работает разработка под iOS, можно смело переходить к сторонним библиотекам. Во-первых, надо изучить механизм подключения этих библиотек - Swift Package Manager (SPM). На данном этапе можно взять свое предыдущее приложение по работе с API и переписать сетевую часть на вариант с использованием сторонней библиотеки Alamofire.
   
8. Начать изучать Unit тестирование и постараться покрыть свое приложение тестами. В процессе покрытия тестами вы скорее всего обнаружите, что большую часть кода покрыть тестами не получается, и это отличный знак того, что надо вернуться к первым пунктам и более детально изучить улучшение архитектуры приложения.
   
9. Почитать про методологии разработки, работу в команде, Agile, Scrum и т.д.
   
10. Опционально: необязательно, но безусловно будет плюсом покопать также в сторону баз данных и работы с данными в iOS: SwiftData, Core Data.
    
11. Искать первую работу в этой области. Если вы действительно сможете пройти предыдущие 9 пунктов, напишете пару тестовых проектов, которые вы довели до конца, могу вас уверить, что вы сможете устроиться на начальную позицию в хорошую компанию.

Если есть желание попробовать себя в разработке приложений под iOS, то по большому счету на сегодняшний день существует несколько больших фреймворков для создания приложений. Например: от Apple – UIKit, SwiftUI. От Google – Flutter, от Meta – React Native. Остальные фреймворки или мало популярны или устарели (Например Cordova и PhoneGap, Ionic).

Существуют 2 вида разработки мобильных приложений: нативная и кроссплатформенная. Стоит отметить – для новичков предпочтительнее нативная разработка. В то время как кроссплатформенные подойдут для более опытных разработчиков. Нативная разработка избавит от изучения различий между платформами, позволит сосредоточиться на нюансах разработки мобильных приложений именно для iOS, а не распыляться на все платформы.

Итак, чтобы приступить к разработке своего первого мобильного приложения для iOS, необходимо сделать следующее:

1. Определиться с идеей и предполагаемым интерфейсом приложения.
2. Выбрать язык программирования, на котором вы будете писать код. Это может быть Swift или Objective-C. Но Swift предпочтительней, так как он имеет легкий синтаксис и Apple регулярно добавляет новые улучшения.
   
3. Выбрать фреймворк, который вы будете использовать. Более современный и легкий для обучения будет SwiftUI, это декларативный (описательный) фреймворк от Apple, или надежный и основополагающий UIKit, это более старый фреймворк, но использующийся в большинстве iOS приложений.
   
4. Установить среду разработки Xcode. Это необходимый в разработке инструмент, даже для кроссплатформенной.
   
5. Начать претворять в жизнь вашу идею!
   

По началу знаний и навыков будет не хватать. Поэтому полезно будет воспользоваться открытыми библиотеками и инструментами для iOS (вы легко можете их найти на github).

Из самых популярных библиотек стоит выделить:

1. Alamofire – для HTTP-запросов и только.
2. Lottie – какое iOS приложение без красивых анимаций?
   
3. RxSwift/Combine – для реактивного программирования.
   
4. SwiftDate – Для упрощения работы с датами. Работа на прямую с датами может вызвать множество вопросов особенно для новичков.
   
5. - Kingfisher/SDWebImage – для загрузки изображений.

Инструменты:

1. Git – инструмент для управления версиями вашего приложения. Для упрощения работы можно использовать графические оболочки – Fork, SourceTree и другие.
2. CocoaPods и Swift Package Manager – менеджеры для установки библиотек.
   
3. Firebase – сервис от Google, который поможет вести статистику и работать с БД.
   
4. Fastline – для автоматизации загрузки ваших кодов на AppStore.
   
5. TestFlight – чтобы устанавливать ваше приложение на телефон и хвастаться перед друзьями.
   

В мире постоянно меняющихся технологий важно быть в курсе текущих трендов и инструментов. В DigitMind Technologies мы акцентируем внимание на выборе современных и эффективных решений для разработки на iOS. Вот наши рекомендации по ключевым технологиям и инструментам, которые должен знать каждый начинающий разработчик в 2024 году.

Устаревшие технологии

В разработке на iOS есть инструменты и фреймворки, которые, несмотря на свою предыдущую популярность, становятся устаревшими. Например, RxSwift и SnapKit были незаменимыми инструментами для реактивного программирования и упрощения работы с AutoLayout соответственно. Однако с появлением SwiftUI и Combine, эти технологии уходят на второй план, поскольку новые инструменты предлагают более интегрированные и эффективные способы достижения тех же целей.

Библиотеки и фреймворки, которые нужно знать в 2024 году

1. SwiftUI полностью изменяет подход к разработке интерфейсов на всех устройствах Apple, предлагая более простой и мощный декларативный синтаксис. Это первое, что должен освоить начинающий разработчик, стремящийся к созданию современных и адаптивных приложений.
2. Combine играет ключевую роль в управлении асинхронным кодом и событиями в приложениях iOS, используя концепции реактивного программирования. Освоение этой библиотеки позволяет создавать более чистый и понятный код для работы с данными и событиями.
   
3. Swift Composable Architecture (TCA) предлагает структурированный подход к построению приложений, сосредоточиваясь на управлении состоянием и эффектами в декларативном стиле. TCA облегчает тестирование, поддержку и масштабирование приложений, делая его ценным инструментом для современного iOS-разработчика.
   

Важные инструменты разработки

1. Xcode остаётся неотъемлемой частью экосистемы разработчика на iOS, предоставляя все необходимые инструменты для разработки, отладки и распространения приложений.
2. Swift Package Manager значительно упрощает управление зависимостями, позволяя легко интегрировать и обновлять библиотеки и фреймворки в проектах.
   

В iOS разработке на сегодня есть два основных фреймворка для создания интерфейсов: старый добрый UIKit и более свежий и модный SwuftUI. И перед новичками часто стоит задача - какой же из них лучше изучать, чтобы быстрее найти работу?

Короткий ответ на вопрос - лучше знать оба. :)

Ответ подлиннее: как бы нам ни хотелось уже перейти на более современные технологии, проектов на чистом SwiftUI пока еще очень мало, и знание UIKit вам, скорее всего, понадобится. Поэтому я рекомендовала бы начать изучение именно с него. Однако знание SwiftUI точно добавит очков начинающему специалисту и поможет выделиться серди конкурентов. Даже не все опытные разработчики знают этот фреймворк, и если у компании есть планы постепенно его внедрять - знания SwiftUI, даже для начала не очень глубокие, точно очень помогут в карьере.

Еще, по моему опыту, много проектов сегодня используют фреймворки для реактивного программирования (в основном, Combine и RXSwift). Далеко не все джуны их знают, поэтому изучить их основы точно будет плюсом. Начать советую с Combine - это нативный фреймворк Apple, который, как мне кажется, постепенно вытесняет RXSwift.

Что касается базовых инструментов для разработки и командной работы - в 2024 году вряд ли что-то кардинально изменится. Уверенное пользование Xcode, git, основы работы с Figma - все это точно пригодится в любой команде.

Напоминаем, что вы можете задать свой вопрос экспертам, а мы соберём на него ответы, если он окажется интересным. Вопросы, которые уже задавались, можно найти в списке выпусков рубрики.

Если вы хотите присоединиться к числу экспертов и прислать ответ от вашей компании или лично от вас, то пишите на experts@tproger.ru, мы расскажем, как это сделать.

Напоминаем, что вы можете задать свой вопрос экспертам, а мы соберём на него ответы, если он окажется интересным. Вопросы, которые уже задавались, можно найти в списке выпусков рубрики.

Если вы хотите присоединиться к числу экспертов и прислать ответ от вашей компании или лично от вас, то пишите на experts@tproger.ru, мы расскажем, как это сделать.

Сложно сказать, какие инструменты и технологии для тестирования устарели. Зачастую устаревшим считается то, что больше не поддерживается. Тут могу отметить только HP loadrunner.

Глобально QA делится на три основных направления: ручное тестирование, автоматическое тестирование, нагрузочное тестирование. И для каждого этого типа есть свой набор инструментов и библиотек к разным языкам.

Для начала обучения на QA сначала стоит определится с направлением в котором хочется работать:

• QA manual (ручное тестирование). Нужно выбрать направление, в котором будете работать, чаще всего это веб. Для веба обучение лучше начать с протоколов и архитектуры приложений. После чего исследовать функции Devtools в разных браузерах, а также postman или аналоги, после чего можно посмотреть расширения для браузеров которые упрощают работу.
• QA automation (автоматизированное тестирование). Если выбрать веб, то изначально стоит изучить selenium, т.к. на этом фреймворке основано много других. Здесь стоит понимать что требуется владения языком программирования. После изучение основ, выбрать фреймворк, который будет изучаться дальше.
• QA performance (нагрузочное тестирование). На начальном этапе нужно изучить jmeter. На это есть две причины: он проще остальных, он всегда работает. После этого можно изучать уже другие инструменты для нагрузки, параллельно исследовать инструменты для мониторинга сервера.

Ручное тестирование

Для ручного тестировщика важно знать, как работает то, что он тестирует. Тестировщику в компании, которая занимается разработкой сайтов, важно знать, как строится архитектура приложения, какая модель разработки используются, какие технологии используются в продукте. Также стоит изучать инструменты, с помощью которых он сможет проверить те или иные части продукта. Однако тут мы уходим еще дальше, потому что нужно понимать тестируется фронт или бэк. Если речь идет о приложении на RESTful api, то в список на тестирование может добавится еще и мобильное приложение.

Frontend

Для тестирования фронтенда тестировщику нужно знать все функции DevTools в браузерах, понимать как работает вкладка Network. Application, Console, Elements. Как сохранить лог XHR запросов, чтобы предоставить разработчику в случае необходимости. Здесь стоит отметить также вкладку Recorder, она появилась не так давно и нацелена больше на автоматизаторов, но благодаря ей тестировщик сможет записать последовательность действий для сложных кейсов. Плюсом для тестировщика фронтенда будет знание таких инструментов, как Figma и Perfect Pixel.

Умение пользоваться Figma тестировщику позволит экспортировать макеты для дальнейшей сверки верстки компонентов сайта на соответствие с макетом с помощью Perfect Pixel.

Backend

Если посмотреть на бэкэнд RESTful api приложения, то здесь набор инструментов для ручного тестировщика будет также не очень широкий: Postman, Insomnia, SoapUi. Postman покрывает 99% потребностей ручного тестировщика за счет того, что поддерживает разные сетевые протоколы: GrapghQL, gRPC, WebSocket/Socket.IO, MQTT. Некоторые приложения использует WebSocket или Socket.IO, поэтому тестировщику желательно знать, как работают такие протоколы.

Базы данных

Следующий этап – базы данных. Тестировщик только смотрит данные, поэтому для этой задачи подойдет любой инструмент. Например, DataGrip от jetbrains, но базовые знания работы в SQL также пригодятся.

Если говорить про ручных тестировщиков, которые тестируют мобильные приложения, то тут для начального уровня достаточно знать ADB (android device bridge) для Android, и Консоль MacOs для iOS. В некоторых случаях пригодится и снифер трафика, такой как Charles или Fiddler.

С повышением квалификации ручной тестировщик будет изучать новые инструменты. Бывает так, что проект надо запустить локально, здесь уже понадобятся базовые знания Git и docker. Например, знание IDE для разработок также понадобятся независимо от того, будет это фронтенд, бекенд, или мобильное приложение.

QA automation

Тестировщик, который хочет занять позицию QA automation, должен знать на порядок больше. Я считаю, что автоматизатор должен не только знать язык программирования, но также понимать и использовать основные паттерны программирования. Автоматическое тестирование похоже на написание скриптов, но все же это программирование, в котором хочется избежать переиспользования кода, описание одного и того элемента на разных страницах, использовать роли и т.д.

Определится с языком программирования и стеком технологий — это первая задача для автоматизатора. Я предпочитаю выбирать тот же язык программирования, что и используется на проекте. Хотя, по данным QA Job, в России чаще всего выбирают Java (35,5%), python(30,7%), JS/TS(6,7%). Для каждого языка есть встроенные ранеры тестов, с помощью которых можно проверить, например, Junit, PyTest, Jest. Чаще с их помощью пишут unit-тесты, но их также можно использовать для автоматизации тестирования API приложений. Но выбор фреймворков здесь зависит от выбора языка программирования.

В базу я бы выделил то, что используется на разных языках программирования:

• Selenium WebDriver – основной фреймворк для написания тестов, использующий браузер.
• Git – для контроля версий тестов.
• Alure – для хранения отчетов в тестах.
• Appium – для автоматизации мобильных приложений.

Дальше все зависит от выбранного языка

• Java

• Maven
• Junit

• Python

• Pytest

• JS/TS

• Node.js
• Jest

Эта база поможет дальше выбрать то направление в автоматизации, которым хочется заниматься тестировщику. Помимо этого, можно использовать фреймворки, которые чаще на слуху такие как playwright, selenoid, Cypress, vitest, webdriverio, nightwatch js, test cafe, Puppeteer.

Дальше автоматизатор вырастает и сталкивается с проблемами прогона тестов при деплое, при пулл-реквестах. Здесь уже автоматизатору понадобятся инструмента для непрерывной интеграции и автоматической сборке проектов, такие как Jenkins, github Action, gitlab CI/CD.

Нагрузочное тестирование

Для тестировщиков, которые занимаются изучением нагрузки на проект или производительности проекта, отлично подойдут инструменты и фреймворки, которые помогают нагрузить проект и посмотреть данные о нем. Для мониторинга сервера самого приложения используются такие инструменты, как Grafana в связки с node exporter. Для каждого фреймворка также доступен свой экспортер. С мониторингом самого приложения поможет Opentelemetry + Jaeger, покажут, куда идут запросы в приложении. Если в приложении посыпались ошибки, то отследить их поможет сентри.

Для нагрузочного тестирования тестирования QA подойдут следующие инструменты:

• Jmeter
• Locust
• k6.io
• Gatling
• artillery.io

Каждый инструмент имеет свои преимущества и сложность использования, а также направление, для которого он будет использоваться. Для сценарного тестирования хорошо подойдет Jmeter, Locust, k6.io, Gatling. Здесь стоит выделить k6.io, так как это один из фреймворков, который позволяет не только составить сценарий тестирования, но и использовать при этом WebSocket.

Artillery.io намного проще при состалении теста, и позволяет работать с WebSocket, но с ним тяжело составлять сценарии, когда каждый последующий запросы используют результаты предыдущего запроса.

Я намеренно не указал ни одну систему для управления тестированием (TestLink, TestRail, qTest), или систему для управления проектами (YouTrack, Trello, Jira), так как считаю что тестировщики даже ручные – это те люди которые должны уметь быстро разобраться в новом для себя продукте, понять как он работает, и как с ним управляться.

Рассмотрим, какие фреймворки и инструменты для тестирования наиболее популярны в настоящее время и за какими технологиями видится будущее. Мы также рассмотрим, какие инструменты начинают устаревать или терять свою популярность в быстро меняющейся среде тестирования.

Языки программирования

По данным сайта QA Job Stat самыми популярными языками программирования являются:

• Java;
• Python;
• Java Script;
• C#.

У каждого языка есть множество популярных инструментов тестирования. Которые мы рассмотрим ниже.

Также стоит обратить внимание на:

• Go;
• Kotlin;
• Scala.

Они подойдут для бэкендовых тестов, ведь скорость тестов на них быстрее чем на Java и Python.

Функциональное тестирование

Для Java и Python, популярными фреймворками являются:

• Pytest;
• Junit;
• TestNG.

Key Driven и BDD

BDD (разработка на основе поведения) - это Agile практика раннего тестирования (test-first), которая обеспечивает встроенное качество, определяя (и потенциально автоматизируя) тесты до или в рамках описания поведения системы. Суть подхода заключается в описании желаемого поведения приложения с помощью спецификации, обычно с помощью конструкций человеческого языка.

• Cucumber;
• Robot_Framework;
• SpecFlow.

Также стоит упомянуть фреймворки, являющиеся частью проекта Cucumber для разных языков программирования:

• Behave;
• Codeception;
• Catch.

Тестирование Web UI

В связи с большим развитием тестирования веб-приложений, здесь особенно много популярных инструментов:

• Selenium;
• Selenide;
• Playwright;
• Selenoid.

Особенно популярен Selenium. Он широко применяется среди тестировщиков и имеет широкое сообщество, в то время как Playwright является новым инструментом, но предлагает передовые возможности. Selenoid - динамическое окружение для выполнения браузерных автотестов, где поднимаются docker-контейнеры с требуемым браузером и требуемой версией, выполняются тесты, контейнер сворачивается.

Тестирование мобильных приложений

• Appium
• Espresso
• XCTest

Appium – флагман в тестировании мобильных приложений. Он поддерживает автоматизацию на популярных платформах, таких как iOS и Android. Appium обеспечивает возможность написания тестов на различных языках программирования и интеграцию с различными тестовыми фреймворками, делая его мощным инструментом для тестирования. Помимо мобильных ОС, у Appium есть поддержка macOS, Windows, Linux.

Тестирование производительности

Самыми популярными являются:

• JMeter;
• LoadRunner;
• Locust;
• Gatling.

Каждый из этих инструментов имеет свои сильные и слабые стороны, и выбор между ними зависит от конкретных потребностей проекта, предпочтений команды и доступных ресурсов.

Средства мониторинга

• Grafana;
• Prometheus;
• ClickHouse;
• Zabbix.

Системы управления тестированием, багтрекеры, вики и т.д.

• Atlassian Jira и Confluence;
• Yandex Tracker;
• Kaiten;
• EvaProject;
• TestRail;
• Allure TestOps;
• TestIt.

Продукты Atlassian включают Jira (для управления проектами и задачами), Confluence (для совместной работы над документацией), Bitbucket (для управления версиями кода и совместной разработки), Bamboo (для непрерывной интеграции).

Системы контроля версий

• Git;
• SVN;
• Mercurial.

Можно однозначно сказать, что есть Git, а есть остальные, настолько популярна система.

Системы CI/CD

Обычно в компании уже развернута какая-то система непрерывной интеграции и скорее всего там будет стоять, что-то из этого:

• GitLab;
• Jenkins;
• TeamCity.

Раньше пользовались большой популярностью, а сейчас начинают сдавать позиции:

• Язык программирования Ruby;
• Багтрекер Redmine;
• Инструмент web-тестирования Selenium IDE;
• Система контроля версий TFS;
• SoapUI для Api-тестирования;
• Фреймворк для автоматизации тестирования Cypress.

Ну а будущее видится в более широком применении AI в тестировании, например с помощью применения LSTM и LLM-нейронных сетей можно ожидать улучшенное обнаружение и прогнозирование дефектов, высокую адаптивность тестов, оптимизацию тестовой среды.

Устаревшие:

1. Некоторые старые фреймворки для тестирования, такие как Selenium WebDriver, могут постепенно терять свою популярность из-за появления более современных и удобных альтернатив.
2. Многие устаревшие библиотеки для автоматизации тестирования, которые не поддерживаются сообществом или не предоставляют новых функциональных возможностей, также могут уйти на задний план.
   

Новые библиотеки QA в 2024 году:

1. Каркасы и инструменты для тестирования микросервисов, такие как Karate, Rest Assured, WireMock, пользуются растущей популярностью.
2. Инструменты для автоматизации тестирования API, такие как Postman и Swagger, становятся неотъемлемой частью стека инструментов QA.
   
3. Библиотеки и инструменты для тестирования безопасности, такие как OWASP ZAP и Burp Suite, также становятся все более востребованными.
   

Новые фреймворки QA в 2024 году:

1. Фреймворки для тестирования мобильных приложений, такие как Appium и Espresso, остаются актуальными и даже усовершенствуются.
2. Инструменты для тестирования контейнеризированных приложений и оркестраторов, такие как Kubernetes, Docker и Helm, также предоставляют свои собственные фреймворки и инструменты для автоматизации тестирования.
   

Новые инструменты QA в 2024 году:

1. Инструменты для тестирования нагрузки и производительности, такие как JMeter, Gatling и Locust, становятся все более важными в условиях растущей сложности архитектуры приложений. Я также рекомендую ознакомиться с Vegeta для http и GHZ для gRpc
2. Инструменты для тестирования безопасности API и веб-приложений, такие как OWASP ZAP и Burp Suite, предоставляют новые возможности для обнаружения и устранения уязвимостей.

Напоминаем, что вы можете задать свой вопрос экспертам, а мы соберём на него ответы, если он окажется интересным. Вопросы, которые уже задавались, можно найти в списке выпусков рубрики.

Если вы хотите присоединиться к числу экспертов и прислать ответ от вашей компании или лично от вас, то пишите на experts@tproger.ru, мы расскажем, как это сделать.

Напоминаем, что вы можете задать свой вопрос экспертам, а мы соберём на него ответы, если он окажется интересным. Вопросы, которые уже задавались, можно найти в списке выпусков рубрики.

Если вы хотите присоединиться к числу экспертов и прислать ответ от вашей компании или лично от вас, то пишите на experts@tproger.ru, мы расскажем, как это сделать.

В сфере веб-разработки, технологии развиваются стремительно. JavaScript является самым популярным языком программирования и имеет обширный набор инструментов, фреймворков и библиотек, которые постоянно обновляются и развиваются. Часть библиотек и фреймворком остается надолго, а часть так же быстро исчезает как появились.

Фронтенд разработка

Устаревшие технологии

jQuery уже давно считается устаревшим в современных проектах и предпочтение отдается использованию современных фреймворков. Но в старых проектах эта библиотека до сих пор активно используется.

AngularJS (версия 1.x) также считается устаревшей, хотя Angular 2+ остается актуальным выбором.

Актуальные библиотеки и фреймворки

React продолжает быть одной из самых популярных библиотек для создания пользовательских интерфейсов. Несмотря на то, что уже прошло больше 10 лет с момента первого релиза, его популярность только растет. Его экосистема, включая Next.js для серверного рендеринга и создания статических сайтов является важным дополнением.

Vue.js остается популярным выбором для разработчиков благодаря его простоте и гибкости. Nuxt.js является его аналогом Next.js в экосистеме Vue.

AngularJS (версии 2 и выше) продолжает развиваться и остается востребованным в крупных корпоративных проектах.

Svelte и его фреймворк для статической генерации и серверного рендеринга, SvelteKit, набирают популярность за счет своей инновационной концепции компиляции компонентов.

Инструменты

Webpack и Rollup остаются стандартными инструментами для сборки модулей, хотя Vite и Parcel набирают популярность благодаря своей скорости и простоте.

ESLint для статического анализа кода и Prettier для форматирования кода являются основными инструментами для поддержания качества кода.

TypeScript, которые представляет собой язык программирования который компилируется в JavaScript, становится почти неотъемлемым инструментом для разработки на JavaScript, предоставляя строгую типизацию и улучшая качество кода.

Бекенд разработка

Устаревшие технологии

Express не обязательно устарел, но многие разработчики ищут более современные альтернативы, которые предлагают более богатый функционал "из коробки".

Актуальные фреймворки и инструменты

Node.js остается фундаментом для JavaScript на сервере, с его асинхронной, событийно-ориентированной архитектурой.

NestJS представляет собой современный фреймворк для создания масштабируемых серверных приложений на Node.js, интегрированный с TypeScript. Он может работать поверх таких низкоуровневых фреймворков как Express и Fastify.

Fastify набирает популярность благодаря своей производительности и легкости, став альтернативой Express с более современным API.

Koa от создателей Express предлагает более легковесный и гибкий подход к созданию веб-приложений.

Инструменты

Docker и Kubernetes стали ключевыми технологиями в разработке и развертывании приложений, включая бекенд на Node.js.

GraphQL продолжает набирать популярность как альтернатива REST API, предлагая более гибкую и эффективную загрузку данных.

Напоминаем, что вы можете задать свой вопрос экспертам, а мы соберём на него ответы, если он окажется интересным. Вопросы, которые уже задавались, можно найти в списке выпусков рубрики.

Если вы хотите присоединиться к числу экспертов и прислать ответ от вашей компании или лично от вас, то пишите на experts@tproger.ru, мы расскажем, как это сделать.

Если вы хотите присоединиться к числу экспертов и прислать ответ от вашей компании или лично от вас, то пишите на experts@tproger.ru, мы расскажем, как это сделать.

Кстати, Kata Academy набирает студентов на обучение Java. Это отличная возможность, так как вы не платите за обучение, пока не устроитесь Javascript-разработчиком! Подробности здесь → Курс по Java-разработке от Kata Academy.

Какие библиотеки, инструменты, фреймворки Java уже устарели

Если не брать в расчет старые версии библиотек и фреймворков, то прямо к устаревшим можно отнести часть спецификаций Jakarta EE (ранее Java 2 Enterprise Edition или J2EE). Такие технологии как EJB, JSF, JCA, JSP были практически полностью вытеснены Spring Framework и не используются на новых проектах. Если вам они попадаются в описании вакансии, то я бы её избегал, если вы не хотите работать на древнем легаси проекте.

Разработка приложений для десктопов на Java так же довольно редкая и специфичная вещь, поэтому фреймворки Swing, AWT, JavaFX можно считать если не устаревшими, то явно не актуальными.

Если говорить про инструменты, то стоит упомянуть Apache Ant. Его популярность снизилась в пользу более современных инструментов сборки, таких как Apache Maven или Gradle.

Какие библиотеки Java нужно знать

Выбор библиотек сильно зависит от конкретного проекта и его потребностей, но если говорить про универсальные и популярные библиотеки, то можно отметить следующие.

Apache Commons - это коллекция библиотек, предоставляющих полезные утилиты для общих задач программирования, таких как работа с коллекциями, строками, файлами, потоками и многим другим.

Guava - библиотека, разработанная Google, которая предоставляет множество утилит для облегчения программирования на Java. Она содержит классы и методы для работы с коллекциями, строками, вводом-выводом, функциональным программированием и другими задачами.

Log4j2 / Logback - библиотеки для логирования. Они позволяют настраивать уровни логирования, форматирование вывода и многие другие параметры. Обязательны для использования на любом проекте.

Какие фреймворки Java нужно знать

Безусловным лидером остается Spring Framework. Он является одним из самых популярных и влиятельных фреймворков Java, предоставляет комплексные решения для создания масштабируемых и надежных приложений, включая инверсию управления (IoC), внедрение зависимостей (DI), аспектно-ориентированное программирование (AOP) и многое другое.

Для работы с базами данных, лучшим выбором остаются фреймворки Hibernate и JOOQ. Разница между ними заключается в том, что первый предоставляет абстракцию над базой данных на уровне объектов Java, в то время как второй предоставляет более явный и типобезопасный способ работы с SQL-запросами в коде на Java. Выбор между ними зависит от конкретных требований проекта и предпочтений разработчика.

В качестве фреймворка для написанию unit тестов большинство разработчиков используют и продолжат использовать JUnit.

А какие фреймворки (библиотеки\инструменты) используете вы? Вклад каждого очень важен, чтобы развитие Java отвечало истинным потребностям разработчиков.

Поделитесь, можно отвечать анонимно. А в благодарность вам придёт сертификат и фотоотчет о посадке персональной сосны в бору Java.

Какие инструменты Java нужно знать

В первую очередь можно выделить инструменты для автоматизации сборки и управления зависимостями в проектах на Java - Maven и Gradle. Gradle считается более современным и прогрессивным, но до сих пор большое количество команд выбирают Maven.

Так же, хотя Docker и Kubernetes не являются инструментами Java, они играют важную роль в развертывании и управлении приложениями. В связи с широким распространением контейнеризации и оркестрации, знание этих инструментов останется важным для разработчиков в 2024 году.

Напоминаем, что вы можете задать свой вопрос экспертам, а мы соберём на него ответы, если он окажется интересным. Вопросы, которые уже задавались, можно найти в списке выпусков рубрики.

Мы опросили специалистов уровня middle и senior, и вот, что они ответили.

Напоминаем, что вы можете задать свой вопрос экспертам, а мы соберём на него ответы, если он окажется интересным. Вопросы, которые уже задавались, можно найти в списке выпусков рубрики.

Если вы хотите присоединиться к числу экспертов и прислать ответ от вашей компании или лично от вас, то пишите на experts@tproger.ru, мы расскажем, как это сделать.

Время не стоит на месте. С каждой новой версией в Python добавляются новые возможности, а устаревшие подходы удаляются. Также и библиотеки устаревают или перестают поддерживаться. Им на смену приходят новые, предлагающие более гибкие и универсальные подходы. Фреймворки развиваются и предлагают новые способы решения задач, обрастают новыми сторонними модулями.

Бывает нелегко ответить на вопрос о том, что из привычного нам уже устарело и от него стоит отказаться, а что пустить в нашу жизнь разработки. Расскажу об этом с точки зрения своего опыта разработки и используемых инструментов.

Часть модуля os.path существует очень давно и уже проверена временем. Она используется во многих библиотеках, фреймворках и проектах. Ее необходимо знать. Но нужно ли ее использовать? Уже несколько лет существует более удобный пакет pathlib, который является стандартным, начиная с Python 3.4. Модуль pathlib представляет пути в файловой системе в объектно-ориентированном стиле. Благодаря этому повышается читабельность кода и удобство его написания.

До Python 3.9 для операций с часовыми поясами использовался модуль pytz. Начиная с Python 3.9 в стандартной библиотеке появился модуль zoneinfo. Он предоставляет более лаконичный стиль написания кода.

Именованные кортежи (dataclasses) используются очень широко. Если до Python 3.7 это было оправдано, то после его выхода (и тем более после выхода Python 3.10) гораздо удобнее стало использовать dataclasses (классы данных).

Что же актуально знать в 2024 году начинающему разработчику?

1. Библиотеки Python: collections, datetime, itertools, logging, typing, pandas, zoneinfo, pytest, pre-commit, black;
2. Фреймворки Python: django, djangorestframework, FastAPI (с ORM), Flask (более популярен на Западе).
3. Инструменты Python: git, docker-compose.
   

В заключение.

Существующий код нужно уметь читать и понимать. Для этого нужно знать классические (возможно и старые) библиотеки.

Новый код нужно писать по-новому. Старый код - по возможности рефакторить на новый стиль.

Стиль нужно автоматически форматировать под единые стандарты проекта или команды (black и pre-commit очень помогают это автоматизировать).

Django нужно выучить хотя бы поверхностно, чтобы иметь представление о структуре проекта. Это сильно поможет при создании проектов на FastAPI и Flask.

Для локальной разработки использовать docker-compose, чтобы избежать (или уменьшить) количество ситуаций, когда локально код работает, а на сервере нет.

Напоминаем, что вы можете задать свой вопрос экспертам, а мы соберём на него ответы, если он окажется интересным. Вопросы, которые уже задавались, можно найти в списке выпусков рубрики.

Если вы хотите присоединиться к числу экспертов и прислать ответ от вашей компании или лично от вас, то пишите на experts@tproger.ru, мы расскажем, как это сделать.

Мы опросили специалистов уровня middle и senior, которые дали свои комментарии.

Мы спросили:

1. Какие библиотеки, инструменты, фреймворки C# уже устарели?
2. Какие библиотеки C# нужно знать в 2024 году?
   
3. Какие фреймворки C# нужно знать в 2024 году?
   
4. Какие инструменты C# нужно знать в 2024 году?
   

Вот, что они ответили.

Напоминаем, что вы можете задать свой вопрос экспертам, а мы соберём на него ответы, если он окажется интересным. Вопросы, которые уже задавались, можно найти в списке выпусков рубрики.

Если вы хотите присоединиться к числу экспертов и прислать ответ от вашей компании или лично от вас, то пишите на experts@tproger.ru, мы расскажем, как это сделать.

Постепенно устаревает Visual Studio, ее вытесняет новая облегченная версия - VS Code. .Net framework и .Net Core уже неактуальны и уходят в прошлое. На смену им приходят новые версии фреймворков .Net 8 и уже готовиться к релизу .Net 9. Устарела также библиотека Quartz для создания планировщиков.

В топе популярных библиотек на nuget.org остаются AutoMapper, Newtonsoft.Json, Serilog, FluentValidation, также набирает популярность Hangfire.

Последний актуальный фреймворк для C# на текущий момент – это .Net 8. Entity Framework - фреймворк для работы с БД.

По мимо IDE разработчики используют инструменты контроля версий (например Git), систему управления задач (Jira), многие продукты компании JetBrains также оказываются очень кстати.

Определенные C# библиотеки и фреймворки утрачивают актуальность. Примером устаревших технологий являются Web Forms для веб-разработки и Silverlight для создания интернет-приложений. ADO.NET Entity Framework был широко использован в прошлом, однако сейчас существуют более современные и удобные инструменты, такие как Entity Framework Core. Другие устаревшие библиотеки и инструменты включают в себя NUnit 2, WCF и Windows Forms.

Для успешной карьеры в C# разработке в 2024 году, следует овладеть следующими ключевыми библиотеками:

1. ASP.NET Core – для разработки высокопроизводительных веб-приложений.
2. Entity Framework Core – мощный ORM фреймворк для работы с базами данных.
   
3. Serilog или NLog – для продвинутого логирования приложений.
   
4. AutoMapper – для упрощения маппинга между объектами.
   
5. MediatR – для реализации шаблона "Посредник" и упрощения архитектуры приложений.
   

В 2024 году, следующие фреймворки будут на переднем крае C# разработки:

1. .NET 6/7 – последняя версия платформы .NET, обеспечивающая кросс-платформенную поддержку и высокую производительность.
2. Blazor – для создания интерактивных веб-UI с использованием C# вместо JavaScript.
   
3. MAUI – новый подход от Microsoft для создания кросс-платформенных мобильных и десктопных приложений.
   
4. Orleans – фреймворк для создания распределенных высокомасштабируемых приложений.
   
5. IdentityServer – фреймворк для реализации аутентификации и авторизации.
   

Для эффективной разработки на C# в 2024 году необходимо овладеть следующими инструментами:

1. Visual Studio 2022/2023 – последняя версия IDE от Microsoft, предлагающая многочисленные улучшения для разработчиков C#. Visual Studio Code – популярный редактор кода с обширной поддержкой расширений для C# разработки.
2. Docker – для контейнеризации и упрощения развертывания приложений.
3. Azure DevOps – для автоматизации процессов CI/CD и управления проектами.
4. Rider от JetBrains – альтернативная IDE для разработки на C#, предлагающая множество продвинутых функций для работы с кодом.

Напоминаем, что вы можете задать свой вопрос экспертам, а мы соберём на него ответы, если он окажется интересным. Вопросы, которые уже задавались, можно найти в списке выпусков рубрики.

Если вы хотите присоединиться к числу экспертов и прислать ответ от вашей компании или лично от вас, то пишите на experts@tproger.ru, мы расскажем, как это сделать.

Мы опросили экспертов уровней middle и senior, и они дали прогноз, какие специалисты, языки программирования и технологии будут востребованными в 2024 году.

Мы спросили:

1. Какие специалисты были востребованы в 2023 году?
2. Какие технологии стали основными в 2023 году среди фронтендеров, бэкендеров, тестировщиков?
   
3. Что должны знать фронтендеры, бэкендеры в 2024 году, чтобы быть востребованными специалистами? Знание каких языков, библиотек и инструментов требуется?
   
4. Какие специалисты на рынке на вес золота? В каких айти-специалистах отчаянно нуждается рынок?
   

Вот, что они ответили.

В 2024 году наиболее востребованы специалисты по кибербезопасности, ИИ/ML, DevOps-инженеры и senior-разработчики — их катастрофически не хватает на рынке.

Топ языков программирования: Java (Spring Boot), Python (Django), C#/.NET, TypeScript, Go — знание этих стеков повышает шансы на высокую зарплату.

Рынок страдает не от нехватки джунов, а от дефицита опытных специалистов уровня senior и lead — вырастить такого специалиста занимает 4–6 лет.

Тестировщиков и аналитиков на рынке избыток: работодатели отдают предпочтение кандидатам с конкретным опытом, а не базовыми навыками.

Для карьерного роста критично постоянно обновлять навыки: хороший инженер осваивает новую библиотеку за неделю, новый язык — за месяц.

Востребованный IT-специалист — это профессионал, чьи навыки соответствуют актуальным запросам рынка труда: знание современных языков, фреймворков и практик, подкреплённое реальным опытом коммерческой разработки.

Напоминаем, что вы можете задать свой вопрос экспертам, а мы соберём на него ответы, если он окажется интересным. Вопросы, которые уже задавались, можно найти в списке выпусков рубрики.

Если вы хотите присоединиться к числу экспертов и прислать ответ от вашей компании или лично от вас, то пишите на experts@tproger.ru, мы расскажем, как это сделать.

В связи с импортозамещением программного обеспечения ушедших из России вендоров, с 2022 года наблюдается повышенный спрос на аналитиков 1С. Именно различные версии данного ПО, а также решения для автоматизации бизнес-процессов и документооборота используют теперь представители госсектора и бизнеса. В связи с чем растет и заработная плата данных специалистов.

Помимо этого, с каждым годом растет количество хранимых и передаваемых данных - по пессимистическому прогнозу объем российского рынка big data вырастет с 45 млрд до 65 млрд рублей, по оптимистическому — до 230 млрд рублей. При этом процесс импортозамещения в данном сегменте происходит не так быстро, как в вопросе смены CRM, ERP, а потому вырос спрос на решения для хранения данных от отечественных вендоров и обеспечению бесшовной миграции: примерно 71% российских компаний готовы к переходу на системы хранения данных, разработанных в РФ, вместо западных. Соответственно, вырос спрос и на data-специалистов. Зарплатные ожидания джуниоров в данном направлении начинаются от 70 000 рублей, сеньоров - от 220 000 рублей.

По итогам прошлого года наибольшее число вакансий подразумевали поиск разработчиков и программистов (32% ИТ-вакансий), сотрудников техподдержки (13%), и аналитики разных направлений (8%). Также в связи с участившимися кибератаками на отечественный бизнес и госсектор востребованными были и остаются специалисты по информационной безопасности (4%).

Самыми приоритетными языками и фреймворками в 2024 году остаются Java и Spring Boot, Python и Django, C# и .NET. Каждый из них предлагает разработчикам мощные инструменты для построения современных и надежных приложений. TypeScript становится неотъемлемой частью фронтенд-разработки, обеспечивая статическую типизацию и повышение надежности кода. React, Vue.js, Angular остаются ключевыми фреймворками для создания пользовательских интерфейсов.

Микросервисная архитектура, постепенно замещающая монолитную, продолжает диктовать основные тренды: контейнеризацию и оркестрацию, переход на облачные решения, Message Broker, решения мониторинга и логирования, а также инструменты автоматизированного тестирования. Эти технологии обеспечивают создание современных, масштабируемых и эффективных IT-решений.

В 2023 году было уделено много внимания искусственному интеллекту и Data Science, облачным технологиям и вопросам кибербезопасности. В связи с этим были особенно востребованы специалисты по этим направлениям, DevOps-инженеры, фронтенд-разработчики в области реактивных фреймворков и бэкенд-специалисты с квалификацией в облаке. Для фронтендеров всегда полезно знать JavaScript, React и в целом иметь знания в реактивных фреймворках. Для бэкендеров Python, Java, Node.js, знание облачных сервисов и контейнеризации. Для тестировщиков это Selenium и Cypress.

В 2024 году тренд продолжится и также останутся нужны специалисты по кибербезопасности и машинному обучению, которое является главной звездой рынка. Как и обычно на вес золота Full Stack-разработчики, способные работать и с клиентской, и с серверной стороной.

Нельзя обходить и тренд геймификации. Рынок растет каждый год и является одним из самых устойчивых. Здесь нужны специалисты со знаниями движков Unity и Unreal Engine, а также профессионалы, который имеют опыт построения собственных. Большим плюсом станет знание языков C# и C++. В целом на этом рынке перенасыщение джунов и актуализируется большая востребованность в разработчиках middle и senior уровня.

Как руководитель IT-компании, хочу отметить, что сейчас область IT на очередном «хайпе» в силу роста цифровизации бизнеса и интеграции искусственного интеллекта в нашу повседневность Специалисты в этой области востребованы для оптимизации бизнес-процессов, создания инноваций и обеспечения кибербезопасности, что отражает растущую роль технологий в современном обществе и бизнесе. На мой взгляд, среди самых актуальных – и востребованных – IT-профессий можно выделить:

Frontend-разработчик. Классика. Frontend-разработчики специализируются на создании пользовательского интерфейса веб-приложений. Они работают с технологиями, обеспечивающими визуальную составляющую сайтов, а также занимаются оптимизацией процессов взаимодействия пользователя с интерфейсом. Вечное. Нужное.

Backend-разработчик. Такие специалисты создают и поддерживают серверную часть любых систем, делают «фундамент». Они работают с базами данных, обрабатывают запросы от фронтенда, обеспечивают безопасность и масштабируемость приложений. Очень сложно, местами заморочено, но важно и востребовано.

Специалист по Artificial Intelligence и Machine Learning. Спрос на экспертов в области ИИ и машинного обучения продолжает расти. Такие специалисты занимаются разработкой и оптимизацией алгоритмов, созданием моделей машинного обучения и обработкой данных. Учитывая, что словом года стала «нейросеть», интерес вполне прозрачен и понятен.

Специалист по кибербезопасности. С увеличением числа кибератак и цифровых угроз растет потребность в экспертах ПО. Защита компьютерных систем от вредоносных атак и обеспечение безопасности данных выходят на первый план.

Важно отметить, что быстро меняющаяся природа технологий делает важным постоянное обновление навыков и умение адаптироваться к новым решениям и инструментам.

В 2023 году это, конечно же, были ML-специалисты, специалисты в области Big Data, и все, кто связан с ИИ. Этот тренд сохранится и в следующем году. Сюда же можно отнести и Cybersecurity Specialist.

Что касается фронтенда, то тут все базово — HTML5 & CSS3, Flex и Grid CSS, CSS препроцессоры и Git. В бэкенде — несколько языков программирования, MySQL, HTTP и HTTPS, NGINX, Apache и другие.

В 2023 году максимально востребованными оказались IT-специалисты двух направлений. Во-первых, это специалисты 1С, во-вторых, программисты, работающие в классическом веб-стеке. PHP, JS, SQL — всё, на чём строятся сайты, приложения, веб-сервисы, плюс знания отдельных фреймворков

Я бы не стал выделять конкретные технологии, но главным трендом 2023 года явно стало использование Искусственного интеллекта, применение нейросетей и встраивание этих решений в бизнес-логику сайтов, интернет-магазинов, приложений и сервисов.

Что должны знать фронтендеры, бэкендеры в 2024 году, чтобы быть востребованными специалистами? Знание каких языков / библиотек / инструментов требуется?

Чтобы быть востребованным в 2024 году, разработчику базово нужно знать следующие вещи основные элементы вёрстки (CSS, HTML, JavaScript) и бэкэнд-часть. Большая часть бэкэнда продолжает писаться на PHP с использованием баз данных MySQL или PostgreSQL.

Рынок нуждается в ребятах, которые легко обучаются и готовы быть гибкими. Например, в веб-стеке каждый год в тренды выходят самые разные фреймворки. Пару лет назад это был Laraval, в прошлом году React.js. Основа у всех одна и та же: PHP, CSS, HTML, JavaScript, MySQL, LAMP/LEMP. Однако, переход на новый фреймворк требует адаптации. Так что максимально востребованными становятся те специалисты, которые максимально быстро перестраиваются.

Я руковожу командой с большим количеством программистов, а также провожу образовательные практики в нескольких вузах, поэтому могу дать несколько рекомендаций от себя.

В первую очередь, я рекомендую идти в веб-стек, изучать основы объектно-ориентированного программирования, изучать основные принципы веб-разработки. У веба больше всего ответвлений, и в нём больше всего сейчас не хватает специалистов.

Многие ошибочно думают: "пойду изучу самое простое". Самый лёгкий вход в программирование — это изучение Python. Но на деле Python чаще всего является неким вспомогательным инструментом для решения определенных задач. Очень мало сервисов полностью пишутся на этом языке, поэтому я бы всё же смотрел либо в сторону веб-направления, либо на 1С и сопутствующие ему языки программирования.

Также рекомендую набрать как можно больше практики решения всевозможных задач. Чем больше задач вы решите, тем с большим количеством проблем столкнётесь, тем более гибким (а значит, и востребованным) специалистом вы в итоге станете.

В прошлом году мы активно искали в МойОфис разработчиков разных стеков - С++, С++ QT, Golang, фротенд-разработчиков JavaScript, тестировщиков (ручное и автоматизированное тестирование), DevOps-инженеров, дизайнеров и пр.

В 2023 году на рынке РФ были крайне востребованы специалисты уровня senior - каждой компании важно нанимать профессионалов, поскольку на рынке есть острая необходимость в разработке отечественных ИТ-решений в кратчайшие сроки. От фронтенд-кандидатов мы в МойОфис традиционно ждем глубокого понимания Javascript, Typescript, HTML5, CSS3, широкого кругозора с точки зрения доступных в браузере возможностей и API. В бэкенде сохраняется высокий спрос на Go и C++ разработчиков уровней middle и senior.

В 2024 году и вообще в ближайшие несколько лет в России на вес золота будут востребованы бэкенд- и фронтенд-разработчики, DevOps-инженеры, SDET, а также DevSec-специалисты. В циклы разработки ПО важно включать и меры по обеспечению безопасности - к ней предъявляются ещё более строгие требования, поэтому компетентные специалисты будут еще больше в цене.

Среди востребованных профессий мы наблюдаем бэкенд-разработчиков, мобильных разработчиков-сеньоров, специалистов по обработке данных, тестировщиков, DevOps-инженеров и, что кажется невероятным, но так и есть, 1С-специалистов (их не хватает из-за ухода компании SAP из России).

Если говорить о других направлений, то это специалисты по искусственному интеллекту (машинному обучению, рекомендательным системам), маркетингу и дизайну.

Нельзя сказать, что в 2023 были какие-то серьезные изменения в технологиях. Например, среди топ-5 высокооплачиваемых языков программирования:

1. Objective-C (он был на первом месте и в 2022);
2. Scala (поднялся с 4 в 2022 на 2 строчку в 2023);
   
3. Swift (поднялся с 6 в 2022 на 3 строчку в 2023);
   
4. Elixir (занял 4 место в 2023, вместо 2 в 2022);
   
5. Rudy (сохранил свою позицию в 2023).
   

Подробнее можно узнать: в статьях «Зарплаты IT-специалистов в первом полугодии 2023» и «Зарплаты айтишников в первом полугодии 2022».

На рынке труда технологии относительно незначительны. Гораздо важнее опыт специалиста. На любой живой язык можно найти вакансии, то же самое и с фреймворками и библиотеками. Сегодня компании борются именно за опыт сотрудников. Джунов и мидлов на рынке довольно много и в них нет острой потребности. А вот сеньоры, лиды и управляющие представляют настоящую ценность для работодателя.

Правда в том, что хороший опытный инженер освоит до высокого уровня любую новую библиотеку или инструмент на знакомом языке примерно за неделю. Если это будет новый язык, то потребуется около месяца.

ИТ-специалистам нужно самим выбирать язык, с которым они хотят работать. Возможно, сначала стоит изучать компании, где бы хотел работать человек, и выбрать для себя подходящую технологию.

Обычно вокруг разных технологий, языков есть своя определенная «атмосфера» — похожа на индивидуальный стиль работы и мышления, поэтому специалисту нужно опираться, в первую очередь, на свои интересы и желания, чтобы ему хотелось с этим работать — чтобы этот стиль подходил самому человеку.

Работодатель будет оценивать кандидата по:

1. технологиям, с которыми человек сам хочет работать;
2. опыту работы с проектами на технологиях, которые используются в компании. Изучить язык за месяц легко, а вот поработать на 10 разных проектах на нем — тяжелее. Именно опыт будет ценен для работодателя.
   

Как уже упоминалось ранее, разница спроса заключается не в конкретных специальностях, а в грейдах. Джунов и миддлов на рынке довольно много, а вот лидов, сеньоров и управляющих, которые могут ставить задачи джунам и миддлам, нет. И это не зависит от специальности.

Чтобы вырастить хорошего миддл-специалиста, нужно 2-3 года курсов, не меньше. Плюс опыт работы — тоже 2-3 года. Так, взращивание сеньора займет 4-6 лет.

Нам, например, тоже не хватает лидов — высокооплачиваемых специалистов, которые могут эффективно управлять техническими проектами. Кроме того, на лида нельзя быстро обучить с нуля. Это только серьезный многолетний опыт.

Взгляд на будущее в мире IT требует внимания к текущим трендам и динамике рынка. Основываясь на моем опыте как Senior Android Developer и анализе прошлых лет, предоставляю прогноз того, какие специалисты и технологии будут в центре внимания в 2024 году.

В предыдущем году выделялись:

1. Full Stack разработчики: Спрос на специалистов, обладающих комплексными навыками работы на фронтенде и бэкенде, продолжал расти.
2. DevOps инженеры: С увеличением популярности DevOps, требовались эксперты в области автоматизации, CI/CD и контейнеризации.
   
3. Специалисты по искусственному интеллекту и машинному обучению: Разработчики, работающие с решениями на основе искусственного интеллекта, оставались в центре внимания.
   

На фронтенде преобладали:

1. React.js и Vue.js: Состоялись лидерами в разработке пользовательских интерфейсов.
2. WebAssembly: Привлекал внимание, улучшая производительность веб-приложений.

На бэкенде выделялись:

1. Node.js, Python (Django, Flask), Java: Популярные языки программирования для создания серверной части приложений.
2. Распределенные базы данных, такие как Apache Cassandra: Обеспечивали эффективное управление данными.
   

В области DevOps активно использовали Kubernetes, Docker, Jenkins и Ansible для автоматизации и управления инфраструктурой.

В 2024 для фронтендеров необходимы:

1. Знание JavaScript и его фреймворков (React, Vue, Angular).
2. Умение работать с WebAssembly для повышения производительности.
   
3. Опыт создания Progressive Web Apps (PWA).
   

Бэкендерам требуется:

1. Глубокие знания в выбранном языке (Node.js, Python, Java).
2. Опыт работы с микросервисной архитектурой и понимание облачных вычислений (AWS, Azure, Google Cloud).
   

Специалисты на вес золота:

1. Специалисты по кибербезопасности: В условиях угроз кибербезопасности, их роль становится ключевой.
2. Специалисты по искусственному интеллекту и машинному обучению: Растет спрос на экспертов, создающих и внедряющих решения на базе данных.
   
3. DevOps инженеры: В центре внимания с увеличением сложности проектов и необходимости быстрого выкатывания новых версий.
   

На Android и iOS акцентировали внимание на:

1. Flutter и Kotlin для Android.
2. Swift и SwiftUI для iOS.
   
3. Прогрессивные веб-приложения (PWA) становились более распространенными.
   

Требования к мобильным разработчикам в 2024 году:

1. Знание Flutter/Dart или Kotlin/Java для кроссплатформенной и нативной разработки.
2. Умение создавать адаптивные интерфейсы, работающие на различных устройствах.
   
3. Понимание работы с локальными базами данных и взаимодействие с удаленными серверами.
   

Мобильные специалисты на рынке:

1. Специалисты по безопасности мобильных приложений: В условиях угроз кибербезопасности, их роль становится критической.
2. Разработчики кроссплатформенных приложений: Востребованы для оптимизации затрат и ускорения разработки.
   
3. Эксперты по оптимизации производительности: Знание, как оптимизировать производительность под разные устройства, ценно.
   
4. Знание современных технологий и глубокие навыки в выбранных областях останутся востребованны.
   

Среди самых востребованных специалистов в 2023 году – разработчики в сфере кибербезопасности, так как в последние годы значительно увеличилось количество кибератак и утечек личных данных пользователей. Также в условиях технологической изоляции, когда большинство западных компаний ушло с российского рынка, бизнесу необходимо еще быстрее создавать решения на замену – сервисы, приложения, ПО и.т.д. Поэтому сохранился спрос на квалифицированных Frontend- и backend-разработчиков. Особенно востребованы в 2023 году были фронтендеры на Angular. Например, у нас в ГК “Bimeister” команда расширилась в 2 раза с наймом таких специалистов.

Отмечу, что бизнес сегодня стремится максимально минимизировать издержки, в том числе на обучение сотрудников. Поэтому компании ищут специалистов с хорошим опытом. Однако на российском рынке труда сейчас гораздо больше джуниор-разработчиков, у которых пока что нет серьезных кейсов в портфолио. И, к сожалению, новичкам будет гораздо сложнее найти работу, но не стоит забывать и про те компании, которым наоборот больше подходит модель обучения “под себя”, которая предполагает найм джуна в штат и его дальнейший апгрейд в рамках одной компании.

В 2023 году во фронтенде продолжили доминировать React и Vue.js, а TypeScript укрепил своё положение для типизации кода. В бэкенде Node.js и Python с Django оставались популярными для быстрой разработки, а PostgreSQL и MySQL использовались как основные базы данных. Также в 2023 году основными языками программирования для многих компаний остались Angular и C#.

В первую очередь стоит отметить необходимость знания Angular, C# (он особенно востребован у автотестировщиков), а также Docker и PostgreSQL.

Кроме того, фронтендеры в 2024 году должны владеть современными JavaScript-фреймворками, в частности React или Vue.js, иметь глубокие знания CSS, включая фреймворки Tailwind CSS, а также быть знакомыми с TypeScript. Бэкендерам полезно будет знать языки Python или Node.js и соответствующие фреймворки, а также обладать пониманием работы с реляционными и NoSQL базами данных.

На вес золота сегодня системные архитекторы, архитекторы решений, а также продакт-менеджеры, которые могут отвечать за продукт на протяжении всего цикла разработки – от начала и выхода на рынок до его окупаемости.

Согласно статистике hh.ru, спрос на IT-специалистов в 2023 году вырос на 18%, а по данным Минцифры РФ, дефицит разработчиков составил более 500 тысяч человек.

Востребованность ИТ-специалистов на рынке труда напрямую зависела от индустрии конкретных компаний. Наиболее востребованными были не только разработчики, но и бизнес- и системные аналитики, менеджеры продуктов и проектов, devOps-инженеры, инженеры по ремонту и обслуживанию оборудования. Значительно выросло количество вакансий в области искусственного интеллекта.

Как правило, основной спрос и дефицит кадров пришелся на опытных специалистов senior- и middle-уровня. Новичков в профессии c каждым годом становится больше, однако, спрос растет и на них — и 2023 год не стал исключением. Чаще всего junior-специалисты востребованы в тестировании, разработке на языке Python, проектных задачах.

По нашим наблюдениям, многим компаниям сейчас остро нужны опытные специалисты по обслуживанию и ремонту оборудования ушедших с российского рынка мировых вендоров — те, кто прошел обучение в сертифицированных центрах, сдал экзамен и получил подтверждающий сертификат (например, по серверам или системам хранения данных). На вес золота профессионалы, которые имеют практический опыт работы с разными линейками оборудования нескольких вендоров и решали нетривиальные задачи.

Мы, например, ощущаем острый дефицит инженеров по поддержке ленточных библиотек, поэтому сконцентрировались на усилении команды и их поиске.

Если говорить об отрасли в целом, то в 2023 году спросом пользовались фронтенд-, ML-, мобильные и игровые разработчики, программисты на языке Python, тестировщики-автоматизаторы, devops, Data Scientists, Product managers и, конечно, специалисты по кибербезопасности.

В нашей компании был сделан акцент и была необходимость на бэкенд-разработчиках, программистах, знающих языки C/C++ под Linux, а также тестировщиках, devops-инженерах и инженерах технической поддержки. В основном мы говорим, конечно, о специалистах уровня middle и senior. Изменения в оргструктуре компании привели к необходимости поиска сотрудников на позиции product manager и team lead.

При найме на позицию фронтенд-разработчиков компании смотрят на умение работать в JavaScript (включая фреймворки и библиотеки такие как React, Angular, Vue.js), понимание HTML/CSS, WebAssembly и Progressive Web Apps (PWA).

Для бэкенд-разработчиков важным навыком является умение использования языков программирования Java, Python, JavaScript (Node.js), Go, Kotlin и Scala. Также ценится понимание облачных решений, например, как AWS, Azure, Google Cloud Platform, а также Serverless архитектуры, опыт в работе с базой данных: PostgreSQL, MongoDB, MySQL, и NoSQL технологии.

Для тестировщиков ключевыми преимуществами станет владение автоматизированного тестирования с использованием инструментов Selenium, Cypress, Jest, JUnit, а также анализа микросервисной архитектуры и кейсов по безопасности.

Фронтендеры должны знать HTML, CSS, JavaScript, TypeScript а также фреймворки и библиотеки, такие как React, Angular, Vue.js. Важным аспектом при найме на данную позицию является опыт работы с Git, Jira и Confluence. Также полезно иметь навыки веб-дизайна, адаптивной верстки и оптимизации производительности веб-приложений.

В отношении бэкендеров среди их профессиональных навыков ценятся знания языков программирования как Java, Python, PHP, Ruby, C# или Node.js, а также фреймворков: Spring, Django, Laravel и Ruby on Rails. Таким специалистам немаловажно иметь понимание баз данных, таких как SQL или NoSQL, а также знания о веб-серверах, хостинге и облачных сервисах.

Для двух типов специалистов также важно иметь понимание систем контроля версий, таких как Git, и умение работать в команде, следовать лучшим практикам разработки и адаптироваться к новым технологиям и требованиям рынка.

2024 год обещает быть переломным в области технологий. Рост искусственного интеллекта и SaaS становятся доминирующими трендами, определяя будущее бизнес-процессов и инноваций, в том числе и работа по подбору IT-специалистов, умеющих работать с подобными инновациями.

На данный момент IT-рынок очень нуждается в специалистах по следующим направлениям:

1. Разработчики комплектующих для железа (серверов, процессоров, модемов, коммутаторов, маршрутизаторов). Большинство из них Россия импортирует из других стран. Часть из них можно заменить благодаря серому импорту, другую же придется разрабатывать с нуля.
2. Кибербезопасность. Во втором квартале 2023 года на российскую инфраструктуру пришлось более 2,3% DDoS-атак от общемирового показателя, что в два раза больше, чем в начале прошлого года. С развитием технологий и мошеннических уловок вопрос кибербезопасности становится очень острым, поэтому в 2024 специалисты по защите от кибератак будут особенно востребованы.
   
3. Разработчики нового ПО. С российского рынка ушли крупнейших поставщики ПО: EPAM, Oracle, Microsoft и SAP. Их услугами пользовались не только крупнейшие коммерческие российские компании, но и госсектор. Поэтому все больше государство смотрит в сторону создания собственных независимых аналогов, чем подкрепляется Указом №250 от 01.05.2022 об импортозамещении программного обеспечения отечественных компаний.
   
4. IT-специалисты для банковской сферы. Российские банки, попавшие под санкции, также как никогда нуждаются в компетентных специалистах. При этом им предстоит не только решать проблемы, связанные с международными ограничениями, но и много работы в части реализации банковских продуктов для граждан, в первую очередь — краткосрочных вкладов.
   
5. Российские социальные сети. На государственном уровне задумались о создании отечественных аналогов. Немало работы предстоит с теми соцсетями, которые сейчас активно пользуются спросом: VK, «Одноклассники» и RuTube. Объективно требуется повышать их юзабилити, разрабатывать новые функции и обновлять интерфейсы.
   

В новом 2024 году в связи с активным ростом и развитием нашей компании будет высокая потребность в бэкенд- и разработчиках на С\С++, тестировщиков (нагрузочное и ручное тестирование, автотестировщики). Такие профессии очень востребованы на рынке, в связи с чем возникает высокая конкуренция среди работодателей в борьбе за лучших IT-специалистов.

На фоне постоянно растущего числа кибератак, организации все больше заинтересованы в том, чтобы выявлять и устранять уязвимости в собственных IT-решениях еще на этапе написания кода. Поэтому сегодня одним из наиболее востребованных направлений в ИТ становится DevSecOps – область, которая отвечает за безопасную разработку софта на всех этапах его жизненного цикла. По данным Positive Technologies, 45% IT-специалистов в России считают безопасную разработку полезной практикой, но только 36% уже имеют наработанные практики DevSecOps.

Специалист в области DevSecOps должен владеть тем технологическим стеком, который используется в его проектах. В области веб-приложений, это, как правило, один или два языка. Для фронтенда это обычно JavaScript/TypeScript/Dart и любой из бэкенд-языков, например, Go, Python, C#, Java/Kotlin/Scala, плюс набор фреймворков и библиотек, применяющихся в обоих случаях. И да, DevSecOps-специалист должен быть «фуллстековым» – то есть владеть одновременно технологиями, как фронтенда, так и бэкенда, иметь представление об архитектурных принципах проектирования ПО, понимать весь пайплайн разработки и CI/CD.

Для того, чтобы начать свое развитие в направлении DevSecOps, если речь идет о веб-технологиях, рекомендую изучить вот эти ресурсы:

1. Awesome DevSecOps на русском языке — сборник ссылок на наиболее годные и интересные материалы о предметной области.
2. Web Security Academy — бесплатный курс от Portswigger, посвящённый вопросам безопасности веб-приложений и книга The Web Application Hacker's Handbook по этому курсу.
   
3. Web for Pentester 1, 2 — сборник лабораторных работ по безопасности веб-приложений.
   
4. OWASP Developer Guide — принципы и подходы к безопасной разработке от OWASP и чеклист Secure Coding Practices от них же.
   

Книги "must read":

1. The Tangled Web: A Guide to Securing Modern Web Application
2. Безопасность веб-приложений
   
3. Безопасность веб-приложений. Исчерпывающий гид для начинающих разработчиков
   
4. The DevSecOps Playbook: Deliver Continuous Security at Speed
   

Несмотря на то, что область ИТ продолжает расти колоссальными темпами, и всем хорошо известно о нарастающей нехватке ИТ-специалистов, начинающим айтишникам найти работу не так-то просто, т.к. большинству компаний нужны готовые работники, т.е., как минимум, мидлы.

Тем не менее в наиболее востребованных технологиях последних лет, где голод рынка сейчас особенно велик, джуны и стажёры также идут нарасхват.

Если говорить про роли, то, по моему опыту, это в первую очередь DevOps-инженеры и разработчики (как фронтэнд, так и бэкэнд). Для девопсов наиболее ценным будет опыт работы с GitLab CI, Docker и Kubernetes. Облачная инфраструктура в России и соседних странах постепенно развивается, но пока не достигла того же уровня технологичности и доверия, как, например, AWS на Западе, поэтому в реалиях нашего рынка навыки работы, например, с Яндекс Облаком пригодятся скорее, как задел на будущее, чем будут востребованы прямо сейчас.

Говоря про frontend-разработку, я бы в первую очередь упомянул Vue.js как одну из наиболее активно развивающихся технологий последних лет. Всё больше компаний начинает делать ставку на неё, что должно быть особенно интересно начинающим разработчикам, т.к. порог входа в этот фреймворк ниже, чем в React и Angular, хотя, конечно, оба этих мощных фреймворка тоже остаются очень популярными.

Ну и, что касается backend-разработки, то опыт найма в нашей компании "ППР" — финтех-операторе сервисов для бизнеса, говорит о том, что Java и SprintBoot по-прежнему в цене.

Считается, что на освоение этих технологий до приемлемого в коммерческой разработке уровня нужно больше времени, чем, например, для PHP или Python, а количество организаций, особенно больших и обеспеченных, вроде банков, которые продолжают активно использовать Java, не уменьшается, отсюда и возникает более острая нехватка кадров.

Также есть смысл присмотреться к golang, как одному из основных орудий для создания микросервисов. Многие компании идут или уже по уши залезли в проекты "распилов монолитов", поэтому знание этого языка в таких местах часто придётся ко двору

В целом в IT-сфере зарплаты продолжают активно расти. Тенденция во многом связана с инфляцией в США. Она тянет за собой все остальные рынки зарплат, поскольку сейчас всё интегрировано и человек, зная английский язык, может работать в любой точке мира удаленно.

Сейчас примерный разброс в зарплатах для Frontend- и Backend-специалистов составляет от 150 до 450 тысяч в месяц в зависимости от грейда. Для тестировщиков — от 100 до 300 тысяч. В основном зарплаты для них определяются опытом и навыком автоматизации QA-процесса.

Спрос на специалистов по-прежнему превышает предложение.

Безусловно, на вес золота специалисты уровня Senior и Team lead. В самих специализациях ничего глобально не изменилось, кроме того, что довольно сильно вырос спрос на специалистов по искусственному интеллекту и опыту работы с ним.

Кроме того, специалистами уровня Junior сложнее найти работу из-за развития AI-помощников таких, как CoPilot. Это связано с тем, что искусственный интеллект может попросту заменить начинающих специалистов. Тем не менее, для них это может стать преимуществом. Достаточно всего лишь интегрировать в свой флоу AI-помощника. Так Junior-специалисты будут выделяться среди своих конкурентов и дышать в спину более опытным разработчикам, так как им сложнее перестроится под современные тенденции и внедрить к себе новый инструмент.

По прежнему самыми востребованными фреймворками на Frontend являются React.js и React Native. Соответственно, я бы рекомендовал сфокусироваться на них, и на Javascript/Typescript.

На Backend все стандартно и зависит от стека. Однако лично я делал бы акцент на Javascript — Node.js стеках, вроде Express. Также рекомендовал бы рассматривать GraphQL при разработке API. Кроме того, с развитием AI активно набирают обороты векторные базы данных, поэтому их я бы тоже посоветовал освоить. Vector search например уже есть в MongoDB.

В 2023 году наблюдался высокий спрос на IT-специалистов, особенно на опытных профессионалов. Соотношение на рынке труда показывает, что на одного специалиста уровня middle и senior приходилось три компании, тогда как для специалистов уровня junior – три специалиста на одну компанию. Это свидетельствует о высокой конкуренции среди начинающих и острой нехватке опытных кадров.

Среди ключевых технологий для разработчиков стоит отметить:

1. Фронтенд - JavaScript и фреймворки типа React и Vue.js, а также CSS-препроцессоры и фреймворки вроде Bootstrap.
2. Бэкенд - Python, Java, Go, микросервисы, облачные платформы.
   
3. Тестировщики - Автоматизация, Selenium, Jenkins, CI/CD.
   

ИИ быстро становится ключевым направлением в IT. Специалисты, работающие в этой области, должны особое внимание уделить принципам работы с текстовыми данными и соответствующим алгоритмам, в частности обработке естественного языка

2024 год обещает быть периодом дальнейшего роста и инноваций в IT, особенно в области ИИ. Специалистам важно следить за тенденциями и адаптироваться к новым технологиям, чтобы оставаться востребованными на рынке труда.

В 2024 году работодатель хочет найти готового уверенного специалиста, чтобы сразу приступить к решению сложных задач, ведь обучать, выделять ментора – это долго и дорого. Именно поэтому основной спрос сегодня на специалистов уровня Middle и выше. Особое внимание стали уделять софт-скилам: важно, чтобы человек был «говорящий», контактный, гибкий, готовый к переменам и вызовам, ответственный и включенный в процесс. Ценятся не исполнители в чистом виде, а инициативные люди, готовые генерить идеи, создавать что-то новое, брать на себя ответственность.

В 2023 году уровень откликов на вакансии в IT Test вырос на 40% (из них специалистов уровня Middle стало на 20% больше) по сравнению с 2022-м, количество собеседований с разработчиками увеличилось на 30%, а отказов на офферы стало в два раза меньше (на раздумья, кстати, берут 3-4 дня, а не 1-2 недели, как было раньше). Это связано с тем, что в 2022-м и 2023 году многие урезали расходы — логично, что вакансий становится меньше.

Особенно непросто начинающим специалистам. Джунов много, конкуренция высокая, а спрос на них крайне низкий. Дело в том, что новички требуют серьезных временных ресурсов, а обучать и наставлять готовы не все. Комфортнее всех чувствуют себя разработчики уровня Senior (Backend, Frontend, Fullstack) – за них всегда бьются рекрутеры. Также идет борьба за DevOps-специалистов, аналитиков и разработчиков мобильных приложений.

При этом возможность «уйти в IT» остается. Огромные шансы попасть в IT без реального коммерческого опыта работы есть у победителей олимпиад, хакатонов, у ребят, максимально увлеченных профессией, которые еще в школе интересовались разработкой, делали небольшие сайты или чат-боты.

Если говорить о нехватке специалистов, то, как правило, сейчас это все же нехватка middle и senior разработчиков, но так как они вырастают из джунов и стажеров, из этого можно сделать вывод, что стэк технологий с высоким порогом входа более перспективен. Например, сейчас наблюдается большое количество junior тестировщиков и frontend разработчиков, но есть явный недостаток backend разработчиков и разработчиков мобильных приложений. Все потому, что изучение Java, Python или PHP сложнее функционального тестирования. Кандидат должен быть готов не просто изучить основы языка программирования, но и прекрасно ориентироваться в принципах современного ООП (SILOD), а также в паттернах программирования.

В backend разработке наблюдается тенденция увеличения IT-проектов на Python и уменьшение на PHP и Go, однако, в Python наиболее сильная конкуренция, и если вы не уверены в своих силах, то вполне хорошим вариантом будет выбор PHP или Go, потому что проектов на них все ещё много, а квалифицированных специалистов становится меньше с каждым годом. В frontend разработке с большим отрывом лидирует JavaScript, но с очень серьезным акцентом на современные фреймворки. Если вы выбираете это направление, то обязательно нужно прокачать знания в React, Vue, Angular. Большим плюсом будет знание TypeScript. И, возвращаясь к тому, что говорил в начале, очень важно приложить максимум усилий, чтобы развить свои навыки до уровня middle. Необходимо активно повышать свою квалификацию и не бояться браться за сложные задачи.

Касаемо требований к backend разработчику, то они традиционно разделяются на soft и hard skills. Здесь не столько важна их глубина, а скорее, чтобы знания были профессиональными, и по ним не было провалов. Для оценки hard skills проверьте, действительно ли вы знаете и умеете применять принципы SOLID и основные паттерны программирования. Это ключевые знания, которые позволят вам без усилий понимать чужой код и писать понятно свой. Имея их, вы легко освоите современные фреймворки для вашего языка программирования, а знание фреймворков является вторым по важности навыком разработчика.

В стэке технологий наиболее популярны для web backend фреймворки и платформы: Python – Django, FastAPI; PHP – Laravel, Yii; JavaScript – NodeJS. Кроме этого, современный разработчик должен иметь хотя бы минимальные знания DevOps.

Например, уметь собирать контейнеры в Docker и разворачивать окружения в Kubernetes. Это тоже входит в стэк современной разработки.

Из современных трендов, которые будут актуальны в 2024 году, я бы выделил использование AI для проверки или даже написания кода. Некоторые IDE уже предлагают его в виде экспериментальных плагинов, которые могут успешно писать тесты или типовой код. Однако, правильное составление заданий для AI (промтов) – это очень ценный навык, который точно будет востребован. И не стоит забывать о soft skills. Вы должны не просто уметь работать в команде, но и понимать, как организована гибкая разработка по Agile. Должны быть в состоянии оценить, сколько времени потребуется на выполнение той или иной задачи, а также укладываться в сроки.

В 2023 году рынок технических специалистов сильно изменился. Менялся спрос на разные специализации, появлялось больше кандидатов, решивших сменить профессиональное направление на IT, несмотря на зрелый возраст и опыт работы в других сферах.

Кроме того, некоторые видели в IT возможность реализовать свой творческий потенциал. Продолжался рост спроса на разработчиков с навыками работы с искусственным интеллектом, машинным обучением и облачными технологиями. Также популярностью пользовались DevOps-инженеры, специалисты по кибербезопасности и разработчики мобильных приложений.

Традиционные роли, такие как веб-разработчики и системные администраторы, стали менее востребованы.

Помимо этого, направление «1С» было в 2023 году очень востребованным. Это связано с тем, что специалисты, которые выбирают эту сферу, получают высокую заработную плату и возможность сочетать в работе навыки программирования и знаний в бухгалтерии.

Есть моменты, которые очевидны уже сейчас.

— Искусственный интеллект.

Технологии искусственного интеллекта будут продолжать развиваться. Они найдут более широкое применение в различных отраслях, включая здравоохранение, финансы, производство и многие другие. Компании будут искать экспертов, способных разрабатывать и внедрять AI-решения.

— Кибербезопасность.

В свете растущей угрозы кибератак и утечек данных, в 2024 году будет уделяться большое внимание кибербезопасности. Компании и организации будут инвестировать в средства защиты данных и обучение специалистов.

— Бизнес-аналитики.

Специалисты в области бизнес-аналитики, которые могут переводить потребности бизнеса на технические требования, будут важными на рынке труда. Они помогут компаниям оптимизировать процессы и повысить эффективность.

— Работа удаленно.

Опыт пандемии COVID-19 ускорил переход к удаленной работе. В 2024 году ожидается, что многие компании продолжат предоставлять возможность работать из дома, а также будут искать способы оптимизации процессов удаленного сотрудничества.

— Больше рабочих мест.

Рост IT-сферы также будет способствовать созданию новых рабочих мест в сфере разработки, управления проектами, кибербезопасности и других областях.

— Обучение и развитие.

Все больше компаний будет инвестировать в обучение и развитие своих сотрудников. Это будет способствовать росту возможностей для профессионального роста и переобучения.

Читайте также на Tproger: Какие IT-профессии выбрать в 2024 году, Python для начинающих: с чего начать, Как построить карьеру в IT: советы экспертов.

Часто задаваемые вопросы

Каких IT-специалистов не хватает в 2024 году?

Острее всего рынок испытывает дефицит senior-разработчиков и технических лидов — их невозможно вырастить быстро. Также не хватает специалистов по кибербезопасности, DevOps-инженеров и экспертов в области ИИ и машинного обучения. При этом джунов и тестировщиков с базовыми навыками на рынке избыток.

Какие IT-профессии самые высокооплачиваемые?

По данным экспертов, в топ-5 высокооплачиваемых языков входят Objective-C, Scala, Swift, Elixir и Kotlin. Помимо языков, самые высокие зарплаты получают архитекторы решений, специалисты по безопасности и технические лиды. Full Stack-разработчики с опытом в облачных технологиях также стабильно входят в число наиболее оплачиваемых позиций.

Стоит ли идти в тестирование в 2024 году?

Рынок тестировщиков перенасыщен специалистами с базовыми навыками ручного тестирования. Однако SDET (Software Development Engineer in Test) и специалисты по автоматизированному тестированию по-прежнему востребованы. Для успешного входа в профессию рекомендуется сразу изучать автоматизацию, Python и C# для написания тестов.

Какие навыки нужны IT-специалисту в 2024 году?

Фронтендерам необходимы JavaScript-фреймворки (React, Vue, Angular), TypeScript и опыт работы с PWA. Бэкендерам — глубокое знание выбранного языка, микросервисная архитектура и облачные платформы (AWS, Azure, GCP). Для всех специалистов критично умение работать с Git, понимание DevOps-практик и готовность постоянно учиться.

Какие специалисты окажутся невостребованными в 2024 году?

Эксперты отмечают снижение спроса на традиционных веб-разработчиков без знания современных фреймворков. Системные администраторы без навыков DevOps и облачных технологий также теряют позиции на рынке. Джуны и стажёры в большинстве ниш сталкиваются с высокой конкуренцией — компании предпочитают нанимать опытных специалистов.

Напоминаем, что вы можете задать свой вопрос экспертам, а мы соберём на него ответы, если он окажется интересным. Вопросы, которые уже задавались, можно найти в списке выпусков рубрики.

Если вы хотите присоединиться к числу экспертов и прислать ответ от вашей компании или лично от вас, то пишите на experts@tproger.ru, мы расскажем, как это сделать.

Вот, о чём идёт речь в видео:

1. Спикер по имени Даниэль сравнивает два инструмента глубокого обучения: TensorFlow и PyTorch.
2. PyTorch - это инструмент машинного обучения, который легко интегрируется с Python и основан на библиотеке Torch.
   
3. TensorFlow - это всеобъемлющая система машинного обучения от Google Brain, поддерживающая различные платформы и языки программирования.
   
4. Keras - это высокоуровневый API, построенный на TensorFlow, позволяющий быстро создавать нейронные сети.
   
5. Преимущества PyTorch включают простоту использования, гибкость и интеграцию с Python, но он имеет ограниченные возможности визуализации и сервирования моделей.
   
6. Преимущества TensorFlow - поддержка различных платформ, комплексность инструментов и поддержка множества языков программирования, но есть проблемы с обратной совместимостью и скоростью вычислений.
   
7. TensorFlow выделяется в производительности и масштабируемости, в то время как PyTorch предлагает большую гибкость и удобство для прототипирования и исследований.
   
8. TensorFlow имеет больше предварительно обученных моделей, доступных через TensorFlow Hub, в то время как PyTorch предлагает около 50 моделей через PyTorch Hub.
   
9. TensorFlow часто используется в крупных компаниях и для производства, в то время как PyTorch набирает популярность в исследованиях и разработке.
   
10. Выбор между PyTorch и TensorFlow зависит от специфики проекта, целей и требований к гибкости и масштабируемости.
    

Ниже — транскрибированный перевод ролика на русский язык.

PyTorch проще в освоении и лучше подходит для исследований и прототипирования — особенно благодаря динамическому графу вычислений и тесной интеграции с Python.

TensorFlow сильнее в продакшене: лучше масштабируется, имеет зрелые инструменты деплоя (TensorFlow Serving) и более 1300 предобученных моделей в TF Hub.

PyTorch доминирует в академических исследованиях и ML-стартапах; TensorFlow — в корпоративных системах и крупных production-проектах.

Для большинства задач выбор определяется спецификой проекта: PyTorch — гибкость и скорость разработки; TensorFlow — надёжность и масштабируемость при деплое.

PyTorch и TensorFlow — два ведущих фреймворка глубокого обучения с открытым исходным кодом. PyTorch разработан Facebook (Meta) и построен на основе Python и библиотеки Torch; TensorFlow создан Google Brain и поддерживает множество языков и платформ. Оба инструмента применяются для построения нейронных сетей, компьютерного зрения, обработки естественного языка и других задач ИИ.

Если вы только начинаете изучать глубокое обучение, количество инструментов и фреймворков может показаться чрезмерным. Некоторые профессионалы глубокого обучения могут предложить TensorFlow, а эксперты по машинному обучению могут склоняться к PyTorch. Именно поэтому разработчики ежедневно сталкиваются с выбором между этими двумя инструментами.

Меня зовут Даниэль, и в этом видео я сравню TensorFlow и PyTorch, чтобы вы могли выбрать тот, который вам больше подходит. Сегодня я расскажу о кратком обзоре двух фреймворков, их преимуществах и ограничениях, а также о сходствах и различиях. И, конечно, я постараюсь помочь вам решить, какой из этих фреймворков лучше подойдет для вашего проекта. Также, если вы только начинаете или хотите улучшить свои навыки, не стесняйтесь посмотреть ссылки в описании после просмотра этого видео.

Там вы найдете отличные образовательные ресурсы для этих двух инструментов. Хорошо, теперь пришло время начать.

Один, два, три, начинаем. PyTorch против TensorFlow. Для чего они предназначены? Прежде чем я приступлю к сравнению, позвольте мне дать вам краткий обзор этих двух инструментов.

Для чего нужны PyTorch и TensorFlow

Для чего они предназначены и что они предлагают? PyTorch. Сегодня PyTorch - это бесплатный инструмент машинного обучения.

Он ускоряет переход от тестирования идей к их воплощению в жизнь. PyTorch работает с Python и построен на библиотеке Torch. Это инструмент научных вычислений, написанный на C и CUDA.

Да, он построен на трех сложных вещах. PyTorch имеет простой и понятный интерфейс Python, что сделало его одним из основных фреймворков для глубокого обучения. С помощью PyTorch вы можете создавать модели для самых разных вещей, таких как компьютерное зрение, понимание языка, распознавание речи и даже создание приложений искусственного интеллекта. Хорошо, ребята, теперь перейдем к TensorFlow. TensorFlow - это известная система с открытым исходным кодом для машинного обучения, разработанная Google Brain. По сути, это обновленная версия инструмента Google Disbelief.

Он работает на практически любом устройстве. У него есть обширная библиотека со всем необходимым для машинного обучения. Когда речь заходит о TensorFlow, нельзя не упомянуть Keras. Это высокоуровневый API и удобный инструмент, построенный на основе TensorFlow. Он помогает легко создавать нейронные сети, даже если вы не профессионал в области глубокого обучения. Многие победившие команды на Kaggle используют Keras, потому что он позволяет им быстро опробовать новые идеи, будь то компьютерное зрение, обработка языка, распознавание речи или создание приложений искусственного интеллекта, как Keras, так и TensorFlow могут помочь вам создавать крутые модели глубокого обучения.

Преимущества и недостатки PyTorch против TensorFlow

Ребята, прежде чем мы продолжим, я стараюсь делать образовательный контент в увлекательной форме, чтобы сделать его интересным, а не скучным. Взамен я прошу вас лайкнуть это видео и подписаться на мой канал, если вам нравится контент, который я создаю. Вот и все.

Хорошо, друзья, позвольте мне что-то прояснить. Я не считаю, что какой-то из этих инструментов проигрывает. Оба они потрясающие технологии для тех, кто хочет работать с машинным обучением.

Однако ни один из них не идеален. Давайте поговорим о преимуществах и ограничениях PyTorch и TensorFlow. PyTorch. Итак, что делает PyTorch великим?

Вот они. Простота. Во-первых, он довольно прост в использовании, потому что разработан иметь простые и последовательные интерфейсы.

Гибкость. PyTorch позволяет вам иметь массу контроля над тем, как ваша модель настраивается и обучается, и вам не нужно иметь дело с сложными низкоуровневыми вещами.

Естественная интеграция. Наконец, PyTorch прекрасно вписывается в общие инструменты Python, такие как NumPy, что позволяет им работать вместе без проблем.

Хорошо, а теперь давайте поговорим о его ограничениях. Ограниченные варианты визуализации. Когда речь идет о визуализации, у PyTorch нет лучших вариантов. Разработчикам может потребоваться использовать внешние инструменты, такие как TensorBoard, или полагаться на существующие инструменты визуализации данных Python. Ограниченное обслуживание моделей. Да, у PyTorch есть инструмент под названием TorchServ, который легко использовать, но он все еще не такой компактный, как эквивалент TensorFlow. PyTorch все еще догоняет, когда речь идет о обслуживании моделей. Это делает его не таким популярным для серьезной производственной работы.

Не такой всеобъемлющий. Наконец, когда вы создаете приложения, вам может потребоваться изменить свой код или модель PyTorch на другую платформу. Потому что PyTorch не является универсальным инструментом машинного обучения. Ладно, ребята, теперь давайте посмотрим на TensorFlow. TensorFlow.

И я начну с преимуществ. Поддержка различных платформ. Прежде всего, он естественным образом работает на различных платформах, таких как обычные компьютеры, ЦП, графические карты, это всеобъемлющий инструмент. Сегодня TensorFlow превратился в универсальный набор инструментов для машинного обучения. В нем есть инструменты для каждого этапа проекта машинного обучения, от настройки до развертывания и использования моделей. Он поддерживает несколько языков программирования. Вы можете использовать TensorFlow на нескольких различных языках программирования - Python, JavaScript, C++ и Java. Также есть неэффективные версии для Go и Swift. Ограничения TensorFlow.

Проблемы обратной совместимости. TensorFlow не облегчает вашу жизнь. Старые исследования в TensorFlow 1 не всегда сочетаются с новыми возможностями в TensorFlow 2. Производительность и проблемы использования. Когда речь идет о скорости вычислений, тесты показывают, что TensorFlow немного медленнее по сравнению с конкурентами.

Плюс, он не такой удобный в использовании, как некоторые другие фреймворки. Проблемы с обучающими циклами. Создание обучающих циклов в TensorFlow немного сложно. И, к сожалению, не так просто разобраться.

PyTorch против TensorFlow. Основные различия

Ладно, у обоих этих инструментов есть свои плюсы и минусы.

Но, ребята, как я уже сказал, на мой взгляд, ни один из них не плох. И когда речь идет о глубоком обучении, PyTorch и TensorFlow - лучшие выборы. В последние годы обе технологии стремительно развивались. Некоторое время назад TensorFlow считался более ориентированным на промышленность, а PyTorch - отличным инструментом для исследований.

Но, ребята, это уже не так. Так в чем же различия между этими инструментами? Давайте поговорим об этом более подробно. Производительность и масштабируемость. TensorFlow действительно выделяется, когда речь идет о производительности и обработке больших задач. Он отлично подходит для обучения в масштабе, что делает его лучшим выбором для реального использования. Встроенный инструмент TensorFlow, TensorBoard, отлично подходит для визуализации и устранения проблем. PyTorch становится лучше в этих отношениях.

Недавние обновления сделали его более масштабируемым, поддерживая распределенное обучение и позволяя обучать модели на нескольких GPU или машинах. Но для развертывания массивных моделей в реальных ситуациях TensorFlow все еще впереди. Доступность модели Как TensorFlow, так и PyTorch предоставляют доступ к множеству предварительно обученных моделей. У TensorFlow есть TensorFlow Hub. А у PyTorch есть PyTorch Hub. И эти ребята как золотые рудники готовых к использованию моделей. Независимо от того, занимаетесь ли вы интерфейсом, настройкой файлов или развертыванием.

И, ребята, позвольте мне быть ясным. В TensorFlow Hub около 1300 моделей. Поддерживающих компьютерное зрение, текст и аудио. В PyTorch Hub около 50 моделей. Что делает TensorFlow гораздо лучшим выбором для коллекций предварительно обученных моделей.

Гибкость. Если вы погружаетесь в продвинутые исследования или хотите больше свободы для творчества, PyTorch - это ваш выбор. Его динамический граф вычислений позволяет создавать более сложные и инновационные структуры моделей. Но PyTorch - лучший выбор для быстрого прототипирования и экспериментов. Да, TensorFlow пытается догнать в гибкости. Но PyTorch изначально разрабатывался с упрощением в первую очередь.

Вот почему у него небольшое преимущество. Развертывание для развертывания и обучения моделей TensorFlow побеждает с TensorFlow Serving, предлагая простое решение. Новые версии PyTorch предлагают улучшенное развертывание, но для веб-развертывания вам потребуются дополнительные инструменты, такие как Flask или Django. Кроме того, TensorFlow Serving предпочтительный выбор с точки зрения производительности. В целом, TensorFlow доминирует в крупных компаниях и производстве, известен своей надежностью. Однако PyTorch набирает популярность, обгоняя TensorFlow в поиске. Он становится предпочтительным в исследованиях и разработке благодаря удобному интерфейсу и гибкости, что подтверждается успешными моделями, такими как ChatGPT.

Если вы только начинаете путь в машинном обучении, полезно сначала освоить язык: Python: полный путеводитель от первой строчки до продвинутых тем. Также стоит изучить, какие языки программирования учить в 2025 году — это поможет понять, насколько Python (и фреймворки на его основе) востребованы на рынке.

Выводы

PyTorch против. Окончательные мысли, ребята, теперь, учитывая все, что вы только что узнали, давайте ответим на большой вопрос. Какой инструмент стоит выбрать для ваших проектов машинного обучения сегодня?

И честно говоря, ребята, у меня нет четкого ответа здесь. Потому что дебата PyTorch против TensorFlow не имеет явного победителя. И, на мой взгляд, это зависит от вашего конкретного случая использования. PyTorch удобен с динамическими графами вычислений. TensorFlow зрел с большим количеством библиотек, но может потребовать больше времени для изучения. Поэтому перед выбором фреймворка глубокого обучения учитывайте цели вашего проекта. Если вы хотите быстрый фреймворк обучения с меньшими усилиями, PyTorch подходит. Но если вам нужен готовый к производству инструмент для тяжелых вычислений, то TensorFlow, возможно, будет лучшим выбором. Ладно, друзья, это все, что я хотел сказать в своем сравнении PyTorch против TensorFlow.

Я оставил все полезные ссылки в описании ниже, чтобы вы могли улучшить свои навыки с помощью этих инструментов машинного обучения и глубокого обучения. Не стесняйтесь посмотреть. Также, если вам понравилось это видео, не забудьте поставить ему лайк. И если вы хотите больше подобных видео, не забудьте подписаться на канал. Спасибо за просмотр и до следующего раза!

От этого выбора может зависеть то, как быстро вы найдёте первую работу, в какой сфере и с какой зарплатой. В этой статье разберём плюсы и минусы самых популярных фреймворков, чтобы вам было проще определиться.

Чтотакое фреймворк и чем он отличается от библиотеки

Фреймворк — каркас программы, как готовое тесто для пиццы. Вам не нужно покупать яйца, муку и молоко, замешивать тесто, ждать несколько часов. Достаточно выбрать любимый соус и начинку — и отправить всё в духовку.

Это значит, что у фреймворка есть постоянная и переменная части — модули и элементы, которые можно добавлять по желанию для кастомизации программы.

Часто фреймворки путают с библиотеками.

Библиотека — коллекция функций, классов и методов, которые вы можете использовать в коде. Она не определяет структуру вашего приложения, а предоставляет инструменты для выполнения конкретных задач.

Работая с фреймворком, вы можете использовать много разных библиотек. Во фронтенде это jQuery, Lodash, Moment.js, D3.js и другие.

По сути популярный React — это тоже библиотека, а не фреймворк. Так как он даёт узкоспециализированный функционал для создания пользовательских интерфейсов веб-приложений и не задаёт их чёткую структуру. Но всё же мы будем рассматривать React вместе с другими фреймворками, как это чаще бывает на практике.

Популярные JS-фреймворки

Чтобы выбрать фреймворки для этой статьи, мы заглянули на HeadHunter и проанализировали, какие технологии наиболее востребованы у работодателей.

На первом месте с 3 371 результатом оказался React, на втором — Angular (1 361 вакансия), на третьем — Vue.js с 1 161 упоминанием. Поэтому о них сегодня и пойдёт речь.

React

React — фреймворк/библиотека JavaScript для разработки пользовательских интерфейсов. Это универсальное решение для создания небольших приложений.

Преимущества React:

• синтаксис JSX (JavaScript XML) делает код более читаемым и понятным
• виртуальный DOM повышает скорость отрисовки компонентов
• удобно создавать отдельные компоненты и переиспользовать их в других частях программы
• используется направленный поток данных (дочерние элементы не влияют на родительские), за счёт чего в коде реже возникают баги

Недостатки React:

• может показаться сложным для новичков, которые не знакомы с синтаксисом JSX
• для создания сложных приложений необходимо использовать дополнительные библиотеки, что может усложнить поддержку проекта
• для оптимальной работы с фреймворком надо знать такие инструменты, как Babel, Webpack, Redux

Как выглядит программа Hello, world! на React:

Angular

Angular — фреймворк от компании Google для работы с интерфейсами.

Его первая версия AngularJS увидела свет в 2010 году, но после выхода React стали хорошо видны её недостатки, поэтому в компании решили переработать фреймворк. Так, в 2016 году появился Angular, который сейчас применяют во многих крупных компаниях для создания сложных корпоративных приложений.

Преимущества Angular:

• использует TypeScript, который добавляет статическую типизацию к JavaScript, что упрощает обнаружение ошибок
• предоставляет всю необходимую инфраструктуру для разработки веб-приложений, включая маршрутизацию, управление состоянием, HTTP-запросы, валидацию форм и другие инструменты
• включает в себя инструменты для оптимизации производительности, что улучшает скорость отрисовки интерфейса
• удобный синтаксис для тех, кто переходит из бэкенда во фронтенд или фулстек-разработку

Недостатки Angular:

• сложность освоения TypeScript для новичков в программировании, из-за этого высокий порог входа во фреймворк
• не подходит для небольших приложений, так как весит 550-600 Кб
• предлагает только один способ построения архитектуры ПО

Как выглядит программа Hello, world! на Angular:

Vue.js

Vue.js — фреймворк для создания интерактивных пользовательских интерфейсов от разработчика Эвана Ю, более простая и лёгкая альтернатива другим фреймворкам и библиотекам.

Преимущества Vue.js:

• обладает интуитивно понятным синтаксисом, что делает его лёгким в освоении даже для новичков в веб-разработке
• компонентная архитектура способствует переиспользованию кода, модульности и упрощает разработку
• небольшой размер библиотеки (для архивированной версии — до 20 Кб), что обеспечивает быструю загрузку и меньшие требования к пропускной способности сети
• подробная и понятная документация, в том числе на русском языке

Недостатки Vue.js:

• редко используется крупными компаниями, что ограничивает возможности для поиска работы
• имеет ограниченную экосистему, что может усложнить поиск решений для специфических задач

Как выглядит программа Hello, world! на Vue.js:

Какой фреймворк подойдёт вам

Советуем найти бесплатные видео в интернете, которые рассказывают о синтаксисе и других особенностях фреймворков, и попробовать поработать с ними на практике.

Так вы сможете понять, что же вам ближе: React, Angular или Vue.js. Но не спешите и помните про базу — прежде чем переходить на фреймворки, хорошо разберитесь в работе JavaScript. Эти знания и умение гуглить правильные вопросы помогут разобраться в любой технологии.

Вот, о чём шла речь в видео:

1. JavaScript фреймворки – это предварительно написанные коллекции библиотек, инструментов и соглашений, облегчающие разработку веб-приложений.
2. Фреймворки предоставляют готовые функциональные возможности, экономя время разработчиков и позволяя сосредоточиться на создании специфической логики приложения.
3. Vue – универсальный фреймворк с MVVM архитектурой, подходит для постепенного внедрения в проекты и создания интерактивных пользовательских интерфейсов.
4. Angular, разработанный Google на TypeScript, предназначен для создания одностраничных приложений с мощной двусторонней привязкой данных и внедрением зависимостей.
5. React Native позволяет разрабатывать нативные мобильные приложения для iOS и Android, используя одну кодовую базу и синтаксис React.
6. Next.js специализируется на SSR и SSG для React приложений, улучшая время загрузки страниц и SEO.
7. Nuxt.js упрощает разработку универсальных Vue приложений с помощью SSR и SSG, обеспечивая быструю загрузку и SEO-оптимизацию.
8. Svelte компилирует компоненты в оптимизированный JavaScript код, что обеспечивает высокую производительность приложений.
9. Gatsby.js основан на React, GraphQL и Webpack, идеален для создания статических сайтов с оптимизацией для скорости и SEO.
10. Ember используется для создания масштабируемых веб-приложений с акцентом на соглашения и лучшие практики.
11. Fastify – это фреймворк с низким уровнем накладных расходов для создания эффективных веб-приложений и API.
12. Express упрощает обработку HTTP-запросов и управление серверной функциональностью, подходит для малых и крупных веб-приложений.
13. Выбор JavaScript фреймворка зависит от целей и масштаба проекта, на который вы хотите сосредоточиться.

React — самый популярный JS-фреймворк в мире: используется в Facebook, Instagram и тысячах других проектов; отличный выбор для первого изучения.

Vue.js — лучший вариант для новичков: низкий порог вхождения, отличная документация на русском, MVVM-архитектура и плавная интеграция в существующие проекты.

Next.js и Nuxt.js лидируют в SSR/SSG: если нужен SEO-оптимизированный сайт на React или Vue — это стандарт индустрии в 2024 году.

Angular подходит для крупных корпоративных проектов: крутой старт, но мощная архитектура MVC и поддержка Google делают его незаменимым в enterprise-разработке.

Выбор фреймворка зависит от цели: для фронтенда — React/Vue, для мобильных приложений — React Native, для быстрых API — Express или Fastify.

Ниже представлен транскрибированный перевод на русский язык.

Привет! Сегодня мы собираемся рассмотреть 10 лучших фреймворков JavaScript.

Продолжайте смотреть, если вы все еще размышляете, какой из них вы хотите освоить. Фреймворк JavaScript – это заранее написанная коллекция библиотек, инструментов и соглашений, которая предоставляет организованный подход к созданию веб-приложений. Он предлагает основу и руководство разработчикам для оптимизации любого процесса разработки программного обеспечения и эффективного выполнения общих задач.

Что такое фреймворки

Фреймворк обычно включает в себя сложные функции, включая управление данными, компоненты пользовательского интерфейса и маршрутизацию.

Хотя фреймворки JavaScript могут использоваться для создания бэкэнд-архитектуры, они в основном полезны для разработки веб-интерфейса. Фреймворки JavaScript предлагают предварительно протестированные инструменты для создания масштабируемых и интерактивных веб-приложений.

Поэтому разработчики могут экономить время и усилия, используя заранее созданные функции и сосредотачиваясь на создании конкретной логики приложения. Вот почему многие современные компании используют фреймворки JavaScript для дополнительного преимущества в карьере разработчика интерфейса.

Теперь, когда вы знаете, в чем суть фреймворка JavaScript, помните сосредоточиться на одном или двух из них, а не изучать сразу несколько фреймворков.

Имея это в виду, давайте рассмотрим топ-10 фреймворков JavaScript, чтобы помочь вам выбрать, который вы хотите освоить.

Vue.js

Vue – это фреймворк JavaScript, используемый для создания дизайнов пользовательского интерфейса веб-приложений. Он следует архитектурному шаблону MVVM и подчеркивает разработку на основе компонентов. Одним из сильных моментов Vue является его универсальность.

Вы можете использовать его для создания одностраничных приложений или интегрировать его в существующие проекты. Используя Vue, разработчики могут постепенно вводить компоненты без полной перезаписи данных.

Более того, он также отлично подходит для создания интерактивного пользовательского интерфейса благодаря своей реактивной привязке данных и способным директивам.

Этот фреймворк JavaScript доступен как для начинающих, так и для опытных разработчиков, поскольку каждый может использовать его понятную документацию и активную поддержку сообщества. Vue обеспечивает отличную производительность благодаря своей эффективной системе рендеринга, которая использует виртуальный DOM и интеллектуальное отслеживание обновлений.

Однако Vue все еще не так широко принят, как другие фреймворки, поэтому может быть сложно найти конкретные ресурсы или экспертов.

Кроме того, хотя Vue предоставляет обширную экосистему, у него могут быть другие инструменты и готовые решения, чем у других фреймворков.

AngularJS

Angular – это открытый фреймворк JavaScript, написанный на TypeScript, разработанный Google. Его основная цель – создание одностраничных приложений с использованием архитектурного шаблона MVC.

Как фреймворк, Angular предоставляет стандартную структуру для работы разработчиков. Он предлагает мощную двустороннюю привязку данных, автоматически синхронизируя данные между моделью и представлением, так что разработчикам не нужно выполнять обновления вручную.

Angular также предоставляет внедрение зависимостей, позволяющее создавать …и многоразовые компоненты кода. Кроме того, он подходит для разработки сложных приложений, предоставляя маршрутизацию, валидацию форм и поддержку анимации.

Его большая экосистема библиотек и модулей также дополнительно расширяет его возможности. Angular предлагает четкую структуру, способствующую поддержке и тестированию кода. Что касается рабочего процесса, Angular предлагает функции, такие как декларативные шаблоны и встроенную поддержку модульного тестирования, способствуя эффективной разработке приложений.

Поскольку Angular работает под эгидой Google, у него сильная поддержка сообщества и обширная документация. Однако Angular имеет более крутой кривой обучения, чем другие фреймворки в этом списке, особенно для начинающих. Кроме того, приложения Angular могут быть более ресурсоемкими из-за их сложной архитектуры и двусторонней привязки данных.

Это может повлиять на производительность в определенных случаях. Принятие новых технологий и практик также может быть медленнее для Angular, чем для более новых фреймворков.

React Native

React Native – это фреймворк для создания нативных мобильных приложений для платформ iOS и Android с использованием единого кодовой базы. Он использует популярную библиотеку React и позволяет разработчикам писать мобильные приложения, используя синтаксис JavaScript и React. Популярные приложения, созданные с использованием React Native, включают Facebook, Discord, Skype и мобильный WordPress. Используя подход “узнай один раз – напиши везде”, разработчики могут повторно использовать значительную часть своей кодовой базы на нескольких платформах.

Таким образом, экономя время и усилия разработки. Более того, разработчики могут ускорить итерацию и тестирование, используя функцию горячей перезагрузки React Native, так как она позволяет пользователям мгновенно получать обновления во время процесса разработки приложения. React Native предоставляет набор предварительно созданных компонентов пользовательского интерфейса, которые соответствуют нативным мобильным компонентам, обеспечивая последовательный пользовательский опыт. Кроме того, он использует нативные компоненты рендеринга, которые поддерживают эффективный рендеринг и плавные анимации. Поскольку Facebook поддерживает этот фреймворк, React Native получает преимущества от обширного сообщества и экосистемы, не говоря уже о широком спектре сторонних библиотек, плагинов и инструментов, улучшающих производительность и расширяющих возможности мобильных приложений. Однако перед использованием React Native есть несколько вещей, которые следует учесть.

Во-первых, в отношении пользовательского интерфейса вам может потребоваться написать платформоспецифический код или использовать пользовательские нативные модули. Во-вторых, определенные сложные или ресурсоемкие функции могут работать лучше с нативной разработкой. В-третьих, экосистема React Native все еще быстро развивается.

Для того чтобы быть в курсе, может потребоваться отслеживать все изменения и обновления.

Next.js

Далее идет еще один фреймворк на основе React, разработанный специально для SSR и SSG в приложениях React. Функция SSR улучшает время загрузки начальной страницы и повышает SEO. С другой стороны, SSG позволяет разработчикам предварительно отрисовывать страницы во время сборки и обслуживать их в виде статических файлов. Именно поэтому Next чрезвычайно полезен для создания веб-приложений, требующих эффективной отрисовки и оптимизированной производительности архитектуры фронтенда и бэкенда.

Этот фреймворк предлагает маршрутизацию на основе файлов, где каждый файл в каталоге страниц становится уникальным маршрутом. Кроме того, в нем встроена поддержка API-маршрутов, что позволяет разработчикам легко создавать бэкенд-функционал. Со стороны фронтенда Next предоставляет автоматическое разделение кода, позволяя загружать только необходимый код, что обеспечивает более быструю отрисовку страниц. Также в нем есть решения для CSS и JS, упрощающие процесс стилизации компонентов.

Как и в случае с освоением React Native, лучше сначала изучить концепции и синтаксис React, чтобы адаптироваться к среде Next. Кроме того, Next может быть не самым подходящим вариантом для небольших проектов, которым не требуется серверная отрисовка или продвинутые функции. Начальная настройка и процесс конфигурации Next могут быть более полезными по сравнению с более простыми библиотеками или фреймворками.

Nuxt.js

Nuxt – это фреймворк на основе представлений, который фокусируется на SSR и SSG для упрощения разработки универсальных приложений представлений. Хотя он включает в себя бэкенд-функционал, Nuxt в первую очередь является фронтенд-фреймворком, который отлично подходит для создания динамичных и интерактивных веб-приложений.

Таким образом, он не является автономным бэкенд-фреймворком. Сказанное это, использование SSR и SSG делает Nuxt полезным для создания быстро загружаемых и SEO-дружественных веб-приложений. Кроме того, он позволяет генерировать статические HTML-файлы во время сборки для улучшения производительности и масштабируемости. Одно из заметных преимуществ Nuxt – это подход “конвенция вместо конфигурации”.

Nuxt предлагает встроенную систему маршрутизации, которая упрощает создание сложных навигационных структур. Он также предоставляет функциональность промежуточного программного обеспечения для обработки аутентификации, извлечения данных и других общих задач для упрощения разработки приложений.

Еще одним сильным моментом является обширная экосистема плагинов, которая предоставляет широкий спектр плагинов и модулей для упрощения задач, включая обработку API, управление состоянием и реализацию серверного функционала. Предоставляя множество готовых функций, настройка за пределами конвенций Nuxt может потребовать более глубокого понимания фреймворка. Начальная настройка и процесс конфигурации могут быть более сложными, чем у других фреймворков.

Svelte

Svelte – это современный фреймворк JavaScript с уникальным подходом к созданию пользовательских интерфейсов.

Многие крупные компании, включая 1Password, Avast и The New York Times, используют этот фреймворк для создания веб-приложений. В отличие от традиционных фреймворков, работающих в браузере, Svelte компилирует компоненты в высокооптимизированный, легкий код JavaScript, что приводит к быстрой и эффективной работе приложений.

Это объясняет, почему Svelte полезен для создания высокооптимизированных веб-приложений с минимальными накладными расходами. Кроме того, компиляция компонентов во время сборки в Svelte устраняет необходимость во времени выполнения фреймворка в конечном пакете.

Этот подход приводит к более быстрым временам начальной загрузки и лучшей производительности во время выполнения по сравнению с другими фреймворками.

Более того, реактивная система Svelte обеспечивает эффективное обновление DOM, обновляя только те части интерфейса, которые изменились, что приводит к более плавным и отзывчивым пользовательским впечатлениям.

Svelte – это фреймворк JavaScript, удобный для начинающих, с простым синтаксисом, который легко понять и использовать. С его помощью разработчики могут писать код непосредственно в синтаксисе, похожем на HTML, поэтому более интуитивно выражать пользовательский интерфейс и поведение компонентов в одном файле.

Кроме того, Svelte способствует использованию компонентов и модульности, позволяя разработчикам легко создавать сложные приложения. Svelte также предлагает встроенное управление состоянием и возможности анимации, если нет большой потребности во внешних библиотеках. Svelte относительно нов по сравнению с другими фреймворками, и его экосистема может быть менее обширной.

Gatsby

Более того, поиск конкретных решений или ресурсов требует дополнительной работы по сравнению с более установленными фреймворками. Gatsby, также известный как Gatsby.js, является фреймворком с открытым исходным кодом на основе React, GraphQL и Webpack.

Другими словами, Gatsby позволяет разработчикам создавать статический веб-сайт с использованием React, извлекая данные из базы данных системы управления контентом или файлов разметки. Таким образом, проще создавать динамические и данных-ориентированные веб-сайты.

Gatsby полезен для создания статических сайтов, которые очень оптимизированы для скорости и SEO. Он использует концепцию предварительной отрисовки, где HTML и CSS для каждой страницы генерируются во время сборки, что приводит к быстрым временам загрузки и улучшенной видимости в поисковых системах.

Кроме того, Gatsby также предлагает функции, такие как разделение кода, ленивая загрузка и оптимизация изображений для дальнейшего улучшения производительности. Экосистема плагинов Gatsby предоставляет несколько интеграций для популярных платформ CMS и сервисов, позволяя разработчикам использовать существующие инструменты и рабочие процессы.

Однако важно отметить, что Gatsby может быть не самым подходящим вариантом для каждого типа проекта. Его фокус на генерацию статических сайтов может быть менее подходящим для высокодинамичных веб-приложений, требующих обновлений в реальном времени или обширной обработки на стороне сервера. Процесс сборки Gatsby также может потреблять больше ресурсов.

Требуется более мощное оборудование для оптимальной производительности.

Ember.js

Ember – это фреймворк JavaScript для создания крупномасштабных веб-приложений. Netflix, Apple, Microsoft и LinkedIn – примеры компаний, применяющих этот фреймворк в своих веб-приложениях. Он следует принципу соглашения над конфигурацией, предоставляя разработчикам структурированную среду для создания масштабируемых приложений.

Одним из сильных моментов Ember является его сильное внимание к соглашениям и лучшим практикам. Фреймворк применяет набор соглашений и шаблонов, чтобы помочь разработчикам поддерживать последовательность в проектах.

Это полезно для улучшения сотрудничества среди участников команды и упрощения процесса включения новых разработчиков. Ember также предоставляет широкий спектр встроенных функций, таких как привязка данных, маршрутизация и шаблонизация, что дополнительно упрощает процесс разработки.

Еще одним заметным преимуществом Ember является его фокус на стабильность и долгосрочную поддержку. Команда Ember отдает приоритет обратной совместимости, обеспечивая простую реализацию обновлений для приложений, созданных на предыдущих версиях этого фреймворка.

Следовательно, он ценен для крупных предприятий, требующих долгосрочной поддержки и обслуживания. Ember также предлагает мощный интерфейс командной строки, который автоматизирует многие задачи разработки, такие как настройка проекта, генерация кода и тестирование. Сказав это, одним из потенциальных недостатков Ember является его крутой кривой обучения.

Из-за его убежденной природы и обширных соглашений начинающим может быть сложнее приспособиться к их окружению. Кроме того, хотя сообщество Ember неактивно и поддерживающее, оно меньше, чем у более популярных фреймворков, таких как React Native или Angular. Разработчики, предпочитающие более гибкий или легкий подход, могут считать Ember менее подходящим для своих потребностей.

Fastify

Fastify – это фреймворк JavaScript с низкими накладными расходами для создания эффективных веб-приложений и API. Он разработан для обеспечения производительности и масштабируемости за счет использования возможностей JavaScript и принятия асинхронной, неблокирующей архитектуры. Fastify полезен для проектов, требующих высокопроизводительных веб-серверов, микросервисов или API.

Он отлично справляется с обработкой большого количества запросов с минимальными накладными расходами, что делает его отличным выбором для приложений, придающих приоритет скорости. Благодаря модульной архитектуре Fastify, плагины могут быть выборочно добавлены для расширения функциональности без ущерба производительности. Кроме того, обширная экосистема плагинов Fastify способствует повторному использованию кода и упрощает разработку.

Другие продвинутые функции включают async-await, потоки и встроенные механизмы кэширования, которые также помогают минимизировать время ответа и уменьшить потребление памяти. Fastify предоставляет мощные возможности валидации запросов и сериализации для обеспечения целостности данных и безопасности.

С помощью Fastify разработчики могут использовать различные плагины, предоставленные сообществом, для добавления функциональностей, включая аутентификацию, ведение журнала и интеграцию с базой данных. Имейте в виду, что Fastify может не быть лучшим выбором для небольших проектов, не требующих оптимизации производительности. Его фокус на производительность может ввести дополнительную сложность по сравнению с более легкими фреймворками.

Кроме того, хотя Fastify приобрел популярность, его экосистема может быть не такой обширной, как у некоторых других фреймворков, требуя дополнительных усилий для поиска конкретных решений или ресурсов.

Express.js

Express – универсальный фреймворк JavaScript для создания веб-приложений и API. Он предоставляет функции и промежуточное программное обеспечение, которое упрощает обработку HTTP-запросов, маршрутизацию и управление серверной функциональностью. Инструменты Express полезны для создания веб-приложений малого и крупного масштаба.

Он предлагает прямой, фиксированный подход, позволяя разработчикам структурировать свой код и определять маршруты в соответствии с требованиями своего проекта. Express предоставляет широкий спектр вариантов промежуточного программного обеспечения для обработки запросов, разбора данных, аутентификации и обработки ошибок, позволяя разработчикам добавлять функциональность по мере необходимости.

Кроме того, у него есть обширная коллекция промежуточного программного обеспечения, плагинов и расширений, чтобы помочь разработчикам улучшить возможности своих приложений. Этот фреймворк JavaScript гордится своей простотой и простотой использования. Его минималистический дизайн и интуитивный API делают его удобным для начинающих и быстрым в освоении.

Кроме того, Express предлагает гибкость в выборе технологий, поскольку он хорошо интегрируется с различными базами данных, системами шаблонизации и фронтенд-фреймворками.

Сказав это, Express может потребовать дополнительных усилий и принятия решений для структурирования и организации кода в крупных проектах. Некоторые функции, обычно встречающиеся в других фреймворках, не встроены в фреймворк Express, требуя от разработчиков полагаться на дополнительные библиотеки или настраивать решения.

Заключение

Поскольку существует много многообещающих фреймворков JavaScript для освоения, установление правильных целей и масштаба проекта, на который вы хотите сосредоточиться, может помочь вам отсортировать некоторые из этих вариантов. Если вам понравилось это видео и оно оказалось полезным, поставьте ему лайк и поделитесь им с друзьями. А еще не забудьте подписаться на YouTube-канал Hostinger Academy, чтобы получать больше подобных видео. Спасибо за просмотр и удачи в вашем онлайн-путешествии.

Если вы только выбираете, с чего начать путь в разработке, читайте наши материалы: какие языки программирования учить в 2025 году и 5 самых востребованных языков программирования в 2025 году.

Вот, о чём идёт речь в видео:

1. Последняя версия Angular включает улучшения такие как управление потоком, отложенные представления и более быструю сборку.
2. На мероприятии для разработчиков Angular V17 был представлен новый сайт Angular.dev, который станет будущим домом для разработчиков Angular.
3. Angular.dev предлагает обновленную документацию, новую систему учебных пособий в браузере и площадку для кодирования, где можно изучать Angular, работая в браузере.
4. Angular обновил свою визуальную идентичность и логотип, отражающий текущие усилия и приоритеты в будущем.
5. Гидратация (hydration) в Angular, представленная в предварительной версии в v16, теперь стабильна и готова к использованию в производственных приложениях.
6. Введены важные обновления для гибридного рендеринга в Angular, позволяющие рендерить приложения на стороне клиента, сервера или предварительно рендерить их (SSG).
7. С версии v17 можно создавать приложения с гибридным рендерингом с помощью команды ng new и нового флага SSR.
8. Поддержка ESM для серверных сборок, ускорение сборок для серверных пакетов и улучшения для сервера разработки SSR.
9. Новый синтаксис управления потоком в шаблонах находится в предварительном просмотре и позволяет использовать встроенные конструкции if, for и switch.
10. Использование нового синтаксиса for может значительно увеличить производительность, в некоторых случаях до 90% быстрее.
11. Выпущены новые миграции для облегчения перехода на новый синтаксис.
12. Приложения, созданные с помощью CLI, по умолчанию будут независимыми, без необходимости использования флага.
13. ESBuild и Vite теперь включены по умолчанию, что обеспечивает улучшение производительности ‘из коробки’ для новых приложений.
14. Некоторые партнеры сообщили об улучшении времени сборки на 67%.
15. Сочетание SSR и SSG может привести к улучшению скорости сборки ngBuild на 87% и ускорению цикла редактирования-обновления для ngServe на 80%.
16. DevTools получили долгожданную функцию – возможность проверки графа внедрения зависимостей.
17. Теперь можно выполнять пользовательские преобразования ввода, а также доступны некоторые встроенные преобразования, такие как Boolean attribute и number attributes.
18. Добавлены новые свойства styles и styleUrls для принятия строк, так как разработчики редко используют более одного стилевого файла.
19. Для получения дополнительной информации можно обратиться к заметкам о выпуске и блогу Angular на blog.angular.io.
20. Команда Angular призывает разработчиков оценить новые функции и поделиться своими отзывами.

Ниже представлен транскрибированный перевод ролика на русский язык.

Подождите, что? Управление потоком, виды, отложенные представления, быстрые сборки. Я не могу поверить, я не могу поверить, что вы получаете все это и еще намного больше в последней версии Angular.

Новый сайт для Angular

Давайте обсудим это. Во время мероприятия для разработчиков Angular V17, команда Angular представила Angular.dev, новый будущий дом для разработчиков Angular. Новый сайт предлагает обновленную документацию, новую систему интерактивных учебных пособий и даже общую площадку для кодирования, где вы можете попробовать Angular прямо в браузере во время обучения.

Теперь, что если я вам скажу, что есть еще? Надеюсь, вы мне поверите, потому что, ну, Angular стремительно развивался за последние несколько лет, и мы решили отразить это современным визуальным стилем и логотипом. Теперь этот новый четкий логотип отражает наши текущие усилия и будущие приоритеты. Чтобы узнать больше, зайдите на angular.dev, но, слушайте, не трогайте стены.

Мы только что закончили покраску места. В версии 16 мы начали улучшать серверную часть Angular, представив гидратацию в режиме предварительной версии для разработчиков. С тех пор мы приложили все усилия, чтобы еще больше улучшить этот опыт. И сегодня я очень рад объявить, что гидратация в Angular теперь стабильна и готова к использованию ваших приложениях в производстве.

Гибридный рендеринг Angular 17

Но подождите, вот что действительно потрясающе. Мы также внесли важные обновления в опыт гибридного рендеринга Angular. Гибридный рендеринг позволяет вам рендерить ваши приложения на стороне клиента, рендерить их на сервере или предварительно рендерить. Это также известно как SSG. Начиная с v17, вы можете создавать приложения с гибридным рендерингом с самого начала, используя ng new и новый флаг SSR.

Но мы не остановились на этом. Если вы забыли использовать флаг, не волнуйтесь, мы также обновили CLI, чтобы подсказать вам. Также добавлена поддержка ESM для серверных сборок. Сборки становятся быстрее для серверных пакетов, и мы не можем забыть, что мы даже проявили немного любви к dev-серверу для SSR.

Изменения в синтаксисе

Готовьтесь взять управление потоком в ваших шаблонах на новый уровень с новым синтаксисом управления потоком, который сейчас находится в режиме предварительной версии. Разработчики Angular теперь могут использовать встроенный синтаксис для if, for и switch. Хотя ничего не нужно импортировать, просто готово к использованию в ваших шаблонах. Теперь, что здесь еще потрясающе, это то, что использование нового синтаксиса for может значительно увеличить производительность, серьезно, до 90% быстрее в определенных случаях. Мы также выпустили новые миграции, чтобы облегчить ваш путь к использованию этого нового синтаксиса.

Запустите ng generate в angular forward slash core colon control dash flow. Подождите, что? Есть еще. Есть еще функции, о которых нужно рассказать.

К моменту окончания этого видео, оно будет длиться целый час, но это нормально, друзья. Давайте проведем молниеносный обзор некоторых других обновлений, доступных в этом выпуске. Новые приложения, созданные с помощью CLI, будут автономными по умолчанию.

Прочие улучшения

Не требуется флаг. ESBuild и Vite теперь включены по умолчанию, так что вы сразу получаете преимущества производительности для ваших новых приложений. Некоторые корпоративные партнеры сообщили о 67% улучшении времени сборки. Это действительно потрясающе, верно?

Я тоже так думаю. Но подождите, в сочетании с SSR и SSG, вы можете получить до 87% улучшения скорости в ngBuild и 80% более быстрый цикл редактирования и обновления для ngServe.

DevTools получают очень запрашиваемую функцию. Теперь вы можете проверить граф внедрения зависимостей с последними обновлениями, что делает отладку намного лучше.

Теперь вы можете выполнять пользовательские преобразования ввода, и мы даже предоставляем вам несколько встроенных, таких как логический атрибут и числовые атрибуты, экономя ваше драгоценное время, не приходится реализовывать их самостоятельно.

Мы добавили новое свойство styles и style URL для принятия строк, потому что, ну, разработчики редко используют более одной таблицы стилей. Но мы сохраняем оба формата на всякий случай, если вам понадобится.

Вот, о чём идёт речь в видео:

1. Даниэль обсуждает выбор между фреймворками Angular и Vue для разработки пользовательских интерфейсов.
2. Angular, созданный Google в 2010 году, предпочтителен для корпоративных проектов, имеет встроенные инструменты и библиотеки, а также поддерживает динамическую и двустороннюю привязку данных.
3. Angular использует TypeScript, обеспечивает высокую производительность благодаря иерархической инъекции зависимостей и другим функциям, поддерживается Google и легко интегрируется с сторонними приложениями.
4. Vue, созданный на основе вдохновения от Angular, отличается простотой и элегантностью, предлагает гибкость и прогрессивное развитие, позволяя легко добавлять пользовательские модули и компоненты.
5. Vue обеспечивает гибкость интеграции, простоту использования и функциональное расширение с помощью мощных API.
6. Angular и Vue имеют схожие черты: компонентно-ориентированную архитектуру, реактивную привязку данных и декларативный стиль программирования, а также большие сообщества разработчиков.
7. Основные различия между Angular и Vue включают архитектуру (Angular – MVVM, Vue – только ViewModel), реактивность, обработку ошибок, встроенные функции и производительность.
8. Выбор между Angular и Vue зависит от конкретных потребностей проекта и целей разработки.
9. Vue лучше подходит для динамических приложений, проектов, ориентированных на UI/UX, портфолио и одностраничных приложений.
10. Angular лучше подходит для кроссплатформенной и гибридной веб-разработки, крупных проектов и предприятий, требующих серверной отрисовки.
11. Angular и Vue обеспечивают высокооплачиваемые рабочие места, с зарплатами до $125,000 и $156,000 в год соответственно, а также возможности для фриланса.

Ниже представлен транскрибированный перевод видео на русский язык.

Вы наверняка слышали о Angular и Vue. Это два суперпопулярных фреймворка, которые разработчики используют для создания полноценных пользовательских интерфейсов.

Но вам, как разработчику, может прийтись принять непростое решение. Какую из этих двух технологий использовать в конкретном проекте? Меня зовут Даниэль, и сегодня мы поговорим о противостоянии Angular и Vue. Мы изучим их плюсы и минусы, сходства и различия. Мы постараемся понять, какой из этих фреймворков лучше подходит для различных типов проектов.

Преимущества Angular

Итак, приступим. Vue против Angular, но для чего они хороши? Ребята, прежде чем мы начнем сравнивать эти два фреймворка, давайте обсудим, для чего они были созданы. Как вы знаете, каждая технология создается с определенной целью.

И когда вы понимаете, какая эта цель, легче принимать правильное решение. Angular, Angular, созданный Google в 2010 году. Это лучший выбор для корпоративных проектов благодаря своим обширным функциям и высокой производительности. В отличие от других фреймворков, Angular не замедляет приложения. Он предлагает встроенные инструменты и библиотеки. Его код может быть использован на различных платформах, что делает разработку гибкой.

Плюс, у него есть динамическое связывание пользовательского интерфейса и двустороннее связывание данных, важные элементы его дизайна. И ребята, у Angular есть множество преимуществ, которые делают его таким популярным среди разработчиков. Основанный на TypeScript. Прежде всего, ребята, это TypeScript, язык программирования, созданный Microsoft, который является бесплатным и с открытым исходным кодом. Он добавляет статическую типизацию с возможностью использования типовых аннотаций к JavaScript.

TypeScript, надмножество JavaScript, улучшает качество кода с помощью надежной навигации, рефакторинга и функций автодополнения, что уменьшает ошибки в масштабных приложениях. Поддерживается Google. Еще одно преимущество заключается в том, что фреймворк поддерживается Google. Это включает в себя подробную документацию и возможности для будущего расширения фреймворка. Следующее – высокая производительность. Благодаря иерархической инъекции зависимостей, IV-рендерингу, AOT-компилятору, дифференциальной загрузке и поддержке Angular Universal, производительность фреймворка выдающаяся.

Обновленное руководство. Angular CLI предлагает своевременные рекомендации по зависимостям, загрузчикам и плагинам. Благодаря этому разработчики остаются в курсе последних рекомендаций. Бесшовные интеграции. Angular позволяет легко интегрировать сторонние приложения. Это дает разработчикам гибкость и множество инструментов для упрощенной разработки. Наконец, возможность настройки. Разработчики могут интегрировать элементы и модули из других фреймворков, адаптируя их под свои потребности. Дело в том, что элементы HTML Angular могут быть легко повторно использованы и управляемы путем обертывания их в качестве элементов DOM.

Преимущества Vue

Итак, как вы видите, ребята, есть много преимуществ у Angular. Но теперь давайте посмотрим на Vue. Vue, также называемый Vue.js, это все о чистом и элегантном дизайне. Представьте себе фреймворк, который объединяет мощные веб-инструменты с простотой. Вот что такое Vue.

Теперь вот интересный факт. Создатель Vue был вдохновлен Angular. Он взял это вдохновение и создал Vue, фреймворк, который позволяет легко создавать современные веб-проекты. Одной из выдающихся особенностей Vue является его прогрессивный характер. Он динамичен, что означает, что вы можете настраивать код вашего приложения, не нарушая основной функциональности. Плюс Vue предлагает невероятную гибкость. Вы можете легко добавлять пользовательские модули и визуальные компоненты, настраивая ваши веб-приложения до совершенства.

Другими словами, ребята, есть много преимуществ, которыми можно наслаждаться. Во-первых, Vue – это все о гибкости. Он позволяет вам плавно интегрировать его в ваш существующий код без нарушения вашего рабочего процесса.

Традиционный подход. Еще одна крутая часть заключается в том, что Vue придерживается традиционного подхода. Он не усложняет вещи ненужным шаблонным кодом.

Вместо этого он оптимизирует процесс, делая разработку приложений быстрее и более простой. И, наконец, функциональное расширение. Vue предлагает функциональное расширение, предоставляя набор мощных API.

Эти функциональные возможности позволяют вам создавать гибкую и обширную логику компонентов. Так что, ребята, судя по всему, Vue не уступает Angular.

Сходства между Angular и Vue

Ребята, прежде чем я продолжу, я стараюсь делать образовательный контент в увлекательной форме, делать его интересным вместо скучным.

И взамен я прошу просто лайкнуть это видео и подписаться на мой канал, если вам нравится контент, который я делаю. Вот и все. Люди, помните, что создатель Vue использовал Angular в качестве своего вдохновения. Это означает, что у этих двух фреймворков JavaScript много общего.

Итак, давайте поговорим о самых больших сходствах между ними. Архитектура на основе компонентов.

И Angular, и Vue работают как строительные блоки. Они разбивают пользовательские интерфейсы на более мелкие части, называемые компонентами. Эти компоненты похожи на логические кирпичи, которые можно создавать индивидуально. Реактивное связывание данных привязывает ваши данные непосредственно к тому, что видят пользователи. Поэтому, когда ваши данные меняются, ваш дисплей автоматически обновляется, без дополнительной работы. И Vue, и Angular делают это в реальном времени. Декларативное программирование. Vue и Angular могут выглядеть по-разному, но они оба имеют замечательную особенность – декларативный стиль программирования. Вместо перечисления пошаговых инструкций, вы просто описываете, что хотите достичь. Сообщество. У Angular и Vue есть большие сообщества разработчиков, где люди предлагают улучшения и поддерживают фреймворки. Они формируют функции, исправляют проблемы и часто помогают другим разработчикам.

Различия между Angular и Vue

Хорошо, друзья. Vue.js и Angular – это оба инструмента для создания фронтенда приложений с использованием JavaScript. Однако во многих аспектах они отличаются. Эти области, например, включают основную архитектуру, производительность, реактивность и другие.

Но давайте поговорим об этом более подробно.

Архитектура. Angular похож на полноценного архитектора, модель MVVM. Отлично подходит для создания детальных и сложных приложений. Кроме того, он поддерживает все виды серверных языков. Это делает Angular универсальным. Vue похож на декоратор фронтенда, только модель Vue.

Он отлично улучшает внешний вид, но не является универсальным инструментом для всего процесса создания. Проще говоря, Angular – это все в одном. Vue – только для фронтенда. Реактивность. Angular полностью основан на JavaScript. Он отлично подходит для приложений в реальном времени. Vue также использует HTML и CSS и идеально подходит для создания одностраничных приложений.

Он автоматически отображает любые обновления. Обработка ошибок. Angular обрабатывает ошибки во время компиляции. Vue заботится о них на лету во время выполнения. Функции. Angular поставляется с встроенными функциями, такими как маршрутизация, формы и внедрение зависимостей.

Он идеально подходит для крупных проектов. Vue более легковесен и отлично подходит для одностраничных проектов. Производительность. Когда речь идет о скорости, Vue намного быстрее.

Почему? Дело в том, что Vue остается легким с акцентом на слое Vue. Vue также получает ускорение от виртуального DOM, обеспечивая дополнительную скорость на различных платформах. Angular с его многочисленными встроенными функциями немного тяжелее и требует больше времени на выполнение задач.

Хорошо, ребята, и теперь мы подходим к главному вопросу.

Какой фреймворк следует выбрать для вашего проекта? Vue или Angular?

Итак, принимая во внимание все вышесказанное, что лучше, Vue или Angular?

Честно говоря, как часто бывает с такими технологиями, здесь нет однозначного ответа. Я могу сказать, что у обоих фреймворков есть свои преимущества. Angular надежен и прошел проверку временем, а Vue быстр и прост в использовании. Выбор между ними зависит от ваших конкретных потребностей и целей вашего проекта.

А когда речь идет о Vue, я думаю, что имеет смысл использовать его для. Динамических приложений, проектов, сосредоточенных на пользовательском интерфейсе, портфолио и сайтов с большим количеством изображений, а также одностраничных приложений. С другой стороны, Angular более подходит для приложений, требующих надежной функциональности, особенно для крупных команд и масштабируемых проектов. Поэтому лучше использовать его для кросс-платформенной и гибридной веб-разработки. Больших проектов и предприятий, требующих серверного рендеринга. Но, ребята, это также зависит от стратегии разработки проекта и возможностей вашей команды разработчиков. Поэтому все зависит от поиска подходящего решения для целей вашего проекта. Возможности карьеры.

Конечно, есть еще один важный вопрос.

Поможет ли изучение этих технологий получить высокооплачиваемую работу?

Если вы планируете стать разработчиком на Angular или Vue, вам не о чем беспокоиться. Согласно недавнему опросу Stack Overflow, Angular входит в топ-5 самых популярных веб-фреймворков.

И Vue не сильно отстает. Это означает, что спрос на разработчиков Angular и Vue остается высоким. По данным Glassdoor, разработчики на Angular в Соединенных Штатах могут зарабатывать до $125,000 в год. В то же время разработчики на Vue могут зарабатывать до $156,000 в год. Фрилансеры на Angular зарабатывают от $16 до $30 в час. И фрилансеры на Vue зарабатывают около $19-35 в час.

Итак, как вы можете видеть, здесь существенная разница в отношении офисных работ и не так много в плане фриланса. Ладно, мои уважаемые разработчики, это все, что у меня есть по сравнению Angular и Vue.

https://www.youtube.com/@Daniel-Dan./videos

Запутаться в них новичку легко. Так что в этой статье я объясню, в чем разница между ними. Условно можно обозначить их взаимоотношения с помощью этой диаграммы:

Модуль (Module)

Модуль в Python — это логически обособленный сниппет в отдельном файле.py. Если вы хотите порядка в своем коде, рекомендую их использовать.

Достоинства модулей в том, что они:

• помогают сосредоточиться на одной небольшой части задаче;.
• сводят на нет дублирование за счет переиспользования;
• минимизируют вероятность конфликта имен.

Давайте разберем их на примере. Создадим функцию приветствия:

Сохранив ее в welcome.py, мы создадим модуль. Если welcome_message() понадобился, его импортируем директивой:

Сообщение будет выглядеть так:

Обычно в модуле определяется множество разных элементов. Но мы можем импортировать только одну конкретную функцию:

Если у вас есть опыт работы с Python, то вы наверняка использовали модули re, datetime и проч.

Пакет (Package)

При разработке большого приложения легко столкнуться с множеством различных модулей, которыми сложно управлять. В таком случае полезно сгруппировать и упорядочить их с помощью пакетов.

Это каталоги модулей с иерархической структурой пространства имен. Точно так же, как мы раскладываем файлы на жестком диске по папкам и субдиректориям, можно организовать модули в пакеты и «подпакеты» (subpackages).

Пакет должен содержать файл с именем __init__.py, который и позволяет использовать каталог.

Пакет Writing (писательство) и его модули Books (книги) и Article (статьи)

В мире пакетов для Python есть немало «звезд», о которых вы наверняка слышали:

• numpy — для научных вычислений;
• pandas — для обработки табличных данных;
• pytest — для тестирования.

Если классическое веб-приложение активно использует всевозможные компоненты, то в Data Science скачок на пакеты происходит на первых же уроках, и модули проходят вскользь.

В Python установленные пакеты можно посмотреть командой:

Библиотека (Library)

Это объект еще выше уровнем: он содержит связанные модули и/или пакеты. Часто «библиотеки» и «пакеты» выступают синонимами, потому что и те, и другие содержат модули и «подпакеты» (subpackages).

На мой взгляд, разница между ними весьма условная. Это становится очевидно, когда сравниваешь списки звезд из текущего и предыдущего разделов:

• Matplotlib — для визуализации данных;
• PyTorch — для глубокого обучения;
• BeautifulSoup4 — для парсинга.

Установка библиотек Python также производится командой pip:

Фреймворк (Framework)

Также набор модулей и пакетов, которые и ускоряют процесс программирования. Но более сложный и с архитектурой приложения.

Если сравнивать разработку со строительством дома, фреймворки Python предоставляют все необходимые строительные блоки, такие как фундамент, стены, окна и крыша. И разработчики строят свое приложение на этой основе, добавляя функции, сравнимые с домашней системой сигнализации, мебелью, бытовой техникой и так далее.

Известные представители класса – это:

• Django — фреймворк Python для сайта;
• Flask для легковесных демо-проектов;
• Bottle для создания API.

Заключение

Теперь вы знаете, в чем отличия модуля от библиотеки и от фреймворка. Более того, на старте новичку стоит понимать лишь отличие модуля от пакета и библиотек. А фреймворки придут в код позже, бесшовно и не спутают карты.

Какие у вас любимые модули, пакеты библиотеки, фреймворки? Поделитесь в комментариях.

Иногда, когда становилось скучно и рабочие проекты пилить не хотелось, я садился за разработку собственного велосипеда. Причем архитектура была выбрана не то чтобы правильная, а наиболее удобная для коротания времени за написанием кода. Где-то встречались костыли, где-то некие ноу-хау.

Мой велосипед представляет из себя некий PHP-фреймворк для создания веб-проектов.

На текущий момент он представляет следующий функционал:

• Авторизация;
• Регистрация;
• Роли пользователей;
• Верификация E-Mail;
• Рассылки почты;
• Поддержка шаблонов почтовых отправлений;
• Менеджер очереди заданий;
• Шаблонизатор;
• Поддержка маршрутизации;
• REST API;
• Кеширование;
• Логирование;
• Работа с файлами;
• Миграции;
• Captcha;
• DDoS Guard (basic).

Пользовательская часть построена с использованием шаблонизатора Twig. Я посчитал, что это приемлемо и, вероятно, в дальнейшем облегчит жизнь верстальщикам.

Админка же, напротив, сделана без использования каких-либо шаблонизаторов (привет, Битрикс). Местами реализации ужасны, местами из глаз идет кровь, но оно работает. Сделано так, скорее, только на время альфа-версий.

Функционал пилится, некоторые идеи приходят в неудобное время, и чтобы они появились в качестве реализации, я иногда грешу простыми и топорными реализациями с надеждой на причесывание в дальнейшем. Техдолг копится, как говорится…

Из интересного также есть функционал обработки роутов (маршрутов) для фронтовой части сайта с поддержкой динамических составляющих.

Реализована поддержка многосайтовости с подключением локального файла конфигурации (когда мы линкуем папку с ядром к другому проекту и создаем конфиг для нового проекта). А для облегчения развертывания используются миграции через Phinx.

Для большей гибкости реализованы роли пользователей для контроля доступа к каким-либо частям проекта. Там же есть отдельные роли как для администратора с максимальными правами и базовой роли пользователя, так и для менеджера с урезанными правами (базовый доступ к админке). Накручивать можно по желанию что угодно. Кстати, имеется функционал логирования, что очень облегчает поиск виновного, когда кто-то или что-то косячит. ?

Также реализовал функционал диспетчера очереди с поддержкой приоритетов, воркеров и повторного выполнения в случае возникновения ошибок. Использоваться может, например, для рассылки писем, обработки изображений и в целом для всего, что требует времени больше, чем пользователь готов ждать при загрузке страницы (рендерим страницу, а какие-то тяжелые задачи отдаем очереди на обработку, и все счастливы).

В качестве мониторингов был выбран Сентри как основной и Телеграм как дублирующий. Функционал второго также реализован в данном проекте.

Кодовая база на данный момент ведется на Гитлабе, но интереса ради продублировал репозиторий на Гитхаб с публичным доступом. Мало ли, кому-то данный велосипед зайдет. ?

Ссылка на репозиторий проекта:

Что такое dbt: функционал и характеристики

dbt (Data Build Tool) — инструмент, который позволяет дата-инженерам и аналитикам автоматизировать процессы тестирования, внедрения, документирования в рамках трансформации данных. Проще говоря, dbt — это всё о букве T в акрониме ELT (Extract — Transform — Load). Этот фреймворк не выгружает данные из источников, но предоставляет огромные возможности по работе с теми данными, которые уже загружены в Хранилище (в Internal или External Storage).

dbt основан на языках SQL и Jinja, с версии 1.4.* также поддерживает Python.

Основное назначение dbt — взять код, скомпилировать его в SQL, выполнить команды в правильной последовательности в хранилище.

Чем полезен фреймворк

dbt — довольно универсальный инструмент, но в большей степени он используется в аналитических сервисах в любых отраслях: анализ и обработка данных, сборка любой отчетности и так далее.

Контроль качества. Для бизнеса важно получать качественные данные, а для этого, в свою очередь, нужны инструменты контроля качества. dbt как инструмент позволяет реализовать любые вариации тестирования: на этапе обновления каких-либо данных мы всегда можем собрать быструю статистику по любым метрикам.

Хранение данных. Даже из «коробки» этот фреймворк позволяет реализовать на уровне хранилища хранение данных с историей СКД-2 (хранения технической истории, изменение атрибутов). С ним можно выстраивать снэпшоты — детальные слои с историей данных. dbt помогает собрать любую историю данных, чтобы отвечать на вопросы аналитиков и бизнеса.

Связывание данных в единую цепочку. Инструмент описывает ациклические зависимости (DAG) и связи, что позволяет легко анализировать цепочку преобразований данных. Когда мы используем и переиспользуем данные, выполнение этих задач связано: если что-то где-то меняется, то сказывается на других сущностях. С помощью dbt мы решаем задачу консистентности данных — устраиваем зависимость выполнения, чтобы одна сущность была рассчитана только после другой, без задержек и потери актуальности данных. Фреймворк помогает собрать в одном месте и связать всю логику — от исходных данных до итоговых результатов и их переиспользования.

Перенос в другие среды. Фреймворк позволяет легко переносить и настраивать разные подходы к работе моделей в различных средах: тестовые модели, продуктовый уровень, промышленный слой.

Настройка дополнительных возможностей. С dbt можно вписать документацию данных и работать с ними, можно настроить логирование стандартными способами и отслеживать аналитику исполнения запросов. Всё это реализуемо, поскольку у фреймворка на основе SQL и Jinja нет ограничений, кроме возможностей самих хранилищ и уровня знаний исполнителя.

Что нужно знать, чтобы использовать dbt

Для анализа самих моделей достаточно знать SQL и обзорную документацию по работе с dbt. И если дата-инженеры внедрили фреймворк со всеми функциями, то аналитику кроме знаний SQL и работы с браузером ничего не потребуется. Он легко сможет пользоваться сервисами dbt, анализировать цикличный граф зависимости и смотреть код преобразования.

До знакомства с фреймворком я никогда не работал с Jinja, языком шаблонов, который применяется в dbt для реализации настроек моделей, обработки дополнительной функциональности SQL-кода. Разобраться помогла обширная документация и хорошее комьюнити: есть, например, русскоязычный канал в Telegram.

Структура проекта dbt

Проект состоит из директорий и файлов двух типов:

● модель (.sql) — единица трансформации, выраженная SELECT-запросом;

● файл конфигурации (.yml) — параметры, настройки, тесты, документация.

На базовом уровне работа строится следующим образом:

● пользователь готовит код моделей в любой удобной IDE;

● с помощью CLI вызывается запуск моделей, dbt компилирует код моделей в SQL;

● скомпилированный SQL-код исполняется в Хранилище в заданной последовательности (граф).

Модели — это гибрид SQL + Jinja, которые ограничены лишь объёмом хранилища и уровнем знаний пользователя.

В dbt применяется Jinja версии два. Сам язык имеет очень большую функциональность, ознакомится с ним подробнее можно в этой статье.

Как работать с dbt: установка, настройка, использование

Устанавливаем фреймворк

dbt поддерживает 4 варианта установки:

● Homebrew;

● pip;

● Docker;

● source.

Рассмотрим установку подробнее на примере pip.

Установка

1. Открываем терминал.
2. Запускаем команды:
3. pip install dbt-core #Установка
   последней версии;
4. pip install dbt-core==1.4.0
   #Установка конкретной версии.
5. dbt —version #Проверка установленной
   версии.

Для обновления можно использовать следующие команды:

● pip install —upgrade dbt-core #Установка последней версии;

● pip install —upgrade dbt-core==1.4.0 #Установка конкретной версии.

Установка пакетов платформ

Для работы с конкретными платформами необходимо установить пакет платформы, с которой вы планируете работать:

● pip install dbt-clickhouse #Установка последней версии

Проверка установленных пакетов

Выполняем команду dbt —version

Настройка проекта

Для начала работы настроим окружение взаимодействия с dbt, установив VS Code. Обязательно проверяем наличие установленного Git и Python 3.

Для удобства работы с фреймворком стоит рассмотреть установки и настройки дополнительных расширений для VS Code:

● vscode-dbt;

● dbt Power User:

Настроим параметры VS Code для работы с dbt. Открываем settings.json по пути File-Preferences-Settings.

Добавляем настройки ассоциации файлов:

Закрываем файл.

Инициализация проекта

1. Создаем каталог проекта. К примеру, dbt_example.

2. Открываем терминал и переходим в каталог:

3. Инициализируем новый проект командой dbt init:

4. Указываем название нашего проекта: если мы уже установили платформу для взаимодействия, нам предложат выбрать из списка, после чего проект будет создан:

5. Типовая структура проекта:

6. Проверяем состояние модели командой dbt debug:

Готово — можем приступать к созданию модели.

О чем важно помнить при работе с dbt

● Основное — так как проект живой, нужно всегда следить за функциональностью, за обновлениями версий. Не всегда стоит использовать последнюю версию, но тестировать все изменения модели — важно.

● Помнить о том, что любая стандартизация и шаблонизация, с одной стороны, облегчает работу, а с другой — усложняет анализ. С помощью шаблонов мы можем любой SQL-код, который состоял из 3000 строк, сократить до условных 100, но нужно понять, как потом это всё прочитать.

● Поскольку инструмент гибкий и позволяет самостоятельно расширять функциональность, любые разработки придётся тестировать на работоспособность для каждой базы данных отдельно. В основном мы используем Postgres, Redshift, Spark, но также есть Greenplum, Clickhouse, MySQL, и синтаксис у всех отличается. Например, текущая версия адаптера для Clickhouse не поддерживает создание материализованных представлений.

● Расширение функциональности у dbt фактически безгранично, потому что ядро фреймворка сделано на Python. Если в команде есть разработчики Python, они смогут дописать любую функциональность.

Полезные ссылки и материалы

• DBT documentation — Introduction — официальная документация.
• What, exactly, is dbt? — обзорная статья одного из авторов dbt.
• Building a Mature Analytics Workflow — взгляд на будущее работы с данными и аналитику.
• Getting started with DBT tutorial — практика, пошаговые инструкции для самостоятельной работы.
• Jaffle shop — Github DBT Tutorial — Github, код учебного проекта.
• Hub.getdbt.com — открытая база готовых пакетов для dbt.
• Telegram-канал по dbt  — здесь всегда можно почитать подробнее о фреймворке, задать вопрос, обсудить какие-то новости и проблемы.

В любом случае, dbt — лишь инструмент в руках дата-инженеров, которые могут построить структуру хранения моделей на свое усмотрение. При правильном использовании этот инструмент может сильно оптимизировать работу с данными, а значит — повысить эффективность всего бизнеса.

Детекторы ботов вроде Cloudflare готовы защищать сайты от наших ботов. Настройка Selenium с помощью ChromeOptions слишком громоздкая, а на Windows становится совсем кошмарной. Отладка ботов через журналы — тоже слишком сложно.

Как решить эти боли, не жертвуя скоростью и удобством разработки? Попробуйте Bose.

Bose, как уверяют разработчики фреймворка, — это первая среда разработки ботов, которая максимально упрощает разработку ботов. Фреймворк основан на на Selenium и предлагает ряд функций, упрощающих разработку.

Настраиваем Bose

Первым делом, скопируем изначальный шаблон.

Затем перейдите в скачанный каталог, установите зависимости и запустите проект:

Первый запуск займет некоторое время. Всё потому, что он загружает исполняемый файл драйвера Chrome. Следующие запуски будут гораздо быстрее.

Основные особенности Bose Framework

Добавляет мощные методы, чтобы сделать работу с Selenium намного проще.

Применяет лучшие практики, чтобы избежать обнаружения ботов Cloudflare и PerimeterX.

Сохраняет HTML, снимок экрана и сведения о выполнении для каждой задачи, что упрощает отладку.

Вспомогательные компоненты для записи очищенных данных в виде файлов JSON, CSV и Excel.

Автоматически загружает и инициализирует правильный драйвер Chrome.

Быстро и удобно для разработчиков.

Работаем с Bose

Допустим, вы хотите начать парсинг веб-сайта. Если бы вы использовали Selenium, вам пришлось бы обрабатывать задачи по открытию и закрытию драйвера следующим образом:

Однако Bose Framework использует декларативный и структурированный подход. Вам нужно только написать код ниже, а драйвер Bose сам создаст драйвер, передаст его методу run и закроет работу.

Конфигурация Bose

В Selenium, если вы захотите настроить параметры вроде профиля, пользовательского агента или размера окна, нужно будет написать много кода:

Bose Framework упрощает конфигурацию, инкапсулируя её в свойстве BrowserConfig:

Обработка исключений

Исключения — это боль при работе с Selenium.

В Selenium, если возникает исключение, драйвер автоматически закрывается, оставляя вам только журналы для отладки.

В Bose, когда в задаче парсинга возникает исключение, браузер остается открытым. Вы можете отслеживать состояние браузера в момент возникновения исключения, что очень помогает при отладке.

Отладка в Bose Framework

При веб-скрапинге часто возникают ошибки вроде неправильных селекторов или страниц, которые не загружаются. При отладке в Selenium вам, возможно, придется отсматривать журналы, чтобы найти, какая возникла проблема.

Bose упрощает отладку, сохраняя информацию о каждом запуске.

После каждого запуска в задачах создается каталог, содержащий три файла, перечисленных ниже:

Файл содержит информацию о выполнении задачи: продолжительность выполнения задачи, IP-адрес задачи, пользовательский агент, размер окна и профиль, который использовался для выполнения задачи.

Это снимок экрана, сделанный до закрытия драйвера.

Это исходный HTML-код, полученный до закрытия драйвера. Код страницы полезно знать, если селекторам не удалось выбрать элементы.

В случае, если ваша задача рухнула из-за исключения, Bose сохраняет error.log с ошибкой, из-за которой задача рухнула.

Вывод данных

После выполнения парсинга веб-страниц нужно сохранить данные в формате JSON или CSV. Как правило, этот процесс подразумевает написание огромного объёма императивного кода:

Bose упрощает процесс, инкапсулируя данные в модуль вывода для чтения и записи данных. Просто метод write для файла, который вы хотите сохранить.

Все данные будут сохранены в папке output/:

Локальное хранилище

В современных браузерах есть локальный модуль хранения, и Bose перенял эту концепцию.

Вы можете импортировать объект LocalStorage из Bose, чтобы сохранять данные при запуске браузера, что чрезвычайно полезно при очистке больших объемов данных.

Данные хранятся в файле local_storage.json в корневом каталоге проекта. Вот как можно его использовать:

Другие возможности

Драйвер, полученный при запуске задачи — это расширенная версия Selenium, в которую добавлены мощные методы, упрощающие работу.

Вот некоторые из популярных методов, добавленных в драйвер:

Заключение

Bose — отличный фреймворк, упрощающий скучные части Selenium и парсинга веб-страниц.

Желаем вам удачи и счастливой разработки ботов с помощью Bose Framework!

В новой версии разработчики постарались улучшить опыт разработки. К примеру, было улучшено взаимодействие с SFC <script setup> на TypeScript.

Также были решены многие давние проблемы с использованием Vue и TypeScript.

Основные изменения

Обновления зависимостей

Чтобы обновиться до Vue 3.3, нужно также обновить зависимости:

1. volar / vue-tsc@^1.6.4;
2. vite@^4.3.5;
3. @vitejs/plugin-vue@^4.2.0;
4. vue-loader@^17.1.0 (если используется webpack или vue-cli).

Поддержка импортированных и комплексных типов в макросах

До версии 3.3 типы в defineProps и defineEmits могли быть только локальными типами и поддерживали только литералы типов.

Так было потому, что Vue нужно было анализировать свойства props для генерации опций во время выполнения кода.

Теперь, в версии 3.3, компилятор разрешает использовать импортированные и комплексные, сложные типы:

Обратите внимание, что поддержка сложных типов основана на AST, поэтому не все типы могут поддерживаться на 100%. К примеру, условные типы вообще не поддерживаются.

Вы можете использовать условные типы для одного параметра, но не для объекта параметров.

Универсальные компоненты

Компоненты <script setup> теперь принимают универсальные параметры через атрибут generic:

Значение generic работает как список параметров между <...> в TypeScript.

Теперь можно использовать несколько параметров, extends, типы по умолчанию и импортированные типы:

Раньше эту функцию надо было включить вручную. Теперь, в последней версии volar/vue-tsc, она включена по умолчанию.

Эргономичный defineEmits

Ранее параметр для defineEmits поддерживал только синтаксис сигнатуры вызова:

Тип соответствует возвращаемому типу для emit, но он короткий и неудобный для написания. В версии 3.3 ввели более эргономичный способ объявления emit:

В литерале типа ключ — это имя события, а значение — тип массива, определяющий дополнительные аргументы.

Старый синтаксис сигнатуры всё ещё поддерживается.

Типизированные слоты с defineSlots

Новый макрос defineSlots можно использовать для объявления ожидаемых слотов и их свойств:

defineSlots() принимает только параметр типа, но не принимает аргументы рантайма.

Параметр типа должен быть литералом типа, где ключ свойства — это имя слота, а значение — функция слота.

Первый аргумент функции — props, тип которых будет использоваться для пропсов слота в шаблоне.

Значение defineSlots — это тот же объект слотов, который возвращается из useSlots.

Текущие ограничения

1. Проверка слотов еще не реализована в volar/vue-tsc.
2. Тип возврата функции слота может быть любым, но в будущем он может использоваться для проверки содержимого слота.

Существует также опция слотов для использования defineComponent. Оба API используются исключительно в качестве подсказок типа для IDE и vue-tsc.

Экспериментальные функции

Деструктуризация реактивных пропсов

Деструктура реактивных пропсов ранее была частью преобразования реактивности, которое теперь удалено. Сейчас она выделена в отдельную функцию.

Эта функция позволяет деструктурированным пропсам сохранять реактивность и предлагает более удобный способ объявления значений:

Эта функция является экспериментальной и требует явного согласия.

defineModel

Ранее, чтобы компонент поддерживал двустороннюю привязку к v-модели, ему необходимо было объявить свойство и создать событие update:propName, чтобы свойство обновлялось:

Версия 3.3 упрощает этот процесс с помощью макроса defineModel. Макрос автоматически объявляет свойство и возвращает ссылку:

Эта функция является экспериментальной и требует явного согласия.

Другие примечательные особенности

defineOptions

Новый макрос defineOptions позволяет объявлять параметры компонента прямо в <script setup>. При этом не нужен отдельный блок <script>:

Лучшая поддержка Getter с toRef и toValue

toRef улучшен для поддержки нормализации значений, геттеров и refs:

Вызов toRef может быть более эффективным, если геттеру нужно просто выполнить доступ к свойствам. Для этого не понадобится долгих и сложных вычислений.

Новый служебный метод toValue делает всё наоборот, нормализуя всё в значения:

toValue можно использовать в составных элементах вместо unref, чтобы компоненты принимали геттеры в качестве реактивных источников данных:

Разница между toRef и toValue такая же, как между ref и unref. Разница только в обработке функций-получателей.

Импорт исходного кода JSX

Сейчас типы Vue автоматически регистрируют глобальную типизацию JSX. Это может привести к конфликту при использовании других библиотек, которым нужно определять типы JSX. В частности, речь идёт о React.

Начиная с версии 3.3, Vue поддерживает указание типизаций JSX с помощью параметра TypeScript jsxImportSource.

Улучшение инфраструктуры обслуживания

Вот, что улучшили в выпуске 3.3:

1. Сборки стали в 10 раз быстрее благодаря отделению проверки типов от сводной сборки и переходу от rollup-plugin-typescript2 к rollup-plugin-esbuild.
2. Ускорились тесты за счет перехода с Jest на Vitest.
3. Ускорилось создание типов за счет перехода от @microsoft/api-extractor к rollup-plugin-dts.
4. Комплексные регрессионные тесты с помощью ecosystem-ci позволяют выявлять регрессии в основных зависимостях перед выпуском.

В этом посте рассмотрели основные изменения в версии 3.3. Ознакомиться с полным списком обновлений можно на GitHub.