Главный приём — Kuwahara-фильтр как единственный пасс постпроцессинга. Всё остальное (отражения, частицы, реакция на скролл, физика появления хлеба по клику) встроено вокруг него и подгоняется под его эстетику.

Концепция. Забытая мельница на воде, рендерится как акварель, но полноценно 3D и интерактивна. Вода, ветер, сцена — единое атмосферное пространство. Под мирным фасадом скрыт сюрреалистический намёк: подводная мельница бесконечно производит хлеб, хотя зерно давно ушло.

Стек. React, React Three Fiber, Drei, React Three Rapier, Howler.js, TypeScript, WebGL, HTML/SCSS.

Главный приём — Kuwahara-шейдер. Несмотря на сильно обработанный вид, это единственный пасс постпроцессинга. Сцена строится вокруг него, в том числе на этапе моделей в Blender — чтобы видеть итоговый эффект сразу.

Отражающая вода — три шага. MeshReflectorMaterial в низком разрешении (для производительности), кастомный шейдер сверху для деталей и анимации воды, тюнинг освещения.

Reveal Effect. ScrollControls контролирует параметр uProgress, шейдер применён к ScreenQuad. Это компактный способ реализовать разворачивающуюся при скролле интро-сцену.

Концепция: уют, которого не бывает

Wei работает в свободном режиме: не использует Figma и подобные инструменты на личных проектах, идёт от концепта в голове. Susurrus родился как «эхо в сознании»: дом, плавающий на отражающей воде, с Kuwahara-шейдером, наложенным как пост-процессинг — чтобы получить «3D-веб-впечатление как картина».

Интерфейс при этом намеренно прост — фокус на 3D-контенте. В сцене присутствуют два поэта, но смысловое ядро — атмосфера и эмоция, переданные через визуал и звук. Само слово «susurrus» (шёпот, шорох) задаёт тон: слова намеренно невнятны, важнее — настроение.

При ближнем рассмотрении сцена становится тревожной: подводная мельница бесконечно производит хлеб, хотя зерна давно нет. Это тихая метафора несуществующего комфорта — то, что выглядит решённым, но к чему присматриваться не стоит.

Kuwahara-шейдер: ядро всего проекта

Весь визуальный стиль Susurrus построен на Kuwahara-фильтре. Это единственный пасс постпроцессинга — всё остальное собрано вокруг него. Wei поставил его на этап раньше, чем закончил 3D-модели в Blender: так можно видеть итоговый эффект и подгонять модели под шейдер, а не получить сюрприз в финале.

При исследовании автор нашёл несколько подходов, опираясь в основном на разбор Maxime Heckel о Kuwahara-фильтре и painterly-шейдинге. На основе этих референсов Wei сделал упрощённую реализацию:

• Не использовал TensorPass, чтобы пасс остался простым (хотя он усиливает детализацию).
• Использовал отличающийся подход на vertex-стадии, по сравнению со стандартными реализациями.

Стандартный vertex для Kuwahara обычно выглядит так:

Версия Wei проще:

Wei не применяет полную модель-вью-проекционную матрицу (MVP), чтобы немного ускорить вычисления. Цена компромисса — эффект слабее, когда камера подходит близко, но в Susurrus камера не приближается к моделям анимацией, поэтому это ОК.

Отражающая вода в три шага

Авторская «грязная» реализация воды:

• MeshReflectorMaterial в акварельном стиле. Из-за визуальной обработки разрешение можно ставить очень низким — это сохраняет производительность на мобильных и десктопе.
• Кастомный шейдер на отдельной плоскости поверх MeshReflectorMaterial — добавляет детали и анимацию воды.
• Освещение подкручено так, чтобы вода казалась живее, не плоской и не скучной.

Reveal Effect для интро-сцены

Wei использовал ScrollControls для контроля параметра uProgress, который подаётся в reveal-шейдер. Шейдер применён к ScreenQuad — это удобный способ реализовать эффект «открытия» сцены при скролле.

Звук, физика и адаптивность

Звуковые эффекты. Через react-howler: разные звуковые взаимодействия по hover/click. Эффекты интегрированы с фоновой музыкой, чтобы получился lo-fi-стиль — «картина, которая может петь».

Физика. Главный интерактивный элемент Susurrus — Spawning Bread on Click: щелчок порождает физический объект (хлеб), который падает в сцену. На реализации стоит React Three Rapier.

Адаптивность. Стандартная для автора цель — мобильная совместимость и плавная производительность на mobile и более старых устройствах.

Выводы

Susurrus — пример того, как один точно выбранный шейдер может задать стиль всему проекту: от моделей в Blender до анимации воды и интерактивности. Идея Wei — начать с Kuwahara-фильтра ещё до финальных моделей — практичная: видишь итоговый эффект сразу и не тратишь время на проработку деталей, которые шейдер всё равно сгладит.

Для тех, кто работает с Three.js / React Three Fiber, в случае Susurrus есть три прямых заимствования: компактный паттерн ScrollControls + ScreenQuad для reveal-сцен, дешёвая реализация отражающей воды через MeshReflectorMaterial низкого разрешения + кастомный шейдер сверху, и выбор пасса постпроцессинга на старте проекта, а не в финале.

Источник: Susurrus: Crafting a Cozy Watercolor World with Three.js and Shaders — Codrops.

Начало революции в графическом конвейере

За последние пять лет в архитектуре рендеринга в играх произошел по-настоящему огромный сдвиг. Если на протяжении двух десятилетий до этого, прогресс упирался в неумолимую математику закона Мура, где улучшение качества рендеринга сводилось к росту вычислительной мощности и увеличению количества полигонов и шейдеров, то сегодня все изменилось. Теперь для достижения высокого визуального качества в играх стала не грубая сила в лоб, а новые подходы, которые меняют устоявшуюся за десятилетия суть самого построения игровой картинки, в том числе на основе технологий ИИ. На сегодняшний день более 80% всех пикселей на экране в самых передовых (с технической точки зрения) играх проходят не классический путь, а смешанные подходы и новые уловки (новые подходы в вычислении света, супер-семплинг на основе ИИ и др).

Сегодня мы остановимся на том, как повлиял (и будет дальше влиять) ИИ на рендеринг в играх, чтобы понять суть сдвига в графике. Для этого мы изначально рассмотрим две ключевые темы: во-первых, фундаментальные отличия DLSS от всех предыдущих подходов к повышению разрешения и сглаживанию (от SSAA до TAAU), а во-вторых, место, которое нейросетевое масштабирование занимает в современном графическом конвейере, после чего сделаем обзор на ближайшее будущее рендеринга в играх.

От супер-сэмплинга к нейронному синтезу сцены

Чтобы оценить место DLSS (в том числе и будущей 5-ой версии) в графическом пайплайне, мы проследим путь эволюции сглаживания и масштабирования от самых первых реализаций до современного подхода с использованием ИИ-вычислений.

Эпоха "чистой математики": SSAA, MSAA, FXAA и их ограничения

Классические методы борьбы с "лесенками" на границах игровых объектов были основаны на простом, но дорогом для вычислений принципе: обработке изображения с более высоким разрешением или его частей.

Посмотрим на три классических алгоритма сглаживания в играх:

• SSAA (Supersampling Anti-Aliasing): Самый "честный", но и прожорливый метод. Сцена рендерится в разрешении, превышающем целевое у пользователя (например, в 4K для вывода на FHD-монитор), а затем полученный кадр сжимается обратно до нужного размера. SSAA обрабатывает каждый суб-пиксель, включая затенение, что дает эталонное качество картинки, но приводит к падению производительности (надеюсь, вы понимаете, почему). Для современных игр со сложными шейдерами и геометрией этот подход непрактичен.
• MSAA (Multisample Anti-Aliasing): Этот метод появился, как попытка оптимизировать SSAA. Суть оптимизации сводится к тому, что обработка затенения производится только один раз для каждого примитива (например треугольника) внутри пикселя, а не каждый сэмпл, как это делает SSAA. Хотя такой подход и значительно снижает нагрузку на GPU, стоит учесть, что MSAA эффективно сглаживает только края геометрии, но не справляется с другими элементами пайплайна, как например, сглаживанием текстур. Также его стоимость все еще остается высокой для сложных сцен.
• FXAA (Fast Approximate Anti-Aliasing): Сглаживание на уровне постобработки, которое анализирует уже готовый 2D-кадр, ищет в нем высоко-контрастные границы и размывает их. Это самый "дешевый" с точки зрения производительности метод, но его главный недостаток, в итоге - неизбежное "мыло" всей картинки, включая текстуры и элементы интерфейса, что приводит к потере четкости и детализации.

Эра темпорального накопления: TAA и его наследники (TAAU)

Ключевой прорыв произошел с переходом к темпоральным методам, которые используют информацию не только из текущего кадра, но и из предыдущих.

Что же изменилось в подходах:

• TAA (Temporal Anti-Aliasing): Вместо того чтобы рендерить каждый пиксель, TAA слегка смещает положение камеры каждый кадр, накапливает информацию с предыдущих кадров, используя моушн векторы объектов, и затем вычисляет среднее значение. Это позволяет получить качество, близкое к SSAA, при производительности, сопоставимой с одной отрисовкой кадра. TAA стал отраслевым стандартом на долгие годы, но у него есть свои фундаментальные проблемы: гоустинг, потеря детализации на мелких и быстро движущихся объектах и общее "мыльное" ощущение от картинки в некоторых реализациях и сценах.
• TAAU (Temporal Anti-Aliasing Upsampling): Логическое развитие TAA. Понимая, что темпоральное накопление позволяет восстанавливать детали из субпиксельной информации, разработчики начали применять его для масштабирования изображения, рендеря сцену в более низком разрешении и "апскейля" в высокое, используя историю кадров.

Именно TAAU является прямым предшественником DLSS, но с одним критическим отличием: TAAU полагается на жестко заданные правила и не способен "понимать" сцену, а лишь математически усредняет пиксели, что часто приводит к артефактам.

Революция DLSS: от CNN до Vision Transformer

NVIDIA DLSS (Deep Learning Super Sampling) и её аналог FSR совершили качественный скачок, заменив чисто математические подходы TAAU на модели машинного обучения, способные принимать более "интеллектуальные" решения о том, как именно восстанавливать изображение.

Первые поколения использовали сверточные нейронные сети (CNN). Их главный недостаток - это "близорукость": модель анализировала пиксели только в рамках ограниченного пространственного окна (рецептивного поля или же область входного изображения). Это приводило к хорошо знакомым геймерам проблемам: если объект двигался слишком быстро, CNN "теряла" его из виду, что вызывало мерцание и гоустинг на мелких деталях вроде листвы, проводов или волос.

Переход на архитектуру Vision Transformer в 4-ой версии DLSS, стал фундаментальным прогрессом. В отличие от CNN, Transformer может оценивать значимость и взаимосвязь любых пикселей в кадре, независимо от расстояния между ними, благодаря дополнительному механизму внимания. Модель научилась "понимать" контекст всей сцены, что позволило радикально повысить стабильность изображения, уменьшив количество артефактов и впервые приблизить картинку после апскейла очень близко сопоставимой с нативным разрешением (а иногда и превосходить её по четкости).

Техническая интеграция в графический конвейер: Место DLSS в пайплайне рендеринга

DLSS не является "черным ящиком", который просто получает на вход низкое разрешение и выдает высокое. Это сложная система, глубоко интегрированная в процесс рендеринга, требующая от разработчиков не только вызова API, но и подготовки специфических данных. Поэтому, когда вы видите плохой DLSS - возможно, дело в самом разработчике игры, а не технологии.

Входные данные: что нужно для работы DLSS

Для корректной работы DLSS графический движок игры должен предоставить специальный набор буферов, каждый из которых критически важен для алгоритма:

1. Color Buffer: Грубо говоря, это кадр, отрендеренный в пониженном разрешении. Это "грубый набросок", на основе которого будет строиться финальное изображение.
2. Motion Vectors: Критически важный компонент. Для каждого пикселя этот буфер показывает, куда он переместился по сравнению с предыдущим кадром. Это позволяет DLSS понять динамику сцены, корректно связать пиксели из разных кадров и избежать эффекта гоустинга.
3. Depth Buffer: Информация о расстоянии от камеры до каждого пикселя. Он помогает модели понять структуру сцены и то, какие объекты перекрывают друг друга, что особенно важно для правильной обработки краев геометрии.
4. Jitter Offsets: Чтобы получить больше информации, чем содержится в одном кадре, камера в каждом кадре слегка смещается на долю пикселя по особому паттерну (как в ранее описанном TAA). DLSS должен точно знать величину этого смещения, чтобы "вычесть" его из векторов движения и корректно совместить пиксели из разных кадров.

Как DLSS встраивается в конвейер

DLSS встраивается не в любой момент, а в строго определенном месте графического пайплайна. Интеграция с игровым движком происходит через открытый SDK, который предоставляет интерфейс для технологий (DLSS, Reflex, и т.д.).

Пример этапов конвейера с учетом работы DLSS:

1. Рендеринг геометрии и шейдинг: Игровой движок выполняет всю "тяжелую" работу: просчитывает геометрию, освещение, материалы и тени. Все это происходит в пониженном разрешении.
2. Ранний пост-процессинг: DLSS должен быть встроен до применения таких эффектов, как шум (film grain), хроматические аберрация, виньетки и, самое главное, до пользовательского интерфейса (UI). Это необходимо, чтобы нейросеть работала с "чистым" изображением сцены, а не с наложенными поверх эффектами, которые могут сбить ее с толку и исказить финальный результат.
3. Вызов DLSS: На этом этапе все подготовленные входные данные (буферы цвета, глубины, моушн векторы) передаются в DLSS. Модель обрабатывает их, используя свои веса, и генерирует финальный кадр в целевом (высоком) разрешении.
4. Поздний пост-процессинг и UI: После того как DLSS выполнил свою работу, поверх полученного высококачественного изображения накладываются эффекты, которые должны оставаться "родными" для разрешения монитора (хроматическая аберрация, виньетка и т.д.), и, что самое важное, интерфейс в целевом разрешении, оставаясь максимально четким и неискаженным.
5. Вывод на экран: Финальный кадр отправляется на дисплей.

Всё это открывает путь к массовому внедрению технологий, в особенности, когда DirectX 12 и другие вендоры открывают новые подходы, подобные DLSS, на основе ИИ рендеринга (сжатие текстур, материалов) на уровне API, делая их стандартной частью инструментария современного разработчика.

DLSS 5: сдвиг парадигмы к нейронному синтезу сцены

DLSS 5 дает старт переопределения самого подхода к постановке задачи. Если предыдущие версии работали с уже отрендеренным кадром, восстанавливая или достраивая пиксели, то новая модель оперирует структурными данными движка: depth buffer, albedo, motion vectors, нормали, идентификаторы материалов и освещения. Сеть не просто «дорисовывает» - она переосмысливает визуальные свойства сцены.

NVIDIA заявляет, что DLSS 5 способен анализировать семантику сцены: распознавать кожу, волосы, ткани, различные типы освещения, и генерировать более точные пиксели для подповерхностного рассеяния (subsurface scattering) на коже или более реалистичные отклики материалов. Речь идёт о контролируемой модификации финального изображения, остающейся детерминированной и темпорально стабильной.

То, что многие "эксперты" ругались на финальный результат, скорее сейчас - это просто сырость самой технологии и "рукастость" разработчиков, которые помогали создавать техно-демонстрацию. Стоит учитывать, что меняется сам подход к рендерингу, так что первые шаги будут шакальными, но этот путь проходили и более ранние технологии без ИИ.

Multi Frame Generation: от линейной интерполяции к адаптивному синтезу

Математика генераций кадров

В классической схеме генерации кадров (DLSS 3) на каждый рендеренный кадр генерировался один интерполированный, что давало прирост в скорости примерно на 100%. DLSS 4 увеличил прирост еще примерно в два раза (три сгенерированных кадра на один рендеренный).

Ключевой вопрос: при каком FPS это имеет смысл? Предположим, что при входном потоке 60 FPS после супер-сэмплинга выход может достигать 360 FPS на дисплее. Это соответствует временному окну ~16.6 мс между рендеренными кадрами, внутри которого нейросеть должна предсказать пять промежуточных состояний сцены. Подумайте сами над ответом и напишите в комметах.

Вообще, в архитектуре Blackwell, которая служит базой для предсказания движения, на высоких коэффициентах генерации линейная интерполяция моушн векторов становится недостаточной. DLSS 4.5 добавляет динамическую регулировку коэффициента: в сценах с высокой сложностью (например, взрывы частиц) модель может снижать коэффициент, чтобы сохранить качество, а в относительно статичных сценах - повышать. Однако опять же, дело за разработчиками.

И вот тут то стоит сделать ремарку. Инженеры Nvidia - люди, которые работают сугубо над тем, чтобы двигать свою технологию вперед, а графические программисты, которые работают над рендерингом, мало того, что занесены в красную книгу, во-первых, привыкли к устоявшимся подходам и не могут быстро переключиться на обновленный пайплайн рендера ничего не сломав, а во-вторых, как и все придерживаются сроков релизов. Если вы представляете примерно, что скрывается под "перестроить графический пайплайн", то должны понимать, почему на первых порах неизбежны косяки в использовании новой технологии.

Проблема в задержках ввода (инпат-лаг) и решение через Reflex

Генерация промежуточных кадров фундаментально увеличивает инпат-лаг: тобишь, сгенерированный кадр не содержит реакции на ввод пользователя, эта реакция появляется только в следующем рендеренном кадре.

NVIDIA компенсирует это технологией Reflex, которая синхронизирует CPU и GPU таким образом, чтобы очередь рендеринга была минимальной. Однако, реализация также сильно зависит от игрового движка и правильности встраивания в общий жизненный цикл рендеринга и остальной логики.

А что, если сжимать данные, а не пиксели?

DLSS - это конечно круто и у всех на слуху. Но это лишь один из подходов, где используется ИИ в процессе рендеринга. Давайте посмотрим на другие подходы.

Сжатие текстур с использованием ИИ: экономия видео-памяти

Одна из наиболее острых проблем современного геймдева: огромный рост объёмов текстур. Традиционные блочные методы сжатия (BC1-BC7) достигают коэффициентов 4:1 <=> 8:1, но их эффективность упирается в фундаментальные ограничения: сжатие происходит независимо для каждого блока, без учёта глобальной структуры текстуры.

Инженеры решили подойти к задаче принципиально иначе: вместо хранения сжатого изображения, хранится обученная нейросеть (или её веса), способная реконструировать текстуру произвольного разрешения в рантайме. Например, NVIDIA, заявляет о семикратном сокращении использования VRAM и системной памяти по сравнению с традиционными блочно-сжатыми текстурами при сопоставимом визуальном качестве.

Технически это работает следующим образом: на этапе сборки игры текстуры пропускаются через процедуру обучения, занимающую менее минуты на тысячи ассетов (в зависимости от железа, конечно). Результатом является компактное представление для модели, которое при загрузке в память распаковывается тензорными ядрами в реальном времени. Поскольку распаковка происходит «на лету», отпадает необходимость хранить в видео-памяти одновременно все MIP-уровни. ИИ может генерировать нужный уровень по требованию.

Для AAA-игр это означает не только экономию видео-памяти, но и радикальное сокращение размера самих игр, ускорение загрузки и возможность увеличить плотность текстур без роста требований к памяти.

Компрессия шейдеров и материалов

Сложные материалы - это слоистые структуры, комбинирующие десятки карт и сотни математических операций. Рендеринг материалов высокого уровня (например, фарфор, шёлк, многослойная кожа) в реальном времени до сих пор был непрактична из-за высокой вычислительной стоимости.

ИИ-шейдеры используют обученные нейросети для вычисления сложного шейдерного кода.

Архитектурно это означает, что вместо выполнения полного графа шейдера на каждом пикселе, GPU выполняет инференс, который выдаёт финальные параметры шейдера. Выигрыш достигается за счёт того, что тензорные ядра выполняют матричные операции существенно эффективнее, чем шейдерные ядра.

Инференс вместо трассировки лучей

Все знают, насколько прожорливой остается трассировка лучей - Ray Tracing и, в особенности, Path Tracing. Path tracing требует трассировки сотен или тысяч лучей на пиксель для схождения непрямого освещения. Новый подход позволяет заменить большую часть этой работы инференсом: после трассировки одного-двух отскоков, нейросеть предсказывает результат бесконечного числа последующих отскоков.

К примеру, подобная технология (NRC) уже стала доступна через RTX Global Illumination SDK и вскоре появится в RTX Remix. Практическое следствие такого подхода - это возможность достижения визуального качества традиционного Path Tracing с производительностью, сопоставимой с более простыми техниками глобального освещения.

Все описанные технологии опираются на специализированные вычислительные блоки. Эволюция тензорных ядер от поколения к поколению напрямую определяет, насколько эффективно работают ИИ модели рендеринга.

Исходя из этого, пользователи RTX 20/30 серий получают идентичное качество изображения, к примеру от DLSS 4.5, но со значительным падением производительности из-за отсутствия родной поддержки FP8/FP4 в тензорных ядрах.

Взглянем в неизбежное будущее: ИИ рендеринг, как новый стандарт

Итак, поговорив о текущих технологиях и меняющемся подходе (где-то еще не идеальным, экспериментальным, но уже набирающем обороты), давайте заглянем в ближайшее будущее рендеринга в играх на базе ИИ.

Траектория развития до 2030 года

Проводя анализ текущих технологических векторов и уже доступных решений, можно смело спрогнозировать несколько ключевых направлений:

1. Полная замена традиционных шейдеров на инференс: первые технологии, вроде RTX Neural Shaders уже демонстрируют, что нейросети могут ускорять сложные вычисления на материалах эффективнее, чем рукописный шейдерный код, в особенности из-за улучшения архитектуры тензорных ядер. Следующий шаг, безусловно, унификация всех материалов под ИИ модели, где шейдер компилируется в веса небольшого инференса.
2. Плавный переход от генерации кадров, к генерации сцены: уже существующие технологии работы с примитивами сцены (проработке геометрии, освещения, текстур), уводят шаг к более оптимизированному и продвинутому конвейеру производства игр на уровне сцены, что развяжет руки художникам и техническим артистам, избавив от рутинной работы по оптимизации сцен на уровне ИИ. А дальше, как вариант, это и генерация каких-либо примитивов, чтобы подобрать для артистов первоначальные наброски за секунды, а не часы ручной работы.
3. Гибридные вычислительные модели: Современные видео-карты уже содержат отдельные тензорные ядра, ядра для рейтрейсинга и шейдерные ядра. Будущие архитектуры, вероятно, ещё сильнее разнесут эти специализированные блоки, позволяя параллельно выполнять классический рендеринг, трассировку лучей и инференс.
4. Стандартизация ИИ-рендеринга: Microsoft уже добавила поддержку ИИ-рендеринга в DirectX, что открывает путь к универсализации (как минимум на уровне DirectX API). Те же ARM развивают собственные GDK для разработчиков, открывая двери для супер-семплинга и денойзинга на основе ИИ под мобильные устройства.

Однако, при всех достижениях, остается ряд фундаментальных проблем, над решениями которых работают сотни инженеров:

1. Детерминированность: Генеративные модели по своей природе случайны. Для соревновательного гейминга необходима попиксельная повторяемость результата, чего сложно достичь без фиксации сида. Однако развитие всё новых и новых подходов, сводит случайность к минимуму.
2. Энергопотребление: инференс безусловно жрет много энергии. В мобильном гейминге и на портативных устройствах (например Steam Deck, Nintendo Switch) это критическое ограничение. Но и в этом направлении ведётся огромная работа, предлагая новые варианты оптимизаций моделей.
3. Обратная совместимость: По мере роста вычислительных требований новых моделей старые GPU теряют способность эффективно их исполнять, что создаёт фрагментацию пользовательской базы. Здесь же скорее результат будет зависеть от скорости появления общепринятых стандартов в разработке, поскольку мы находимся лишь вначале пути.

В истории уже было отвращение к технологиям. Просто вы этого не помните. Как индустрия переваривала прошлые графические революции?

Тейки, сопровождающие внедрение ИИ рендеринга: от "фейковых кадров нейрослопа" и "мыла вместо графики" до страха перед потерей контроля над визуальным результатом, звучат конечно очень громко, но не являются чем-то новым для индустрии. Практически каждое фундаментальное изменение в архитектуре рендеринга за последние 25 лет встречало схожее сопротивление, прежде чем стать новым стандартом.

Compute шейдеры против обычного конвейера (2001–2004)

До появления GeForce 3 и DirectX 8 графический конвейер был жёстко заданной цепочкой операций: трансформация вершин, освещение по фиксированным формулам, растеризация, смешивание текстур. А потом нам разрешили программировать свои вершинные и пиксельные шейдеры для каждой стадии, что открыло дорогу к картам нормалей, динамическим теням и сложным материалам.

В то время, людей пугало, что шейдеры слишком медленные, разработчики не справятся с написанием сложного кода, и что шейдеры, которые можно закодить - это костыли, а не шаг вперед.

В реальности же, всего через пять лет игры без шейдеров, стали пережитком прошлого. Half-Life 2, Doom 3, Far Cry продемонстрировали, что программируемый пайплайн, это не просто замена старому, а инструмент, позволяющий создавать шедевры, невозможные ранее. Разработчики же быстро освоили HLSL и GLSL, а производительность выросла, благодаря аппаратному ускорению шейдерных блоков.

Переход к отложенному освещению (Deferred Rendering, 2007–2011)

Классический прямой рендеринг (forward rendering) пересчитывал освещение для каждого объекта, что делало множество динамических источников света непрактичным. Отложенный рендеринг разделил процесс на два прохода: сначала пишутся геометрические атрибуты в G‑буфер, а уже затем выполняется расчёт освещения только в экранном пространсвте. Это позволило использовать десятки и сотни динамических источников света в кадре. А ведь сегодня это кажется обыденностью.

Но в то время, многие утверждали, что g-буфер будет жрать много памяти, мощное сглаживание MSAA придется выкинуть, а все прозрачные объекты чем-то заменить, ведь они ломаются.

Но в реальности, индустрия нашла компромиссы, ведь плюсы перевешивали все минусы. И так, взамен MSAA появились сначала новые виды сглаживания (FXAA, SMAA, позднее замененные TAA и TAAU), которые в итоге даже превзошли по качеству. А сам подход стал индустриальным стандартом.

Физически корректный рендеринг (PBR, 2013–2016)

В эпоху до PBR материалы описывались стандартными параметрами (specular power, glossiness), которые вели себя по-разному при разном освещении и требовали ручной подгонки под каждую сцену. Физически корректный подход ввёл единую модель BRDF, основанную на измеряемых дополнительных свойствах реальных материалов: metallic, roughness, albedo.

Однако по-началу, реакция была жесткой - говорили о том, что все игры станут одинаковыми и пластиковыми, старые текстуры придется переделывать с нуля, а художники потеряют творческий контроль.

Но случилось другое: PBR не уничтожил стилизацию. Он дал художникам предсказуемую основу, поверх которой можно накладывать стилистические решения. Переход на PBR конечно потребовал до-обучения сотрудников и введения в работу новых инструментов (например, как Substance Painter, Quixel), но результатом стал скачок в реализме и стабильностью материалов между разными сценами и проектами. Сегодня даже стилизованные мультяшные игры используют PBR-пайплайн, адаптированный под эстетику.

Наши дни

Вот и сейчас, начиная с 2018 года, всё началось с переноса технологий рейтрейсинга из киношного рендера, в игровой. Первые реализации были скромными: только тени или отражения при низком количестве лучей на пиксель..

Спустя семь лет, трассировка лучей уже стала стандартом в AAA-сегменте. Cyberpunk 2077 в режиме Path Tracing, Alan Wake 2, Black Myth: Wukong с полным RT: это примеры того, как технология созрела и стала стандартом. Денойзинг и апскейлинг (включая DLSS) эволюционировали, сделав RT играбельным. Консоли текущего поколения получили аппаратные RT-блоки, а AMD и Intel догоняют NVIDIA в производительности трассировки.

Текущий переход к ИИ рендерингу демонстрирует все те же паттерны, что и предыдущие революции.

Нас ждет очередная революция? Подведем итоги

Каждая из прошлых революций требовала времени на адаптацию, обновление инструментария, обучение разработчиков и оптимизацию железа. ИИ рендеринг не является исключением.

Он не отменяет работу художников и программистов, а даёт им новый уровень абстракции: вместо ручной борьбы с шумом, сглаживанием или оптимизацией материалов, разработчики смогут полагаться на модели, обученные на огромных дата сетах фото-реалистичного или же стилизованного контента.

Более того, как мы уже убедились выше, история показывает, что после принятия новой парадигмы или технологий, индустрия не просто возвращается к прежнему уровню качества, а выходит на новую ступень. Шейдеры не убили 2D-спрайты, но подарили нам карты нормалей и динамические тени. PBR не сделал игры однообразными, а дал новую основу, как для фото-реализма, так и для стилизации (например, Dishonored 2).

ИИ-рендеринг не уничтожит «ручную» графику, а позволит достичь в реальном времени визуальной сложности.

Другой вопрос, как разработчики будут пользоваться технологиями, ведь есть примеры, где разработчики, даже при значительном скачке технологий, делают шаг назад (привет Battlefield 6).

Следующие пять лет определят, насколько ИИ рендеринг проникнет в каждый аспект создания игр. Судя по текущей траектории, к 2030 году грань между "рендерингом" и "генерацией" станет неразличимой, либо очень стертой.

Одним из поводов для разочарования в области аппаратных форматов изображений всегда было медленное развитие. Разработчики обычно не решались поставлять текстуры в новом формате, пока он не становился повсеместно доступным — поддерживался большинством целевого железа и всеми вендорами без исключения. Сегодня три вендора предлагают собственные форматы аппаратного сжатия текстур на лету: ARM AFRC, ImgTec PVRIC4 и Apple Metal Lossy. Игнасио Кастаньо исследовал все три и сравнил их с программным сжатием реального времени Spark от NVIDIA.

— ARM AFRC (Pixel 8, Mali-G715) — явный победитель: по метрике RMSE значительно обходит Spark и других конкурентов во всех форматах.

— Apple Metal Lossy (A15/M2+) — коэффициент сжатия 1:2, API минималистичен: один флаг в дескрипторе текстуры.

— ImgTec PVRIC4 (Pixel 10) разочаровал: драйвер игнорирует запрошенный bitrate, качество хуже Spark для R и RG форматов.

— Vulkan-расширение VK_EXT_image_compression_control унифицирует доступ к аппаратному сжатию через параметр BPC (bits per component).

— Аппаратное сжатие — перспективная альтернатива программному, но пока ограничено современными топовыми устройствами.

Контекст: почему это важно

Разработчики обычно не решались поставлять текстуры в новом формате, пока он не становился широко доступным — то есть поддерживался большинством целевого железа и всеми вендорами. Например, хотя ATI представила форматы 3Dc в 2004 году вместе с Radeon X800 (R420) и открыла их через расширения D3D9, их использование не стало распространённым, когда Direct3D 10 стандартизировал их как BC4 и BC5 в 2007 году. Массовое применение началось лишь тогда, когда Direct3D 10 стал минимальным требованием к железу.

Crysis стала первой крупной игрой, поставляемой с BC5-текстурами, но большинство игр ещё долгие годы не решались устанавливать такое жёсткое требование к железу. Чтобы избежать задержек с принятием, форматы BC6 и BC7 разрабатывались совместно ATI и NVIDIA для Direct3D 11.

Именно поэтому сжатие текстур в реальном времени так интересно: когда кодировщик работает в реальном времени, внедрять новые аппаратные форматы значительно проще — не нужно ждать, пока будет подготовлен контент, целенаправленно созданный под них. Аппаратное сжатие устраняет эту проблему принятия: детали форматов не документируются, их использование абсолютно прозрачно — приложению не нужно явно указывать эти форматы, драйвер сжимает текстуры динамически в процессе рендеринга и загрузки изображений.

Apple Metal: Lossy-сжатие

Apple представила сжатие текстур с потерями в чипах A15 и M2 (оба используют одно поколение GPU). Оно обеспечивает коэффициент сжатия 1:2. Включить его на удивление просто — API минималистичен. Свойство compressionType дескриптора MTLTextureDescriptor принимает значение из перечисления MTLTextureCompressionType, и установка MTLTextureCompressionTypeLossy зачастую является единственным необходимым изменением:

Согласно таблицам возможностей Metal Feature Set Tables, все обычные пиксельные форматы поддерживают сжатие с потерями — включая 10-битные и форматы с плавающей точкой. Тестирование это подтвердило, однако основное внимание сосредоточено на форматах R8, RG8 и RGBA8.

Внутренний алгоритм Apple не задокументирован. По результатам реверс-инжиниринга lossy-форматов используется размер блока 8×4 пикселя — и они напоминают некоторые особенности форматов ETC и EAC. Несмотря на заявленное сжатие 1:2, на практике для каждого блока выделяется один байт метаданных, так что реальное потребление памяти чуть выше заявленного.

Качество на M4 Pro

Для форматов R и RG Metal Lossy показывает результаты лучше кодеков Spark EAC, но хуже BC4 и BC5. Результаты RMSE (Root Mean Square Error — среднеквадратичная ошибка; меньше = лучше):

Формат R:

Формат RG:

Прямое сравнение lossy RGBA8 с форматами Spark некорректно из-за разных коэффициентов сжатия: Metal Lossy поддерживает только 1:2, тогда как форматы Spark RGB(A) — 1:4. Тем не менее, для полноты картины:

Формат RGBA:

Производительность на M4 Pro

С точки зрения производительности lossy-форматы показывают себя отлично и при достаточно большом размере текстуры упираются в пропускную способность памяти. Результаты на M4 Pro (16 ядер GPU) в МПикс/сек:

Обратите внимание, что пропускная способность стандартных блитов остаётся достаточно стабильной вне зависимости от размера текстуры. Кодеки Spark, напротив, имеют фиксированные накладные расходы, которые становятся заметнее при уменьшении размеров текстур. Интересен скачок скорости блитов при 512×512 — у него пока нет объяснения. Также стоит учесть, что кодеки Spark требуют дополнительного копирования из буфера вывода кодека в финальную сжатую текстуру — это дополнительные накладные расходы, которых можно было бы избежать, если бы Metal поддерживал запись в блочно-сжатые текстуры, как это делает Vulkan.

Vulkan: расширение VK_EXT_image_compression_control

В Vulkan расширение VK_EXT_image_compression_control даёт приложениям возможность запрашивать сжатие изображений с фиксированной скоростью. Расширение уже доступно на флагманских устройствах от ARM и Imagination. Включение потерявого сжатия в Vulkan несколько многословнее, чем в Metal, но на практике ненамного сложнее: нужно лишь расширить структуру VkImageCreateInfo, добавив в цепочку VkImageCompressionControlEXT.

Можно использовать флаг VK_IMAGE_COMPRESSION_FIXED_RATE_DEFAULT_EXT, чтобы позволить реализации самой выбрать параметры сжатия:

Альтернативно можно явно указать флаги фиксированной скорости для управления допустимыми коэффициентами сжатия:

BPC (bits per component — бит на компонент) — несколько нестандартная единица, но она позволяет задавать коэффициент сжатия единообразно вне зависимости от количества каналов. Для справки, BPC существующих форматов блочного сжатия GPU:

Расширение VK_EXT_image_compression_control также присутствует в некоторых драйверах AMD и Qualcomm, однако, насколько известно, ни один из этих вендоров не поддерживает аппаратное сжатие изображений с фиксированной скоростью. В случае AMD расширение присутствует в драйвере RADV, чтобы Proton мог отключать потерявое сжатие фреймбуфера в некоторых играх, где оно вызывало проблемы с корректностью — через флаг VK_IMAGE_COMPRESSION_DISABLED_EXT.

ARM AFRC: лучший результат среди всех

ARM Fixed Rate Compression (AFRC) было анонсировано в 2021 году и впервые появилось в Mali-G510 в 2022-м, однако широкого распространения этот дизайн не получил. По-настоящему массовым AFRC стало с выпуском Mali-G715 и Mali-G615 в том же году. Тестирование проводилось на Pixel 8 с GPU Mali-G715.

Устройство сообщило поддержку следующих форматов сжатия с фиксированной скоростью (возможности значительно шире Metal Lossy):

В отличие от Metal Lossy, AFRC не использует дополнительных байт метаданных — все управляющие биты находятся внутри самого блока. Изображение делится на блоки 8×8 пикселей, в ряде случаев разбиваемые на подблоки меньшего размера. Размер каждого блока 8×8 в байтах:

По результатам реверс-инжиниринга удалось установить: AFRC представляет цвета с использованием преобразования YCoCg, а представление пикселей напоминает вейвлет Хаара. Для каждого подблока 4×4 используется 16 коэффициентов, квантование которых зависит от режима. Форматы RGB и RGBA принципиально одинаковы — флаг в заголовке просто указывает, присутствует ли альфа-канал или блок полностью непрозрачен.

Качество AFRC

Качество AFRC впечатляет. В отличие от Metal, здесь можно сделать прямое сравнение с ASTC в реальном времени, поскольку Mali поддерживает сжатие 1:4:

Формат R:

Формат RG:

Формат RGBA:

Во всех случаях RMSE значительно ниже, то есть AFRC превосходит Spark ASTC при нацеливании на ASTC с кодировщиком реального времени. Тем не менее есть несколько случаев, когда Spark даёт более высокое качество: на очень гладких изображениях сжатие AFRC приводит к заметным паттернам дизеринга, раскрывающим границы блоков. Это особенно заметно при использовании AFRC в качестве текстуры с увеличением, тогда как для сжатия фреймбуфера — основного сценария применения — такие паттерны практически незаметны.

Производительность AFRC (Pixel 8)

Включение AFRC не вызывает значительных накладных расходов по сравнению с несжатыми загрузками текстур, за исключением некоторых размеров. Результаты на Pixel 8 в МПикс/сек:

Пропускная способность здесь масштабируется с размером текстуры, а не остаётся стабильной. Накладные расходы одинаково влияют на блиты и compute-шейдеры Spark. В отличие от секции Metal, где lossy-блиты явно доминировали над Spark на малых размерах, здесь картина смешанная: Spark вплотную приближается к AFRC или превосходит его. Это показывает, что кодирование текстур в реальном времени вполне конкурентоспособно с аппаратным сжатием. Абсолютные числа здесь значительно ниже, чем на M4 Pro, — это принципиально разные классы устройств.

ImgTec PVRIC4: разочарование от Pixel 10

ImgTec впервые анонсировала поддержку PVRIC4 ещё в 2018 году для GPU серии Series 6, однако протестировать её удалось только с выходом Pixel 10 на чипе Series D. Первоначальное объявление намекало на то, что, как и Metal Lossy, PVRIC4 поддерживает только 50%-е сжатие, но расширение декларирует более широкий спектр опций:

К большому удивлению, качество вывода оказалось одинаковым вне зависимости от BPC. Дальнейшее расследование показало: драйвер игнорирует запрошенный BPC и всегда использует 4 bpc (сжатие 1:2). Формат блоков PVRIC4 — наиболее сложный из всех трёх вендоров: размер блоков составляет 16×16 пикселей, и, как в Metal Lossy, присутствует один байт метаданных на блок. Сделать реверс-инжиниринг практически не удалось.

Качество PVRIC4

Качество оказалось разочаровывающим. Для форматов R и RG Spark фактически превосходит PVRIC4 при нацеливании на стандартные форматы блочного сжатия, поддерживаемые этим железом:

Формат R:

Формат RG:

Для RGBA прямое сравнение невозможно из-за разных коэффициентов сжатия, но качество также значительно хуже других вендоров:

Формат RGBA:

Производительность PVRIC4 (Pixel 10)

Кривая пропускной способности на этом устройстве существенно отличается от Pixel 8: пик приходится на размеры 1024–2048, а не монотонно возрастает с размером. На больших размерах пропускная способность Spark фактически выше, чем у несжатых загрузок текстур. Это характерно для устройств, ограниченных пропускной способностью памяти: обычный блит должен прочитать всё входное изображение и записать обратно тот же объём данных, тогда как Spark записывает лишь 1/4 входных данных. Экономия на записи зачастую перекрывает вычислительные затраты кодирования.

Комментарий PowerVR Dev (ImgTec)
PVRIC4 поддерживает только сжатие 1:2. TFBC (доступен исключительно в чипах Rogue XE) поддерживал соотношения 1:2, 1:4 и 1:3. Дизайн расширения был спорным — многим не нравилась многословность выбора BPC, поэтому было решено экспонировать все BPC в рамках поддерживаемых соотношений и повышать их до поддерживаемого ratio. Это считалось допустимым, поскольку качество не деградирует относительно запроса приложения, а приложение всё равно обязано запрашивать реальный размер изображения, который не гарантирует уменьшения.

Spark: программная точка отсчёта

Spark — библиотека NVIDIA для программного сжатия текстур в реальном времени. Работает на GPU как compute shader, поддерживает форматы BC1–BC7 и ASTC. В тесте выступает базовой точкой сравнения как лучшее доступное программное сжатие без специализированного железа.

Spark показывает стабильные результаты по форматам, но требует явного вызова compute-прохода — это дополнительный этап в пайплайне. Аппаратное сжатие, напротив, встроено в рендеринг и не требует дополнительного кода. Отдельный плюс Spark — предсказуемое и согласованное поведение на всех устройствах, что важно, если унифицированный вывод критичен для вашего сценария. Ни один из форматов аппаратного сжатия пока не доступен через WebGPU — если это изменится, расширить spark.js для их поддержки будет несложно.

Итоги: кто победил

ARM AFRC — явный победитель. Это не только превосходит программные реализации вроде Spark, но и обходит все остальные форматы по всем метрикам. Итоговая таблица RMSE по всем протестированным форматам:

Стоит оговориться: результаты PVRIC4 могут не отражать полного потенциала железа — драйвер игнорирует запрошенный коэффициент сжатия и всегда использует 1:2. Возможно, эти результаты удастся пересмотреть после исправления проблемы.

Аппаратное сжатие — убедительная альтернатива программному. Главная оговорка — оно сейчас ограничено современными топовыми устройствами, которые как раз и располагают наибольшим объёмом памяти и пропускной способностью.

Даже когда нативное аппаратное сжатие доступно, есть веские причины продолжать использовать Spark. Вывод аппаратного сжатия различается у разных вендоров, и в некоторых случаях — как мы видели с PVRIC4 — качество уступает кодировщику реального времени. Если для вашего сценария критичен единообразный и предсказуемый вывод на всех вендорах, Spark остаётся правильным выбором.

Покупатели смотрели на три ключевых аспекта: возможность апгрейда, наличие нужных портов и совместимость с офисными задачами. Бизнесмены охотились за IBM ThinkPad с их знаменитыми трекпоинтами (красными пупырышками в центре клавиатуры), творческая интеллигенция — за Apple PowerBook G3, а студенты довольствовались «серыми» Acer с рынка. При этом стоимость хорошей модели равнялась нескольким месячным зарплатам, поэтому к выбору подходили как к инвестиции на годы вперед.

Особый шик — найти устройство с DVD-приводом. Это означало, что можно смотреть фильмы в дороге, что для 2000 года было сродни магии. Сегодня такие критерии кажутся смешными, но именно они определяли компьютерную реальность начала тысячелетия, когда ноутбук только начинал превращаться из дорогой игрушки в рабочий инструмент.

Уровень технологий в 2000-м — тренды и возможности

Если бы вам в 2000-м сказали, что через двадцать лет ноутбук будет весить меньше килограмма, а его батареи хватит на целый день, вы бы, скорее всего, не поверили. В начале тысячелетия мобильные компьютеры были громоздкими, медленными и дорогими, но именно тогда закладывались основы того, чем мы пользуемся сейчас.

Железо: процессоры, память и первые шаги к мобильности

В 2000 году Intel представила Pentium 4 — процессор, который стал символом эпохи. Он работал на частотах до 1,5 ГГц (позже — до 3,8 ГГц), но грелся как печка и потреблял столько энергии, что ноутбуки с ним были редкостью.

Вместо него в портативных машинах чаще стояли мобильные версии Pentium III или даже Celeron — слабее, но экономичнее.

Оперативки в обычном ноутбуке хватало лишь на базовые задачи: 64–128 МБ считались нормой, а 256 МБ — роскошью. Жесткие диски редко превышали 10–20 ГБ, при этом весили они немало и боялись тряски. SSD еще не существовало, зато в том же году появилась первая USB-флешка — DiskOnKey от израильской M-Systems. Восемь мегабайт за $50 казались чудом, ведь до этого данные переносили на дискетах или CD-R.

Экран и графика: пиксели, которые мы помним

Матрицы ноутбуков начала 2000-х — это низкое разрешение (1024×768 или даже 800×600), тусклые цвета и медленный отклик. IPS-технология уже существовала, но применялась только в дорогих профессиональных моделях, например, в линейке IBM ThinkPad. Большинство же довольствовалось TN-экранами с узкими углами обзора — наклоняешь крышку, и картинка выцветает.

Встроенная графика справлялась разве что с офисными приложениями и простыми играми вроде «Сапера».

Дискретные видеокарты (например, ATI Mobility Rage или NVIDIA GeForce2 Go) встречались только в топовых моделях и требовали активного охлаждения — шумные кулеры стали неотъемлемой частью «игровых» ноутбуков.

Программное обеспечение: Windows против всех

Microsoft в 2000-м выпустила две ОС: стабильную Windows 2000 (на основе NT) и скандальную Windows ME (Millennium Edition). Вторая быстро стала притчей во языцех: лаги, синие экраны и бесконечные переустановки. Журнал PC World включил ее в список худших tech-продуктов в истории.

Альтернативы? Linux тогда оставался уделом энтузиастов — драйверов не хватало, а интерфейсы вроде KDE и GNOME выглядели сыро. Apple готовила революцию в виде Mac OS X, но ее ноутбуки (PowerBook G3) работали на PowerPC и стоили как хороший подержанный автомобиль.

Рынок: кто и за что платил

В 2000 году ноутбук в России был не просто гаджетом — это был показатель статуса. Средняя цена на новые модели начиналась от 2000$, а топовые версии (например, IBM ThinkPad A20p или Apple PowerBook G3) могли стоить 3500–4000$.

Для сравнения: средняя зарплата в Москве тогда колебалась в диапазоне 150–200 долларов, в регионах — 80–120. Даже бюджетный ноутбук за $1500 (скажем, Compaq Presario 1200) обходился в 8–10 месячных зарплат для большинства россиян.

Покупали их в основном три категории людей:

• Бизнесмены и топ-менеджеры — чаще всего брали IBM ThinkPad (считались «неубиваемыми») или Toshiba Satellite (более доступные).
• IT-специалисты — выбирали Dell Inspiron или Acer TravelMate, иногда «серый» импорт из-за границы.
• Состоятельные частные пользователи — могли позволить себе Sony VAIO или Apple PowerBook, но таких было мало.

Около 30–40% рынка занимали «серые» поставки — ноутбуки, ввезенные без официальной гарантии, но на $300–500 дешевле.

В 2000 году 1 доллар стоил ~28 рублей, а курс был относительно стабилен. Но даже с учетом этого ноутбук оставался предметом роскоши.

Что умел типичный ноутбук 2000 года:

• Работать 1,5–3 часа от батареи (NiMH или первые Li-ion аккумуляторы).
• Подключаться к интернету через dial-up (56 Кбит/с) или, если повезло, по Ethernet (10/100 Мбит/с). Wi-Fi был экзотикой — стандарт 802.11b только появился, и адаптеры стоили сотни долларов.
• Записывать CD (но не DVD — приводы для них появились позже).
• Запускать игры типа Quake III на минималках, если хватало видеокарты.

Это был мир, где ноутбук еще не стал главным компьютером, но уже перестал быть диковинкой. О том, где и как выбирали ноутбуки, читайте в следующем разделе.

Где покупали ноутбуки в 2000-х и каким был выбор

В 2000-х ноутбук в России покупали втридорога, с риском и азартом. Онлайн-магазинов тогда не существовало, да и сам интернет был не особенно доступным. Выбор невелик: приходилось либо довериться немногочисленным официальным дилерам, либо искать «серые» поставки в полуподпольных павильонах.

Официальные каналы: салоны и бутики

Крупные бренды вроде IBM, Toshiba или Acer продавали ноутбуки через авторизованных дилеров — например, сети «НИКС» или «Кей». Цены кусались: Acer TravelMate 340T с Pentium III 450 МГц стоил $2900, что равнялось 10–12 средним зарплатам москвича. Зато давали гарантию, а в комплекте иногда оказывался лицензионный Windows 98 SE.

Компания Apple в России официально почти не была представлена — PowerBook G3 и iBook везли из Европы или США, переплачивая за растаможку. В Москве их можно было найти в единичных бутиках на Тверской, но чаще покупали у перекупщиков.

«Серый» рынок: Горбушка и «ящики»

До 40% ноутбуков ввозили в обход официальных поставок. Главной точкой стала легендарная «Горбушка» в Москве — здесь продавали технику без гарантии, но на 300–500 долларов дешевле. Например, IBM Thinkpad 600e Pentium II 366 МГц здесь уходил за 800–1000, а не за $1500, как в салоне.

Во многом «Горбушка» была лотерей: можно нарваться на б/у устройство с битыми пикселями или криво перепрошитой Windows XP. Зато здесь же находили редкие модели вроде японских Toshiba с нерабочим модемом под местные стандарты.

Провинция: компьютерные развалы и почта

В регионах ноутбуки продавали на стихийных рынках — например, в «ДК Чкалова» в Новосибирске или «Галерее» в Екатеринбурге. Часто это были уцененные модели с дефектами или «европейские» версии без русской раскладки.

Еще один экзотический способ — заказ по каталогам вроде «Эльдорадо» или «М.Видео». Ждать приходилось неделями, а перед оплатой ноутбук нельзя было даже включить. Зато некоторые каталоги предлагали рассрочку — правда, под 30% годовых.

Как выбирали?

Эти критерии были основополагающими:

• Вес и толщина. Ноутбук в 3 кг и 4 см считался «ультрапортативным» и «тонким».
• Наличие USB (редкость в 2000-м) и DVD-привода — без него нельзя было установить пиратский софт.
• Срок автономности. Даже топовые модели работали от батареи 2–3 часа, а NiMH-аккумуляторы теряли емкость за год.

Покупка сопровождалась ритуальными действиями: проверяли битые пиксели, громкость кулера и как открывается крышка. А потом гордо несли домой в пластиковом пакете — сумки для ноутбуков были экзотикой.

Сравнение ноутбуков 2000 года и современных

За 25 лет, прошедших с 2000-го, ноутбуки изменились во всем. Они выглядят и работают по-другому, стали более доступными и производительными. Появились революционные технологии, без которых мы сейчас уже не мыслим автономную работу на компьютере. Но так было не всегда, и проще всего оценить прогресс сравнением параметров техники начала 2000-х и современных моделей.

Габариты и вес: эволюция портативности

В 2000 году ноутбуки только начинали становиться по-настоящему мобильными. Флагманский Dell Latitude H500XT с его 2 кг веса и толщиной 29 мм считался верхом портативности. Для сравнения – современный Dell XPS 13 весит 1.2 кг при толщине 14.8 мм. Но настоящий контраст виден на примере Apple: PowerBook G3 2000 года (2.9 кг, 43 мм) против MacBook Air M1 (1.29 кг, 16.1 мм).

Интересно, что уменьшение габаритов не сказалось на размерах экранов. Если в 2000-х стандартом были 12-14 матрицы, то сегодня большинство ноутбуков сохраняют эти же диагонали, просто в более тонких корпусах. Секрет — в отказе от оптических приводов, переходе на плоские клавиатуры и использовании более компактных элементов.

Дисплеи: от бледных TN к OLED

Типичный ноутбук начала века оснащался TN-матрицей с разрешением 1024×768. Современные стандарты — IPS или OLED с Full HD/4K.

Разница колоссальная:

• контрастность: 200:1 тогда против 1000:1 и выше сейчас;
• цветовой охват: 45% NTSC в сравнении со 100% sRGB/DCI-P3 у современных моделей;
• углы обзора: 60° тогда и 178° сегодня:
• яркость: 150 нит против 400+ нит.

Особенно показательна эволюция Apple: PowerBook G3 2000 года имел 14″ экран с 1024×768, тогда как современный MacBook Pro 14″ предлагает 3024×1964 пикселей с технологией XDR.

Производительность: от Pentium III к нейрочипам

Сравним два поколения.

2000 год (Dell Latitude H500XT):

• процессор: Pentium III 500 МГц (1 ядро);
• ОЗУ: 128 МБ;
• графика: NeoMagic с 4 МБ памяти;
• накопитель: 6 ГБ HDD.

2024 год (Dell XPS 13):

• процессор: Core i7-1360P (12 ядер);
• ОЗУ: 16 ГБ;
• графика: Iris Xe (96 EU);
• накопитель: 1 ТБ SSD.

Производительность CPU выросла в 100+ раз, графики — в 500+ раз. Современный смартфон превосходит топовые ноутбуки 2000 года. При этом энергопотребление сократилось в 3-5 раз.

Порты и подключения: от проводов к беспроводным технологиям

Типичный набор портов 2000 года:

• PS/2 для клавиатуры/мыши;
• VGA для монитора;
• PC Card для модемов;
• FireWire для периферии;
• 1×USB 1.1 (12 Мбит/с);
• Параллельный порт для принтеров.

Современные реалии:

• Thunderbolt 4 (40 Гбит/с);
• Wi-Fi 6E (до 9.6 Гбит/с);
• Bluetooth 5.3;
• 2-4×USB-C.

Особенно впечатляет эволюция беспроводных технологий. В 2000 году Wi-Fi только появлялся (802.11b, 11 Мбит/с), а сегодня 802.11ax предлагает скорости до 9.6 Гбит/с.

Автономность: от 120 минут к рабочему дню

Батареи NiMH/NiCd обеспечивали 1.5-3 часа работы.

Современные Li-Pol аккумуляторы с энергоэффективными процессорами работают 8-18 часов.

При этом:

• мощность выросла в десятки раз;
• время зарядки сократилось с 3-4 часов до 1-2 часов;
• срок службы увеличился с 300 циклов до 1000+.

Компания Apple особенно преуспела: PowerBook G3 работал 4 часа, MacBook Air M1 – до 18 часов.

Цены и доступность: от роскоши к массовости

В 2000 году:

• Dell Latitude H500XT: $3600 (~30 средних зарплат в России);
• PowerBook G3: $3500.

В 2024:

• Dell XPS 13: $999-1999 (~1,5-2 средних зарплат);
• MacBook Air M1: $999.

Покупательная способность выросла в разы. За $1000 сегодня можно получить устройство, превосходящее топовые модели 2000 года во всех аспектах.

Что появилось нового:

• сенсорные экраны и тачпады;
• веб-камеры и биометрическая аутентификация;
• SSD накопители;
• беспроводные технологии;
• поддержка искусственного интеллекта;
• голосовые помощники;
• датчики освещения и движения.

Что исчезло:

• дисководы (флоппи, CD/DVD);
• PS/2, VGA, FireWire порты;
• сменные батареи (в большинстве моделей);
• кнопочные тачпады;
• апгрейд ОЗУ и накопителей (во многих моделях).

Выводы

За 20 лет ноутбуки стали:

• в 2-3 раза легче и компактнее;
• в 100+ раз производительнее;
• в 5-10 раз доступнее относительно доходов;
• в 4-6 раз более автономными.

При этом мы потеряли в ремонтопригодности и универсальности подключения периферии. Современные ультрабуки — это технологическое чудо, но старые ноутбуки обладали особой харизмой и инженерной смелостью, которую сегодня встретишь редко.

Хиты начала 2000-х — топ-3 ноутов того времени

В начале нулевых ноутбук в России перестал быть экзотикой, но оставался дорогим гаджетом, недоступным массовому покупателю. Приобретали их в основном бизнесмены, IT-специалисты и обеспеченные частники. Три модели особенно запомнились пользователям — они стали символами эпохи, когда портативные компьютеры только начинали входить в повседневную жизнь.

IBM ThinkPad T23 — неубиваемый бизнес-класс

Когда в 2001 году на прилавках появился ThinkPad T23, он сразу стал мечтой офисных работников. За $2500-3000 покупатель получал магниевый корпус, защищенный от ударов и царапин, а также фирменную клавиатуру с идеальным ходом клавиш. Под капотом скрывался Pentium III-M на 1.13 ГГц, 256 МБ оперативки и графический контроллер S3 SuperSavage с 16 МБ памяти.

Главной фишкой T23 стал трекпоинт — красная точка между клавишами G, H и B, заменявшая мышь. Многие до сих пор считают его лучшим указательным устройством для ноутбуков. В комплекте шла Windows XP Professional, а батареи хватало на 3-4 часа работы. Особенно ценили эту модель за модульную конструкцию — заменить жесткий диск или оперативку можно было за пару минут.

Toshiba Satellite 1800 — народный любимец

В 2001-2002 годах Toshiba Satellite 1800 стал самым доступным ноутбуком с приличными характеристиками. За $1500-1800 предлагали Pentium III 800 МГц, 128 МБ RAM и 15-дюймовый экран с разрешением 1024×768. Графика ATI Rage Mobility с 8 МБ памяти позволяла комфортно играть в «Космических рейнджеров» или «Героев III».

Модель запомнилась необычным дизайном — серебристая крышка с фиолетовым логотипом Toshiba выглядела по-космически для того времени. В комплекте шел DVD-привод, что тогда было редкостью. Пользователи любили Satellite за надежность, хотя вес в 3.2 кг и толщину 4.5 см сложно назвать портативными по современным меркам.

Acer TravelMate 450 — бюджетный универсал

Когда в 2002 году Acer выпустила TravelMate 450, она сделала ставку на оптимальное соотношение цены и возможностей. За $1200-1400 покупатель получал Celeron 1.2 ГГц, 256 МБ памяти и 30 ГБ жесткий диск — неплохие характеристики для офисной работы. 14.1-дюймовый экран с разрешением 1024×768 хоть и страдал от узких углов обзора, но выглядел лучше, чем у многих конкурентов.

TravelMate особенно полюбили студенты и представители свободных профессий, которых сейчас называют фрилансерами. Ноутбук весил 2.7 кг, работал от батареи до 2.5 часов и поддерживал апгрейд — можно было добавить память или заменить винчестер. В России его часто покупали в «сером» варианте без гарантии, но за $900-1000, что делало модель одним из самых доступных ноутбуков в своем классе.

Что объединяло эти модели?

Все три ноутбука стали культовыми не столько из-за технических характеристик, сколько благодаря удачному сочетанию цены, надежности и возможностей. ThinkPad T23 показал, что бизнес-ноутбук может быть удобным инструментом, а не просто статусной вещью. Toshiba Satellite 1800 доказал, что мультимедийные функции важны не только профессионалам. Acer TravelMate 450 открыл дорогу на рынок бюджетным моделям достойного качества.

Сегодня эти устройства кажутся архаичными, но именно они заложили основы того, какими должны быть современные ноутбуки. Их владельцы до сих пор вспоминают «теплый ламповый» звук жестких дисков, треск модемов и то особое чувство, когда открываешь крышку и понимаешь — теперь ты мобилен. В этом и была магия начала 2000-х, когда технологии только начинали менять повседневную жизнь.

Итоги

Два десятилетия превратили ноутбуки из дорогой экзотики в привычный инструмент. Если в 2000-м их покупали как статусные гаджеты, сегодня это рабочие лошадки, которые есть у каждого студента. Мы выиграли в мощности, автономности и удобстве, но потеряли ту особую магию, когда каждый запуск Windows 2000 казался небольшим чудом. Современные ультрабуки в сотни раз производительнее старых «топов», но уже не вызывают того трепета — стали обыденностью, как микроволновка или смартфон.

Главное изменение — в нашем восприятии. Раньше ноутбук берегли как фамильную ценность, сегодня его меняют каждые 3-4 года. Исчезли ритуалы вроде очистки трекпоинта зубочисткой или гордости за «апгрейд до 256 МБ оперативки». Но именно эти первые неуклюжие модели проложили путь к той мобильности, без которой мы теперь не представляем жизнь. Они были несовершенны, но именно с них началась настоящая компьютерная революция.

Это первое крупное обновление после релиза Plasma 6. Оно делает систему ещё более удобной и функциональной.

Точность цветопередачи и чёткость графики

Одно из главных улучшений — новый алгоритм рендеринга в KWin, оконном менеджере Plasma. Теперь он точнее выравнивает элементы по пиксельной сетке, снижая размытие и делая изображение более чётким.

Кроме того, улучшена цветопередача, особенно при использовании режима Night Light. В настройках появился регулятор точности цветопередачи, который даёт больше контроля над изображением.

Обновления интерфейса

1. Улучшено управление панелями

Теперь можно клонировать панели в один клик. Нужно лишь войти в режим редактирования > нажать «Клонировать панель» > выбрать положение новой панели.

2. Изменения в меню запуска приложений

• Появилась новая категория «Справка»
• Категория «Настройки» теперь объединена с «Системой»

3. Обновления контекстного меню

Теперь в нём есть «Показать объект» для символических ссылок. Ранее эта функция была только в файловом менеджере Dolphin.

Другие улучшения

• KRunner теперь поддерживает переключение категорий с клавишами Page Up/Page Down и Ctrl + Up/Ctrl + Down.
• Виджет прогноза погоды теперь может использовать данные Deutscher Wetterdienst.
• В Plasma теперь можно автоматически отключать тачпад при использовании мыши.
• При настройке точки доступа система автоматически генерирует сложный пароль.
• Менеджер приложений Discover теперь предупреждает, если обновления могут изменить разрешения приложений.

Как это работает

Можно выбрать готовое видео или снять собственное, после чего нейросеть проанализирует запись и заменит лицо героя на лицо знаменитости. Выгрузить видео на смартфон нельзя, только добавить его в VK Видео или Клипы. В будущем дипфейки можно будет использовать во Звонках.

На момент публикации в приложении доступны лица Niletto, Егора Крида, Сергея Жукова, Ольги Бузовой, Клавы Коки, Дани Милохина и Кати Адушкиной.

Генерируем дипфейк с лицом Егора Крида

Большинство дипфейк-решений работают по принципу независимой обработки каждого кадра, поэтому даже минимальные изменения в положении и освещении лица на видео часто приводят к дрожанию и бликам. Мы же <…> решили обрабатывать видео как последовательность кадров с помощью рекуррентной нейронной сети — это позволило <…> использовать возможности нейронной сети более оптимальным образом, кратно ускорив генерацию дипфейков.

Я с нетерпением жду, когда в VK появятся Never Gonna Give You Up в исполнении Сергея Жукова или, к примеру, случай в казино и негодяем-крупье с участием Дани Милохина.

Тест приложения: мой дипфейк

Ещё вы можете посмотреть мой дипфейк: я заставил Егора Крида покинуть рэп-игру и заняться разработкой на Python. Приложение пока что работает нестабильно, и видео приходилось перезаписывать, а сам VK — перезапускать.

Ещё приложение сжимает запись, если записывать его инструментами VK. Видео становится мутным, а звук — шумным, хотя в оригинальной записи таких проблем нет.

Чтобы повысить качество дипфейка, пришлось сперва записать его на встроенную камеру, а уже потом — загружать в приложение.

Lucasfilm использовала CGI

Lucasfilm в 2019 году выпустила сериал «Мандалорец», в котором появлялся молодой Люк Скайуокер. Актёр Марк Хэмилл, игравший этого персонажа в «Звёздных войнах», к тому моменту уже постарел.

Киношники решили омолодить Скайуокера с помощью технологии CGI. Это обычная компьютерная графика — её использовали, например, для создания персонажа Дейви Джонса из «Пиратов Карибского моря».

Shamook использовал deepfake

Автор YouTube-канала Shamook использовал более продвинутую технологию deepfake, которая использует нейросети и искусственный интеллект.

Поклонникам серии фильмов больше понравился вариант Shamook.

Вот то самое видео:

К тому моменту видео Shamook уже были известны в интернете. Он помещал лица актёров в шоу и фильмы, в которых они никогда не снимались. Все тогда восторгались и ужасались дипфейком.

Видеоблогера взяли в Lucafilm

У Shamook так хорошо получился молодой Скайуокер, что его пригласили на работу в Lucasfilm — на должность старшего художника по захвату лица.

Студия подтвердила это изданию IndieWire.

Источник: CNet

Преимуществом MetaHuman Creator на фоне конкурентов является не только высокое качество итогового материала, но и возможность использовать в процессе все основные технологии захвата движения.

Также инструмент позволяет создавать персонажей буквально в считанные минуты, пишет The Verge. При этом их можно одеть в «эксклюзивный наряд», изменить причёску по своему усмотрению, а управление персонажами можно осуществлять прямо в браузере.

Скачать MetaHuman Creator и сэмпловых персонажей можно на официальном сайте проекта. То, как они выглядят, вы можете посмотреть в видео ниже:

Источник: Unreal Engine

Разработчик Бен Картер опубликовал на своём сайте Shironeko Labs новый проект — SuperRT. Это аппаратная платформа, которая добавляет в вышедшую в 1990 году консоль SNES поддержку технологии трассировки лучей. То есть то, ради чего современные геймеры покупают видеокарты NVIDIA Ampere, энтузиаст реализовал на консоли 30-летней давности (конечно же с поправкой на поддерживаемую устройством графику).

Внешний картридж, подключаемый к SNES, получил три дополнительных вычислительных ядра. Частота каждого из них 50 МГц — этого более, чем достаточно, чтобы «завести» трассировку.

Итоговое устройство умеет просчитывать и отображать геометрию, цвета, тени, а также отражения около 50 млн «базовых» объектов. К ним относятся такие объекты как сфера, плоскости и трёхмерные объёмы. Дизассемблированный командный буфер, в который чип записывает проделанные вычисления, выглядит следующим образом:

Про старт карьеры в CG в 90-е

Я на самом деле поздно пришёл в компьютерную графику, в 30 лет. Это был 1996 год. Сначала я работал в традиционном IT — писал базы данных, работал в технической поддержке компании Steepler. Там был и программистом, и всеми, кем угодно. Но у компании Steepler было специальное подразделение, оно называлось Steepler Graphics Group. Они продавали Silicon Graphics — это были какие-то космические станции, всё было какое-то инопланетное. Я как-то раз к ним зашёл и подумал: «Ничего себе, вот это жизнь, вот это круто!». Так случилось, что в 1996 году они позвали меня на работу. Я стал заниматься техническим маркетингом — показывал Power Animator, потом Maya и другие безумные софты людям. Делал так, чтобы они захотели их купить. Это были и продажи, и маркетинг, и технические демо, и всё остальное.

Про интерес к компьютерной графике

В общем-то в графику меня тянуло и раньше, ещё когда я в университете работал, мне нравилось визуализировать разные данные. Например, я писал траектории поражающих элементов на OpenGL. Интерес к отрасли возник у меня на фоне интереса к визуализации данных. Мне году в 1991 попалась на глаза книжка «Когнитивная графика». Там было как раз о том, что есть циферки, и надо сделать так, чтобы по этим циферкам человек получал какие-то полезные знания. Для этого предлагалось нарисовать смешные графики — их я и рисовал. А потом, в 1996 году, когда я пришёл в CG, стало можно рисовать уже всякие глупости, не только графики.

Про физиков и лириков

Людей, который умеют и программировать, и рисовать, не очень много, и они на вес золота. По моему мнению, художника ещё можно как-то научить программировать — это набор вменяемых скиллов, рано или поздно он преодолеет свои страхи и будет делать осмысленные вещи. А вот научить программиста рисовать — это сложнее. Там уже, по-моему, действуют какие-то генетические ограничения. Нет, конечно, можно его научить худо-бедно что-то изображать, но вот научить его рисовать по-настоящему не получится.

Про секрет успеха CG Event

Я делаю ивент интуитивно. Секрет такой: заниматься тем, что тебе интересно.

Мы собираемся уже 13 лет — будет 29-й ивент. Да, это карма: мне когда-то сказали, что моё предназначение — собирать людей. Этим я, в общем-то, и занимаюсь. Я стал преподавать в 1999 году и понял, что моё предназначение — не пиксели красить, по темпераменту не подходит. А вот рассказывать об этом у меня получается хорошо, и людям нравится.

В целом CG Event — это плохой бизнес-проект, потому что он завязан на одного человека, на меня. Многочисленные консультанты говорят, что это уязвимый бизнес. Но как случилось — так случилось. Я долго преподавал, накопил большое количество учеников, потом написал книжку, она вышла в 2007 году, вокруг неё собралось определённое сообщество. Плюс я проводил с 1999 года семинары «Пользователи Maya», и они в итоге выросли в CG Event. Ну и до сих пор люди приходят на CG Event именно ко мне. Конечно, с точки зрения бизнеса это плохо, но мне приятно.

Я недавно оглянулся и понял, что конференция одна из самых старых, даже из IT-шных. А если рассматривать её как отраслевую конференцию, посвящённую именно CG, то это одно из крупнейших событий в мире. Так как это дело моей жизни, я продолжаю им заниматься. Это и хобби, и бизнес, и общение с друзьями — всё вместе, в одном флаконе.

Было много смешных попыток сделать какие-то альтернативы, но когда люди занимаются этим параллельно с какими-то проектами или для каких-то других целей, то, как правило, их хватает на раз или два.

Я делаю ивент интуитивно. Секрет такой: заниматься тем, что тебе интересно. Сейчас меня штырит от искусственного интеллекта, так у меня половина ивента про искусственный интеллект. На меня ворчат, пытаются как-то повлиять, но я всё равно буду этим заниматься, потому что это авторитарное и интуитивно построенное мероприятие. Если мне не будет интересно, то всё начнёт киснуть. Поэтому скажу так: строить сообщество важно и нужно, но конкретных советов я дать не могу.

Про главное кино для развития CG

«Парк Юрского периода», «Звёздные войны», второй «Терминатор». Из более современного — первые «Трансформеры» и «Особо опасен» Тимура Бекмамбетова.

И этот чайник на самом деле существует! Более того, в Германии его даже всё ещё можно купить. А оригинал хранится в Музее истории компьютеров в Калифорнии.

Как появился чайник из Юты?

На заре становления компьютерной графики в университете Юты работал исследователь Мартин Ньюэлл. Ему нужен был какой-то привычный объект из реального мира, чтобы тестировать на нём визуализацию. Что-то не слишком простое и не слишком сложное. И при этом очень знакомое, чтобы легко понять, насколько графика близка к оригиналу. Так совпало, что разговор про это зашёл за чаем, и жена Мартина, Сандра, предложила использовать их чайный сервиз. В итоге в цифровой мир был перенесён не только чайник, но и чашка, блюдце, ложка. Но именно чайник стал таким популярным.

Идею с чайником подхватил Джеймс Блинн (да, именно тот, из модели освещения Блинна-Фонга) и сделал первые качественные визуализации. Другие исследователи могли взять ту же модель и попробовать получить похожий результат. Позже, конечно, задача отрисовки чайника перестала быть задачей в принципе, но его стали применять для проверки материалов, теней и других эффектов.

Почему реальный чайник выше, чем его модель?

Потому что пиксели были не квадратные. На мониторах того времени модель чайника казалась слишком большой по высоте. И его специально «сплющили» в 1,3 раза, чтобы стало похоже на настоящий. Со временем характеристики мониторов улучшились, а чайник менять не стали, так как именно в такой версии он уже использовался везде.

Почему именно чайник? Чем он хорош?

Чайник имеет округлую поверхность, содержит седловые точки, может отбрасывать тень сам на себя, у него есть отверстие в ручке, и его легко показать даже без текстуры. Проще говоря, на нём можно проверить очень много вещей из компьютерной графики, хотя сам объект при этом не такой сложный.

Больше можно узнать из «Википедии», но лучше читайте англоязычную версию. В русскоязычной даже название перевели как «Чайник Юта» (если у вас есть права для переименования, пожалуйста, сделайте это).

NVIDIA активно трансформируется и всё чаще ассоциируется не только с видеокартами для игр. Собрали для вас четыре современных примера применения GPU: технологические тренды, за которые стоит зацепиться айтишникам.

Искусственный интеллект

Он везде. В медицине, образовании, производстве, финансовом секторе, сфере развлечений — это только первое, что приходит на ум. Нейросети и машинное обучение уже давно проникли в нашу жизнь, это не новость. Но сам тренд в том, что сейчас создавать системы с искусственным интеллектом очень просто и быстро.

Есть множество курсов, готовых контейнеров для разработчиков, специализированное железо за очень небольшие деньги, заранее настроенные системы для решения типичных задач и, наконец, сообщество специалистов с ответами на ваши вопросы.

Советы для разработчиков: изучайте ИИ, пока индустрия не оставила вас позади. Поиграйте с примерами применения ИИ на AI Playground для вдохновения.

Фотореалистичная графика

И этот тренд тоже сам по себе не новость. Трассировка лучей существует очень давно, а индустрия кино показывает нам чудеса каждый год, хотя мы уже привыкли к ним и не замечаем. Тренд — трассировка в реальном времени за приемлемые деньги. А это значит, более широкое распространение графики, которую сложно отличить от реальных фото- и видеосъёмок.

RTX 2060 стоит «всего лишь» 31 990 ₽. Да, это довольно много для видеокарты, как одного из компонентов компьютера, но это очень мало для такой технологии, которую сложно было и представить лет 10 назад.

Поддержка RTX уже есть почти во всех популярных движках, а трассировкой в реальном времени занимается не только NVIDIA — технология теперь уже не просто есть, ей можно и нужно пользоваться. И игры — не единственная сфера применения.

Даже полноценная трассировка пути вполне реальна в ближайшем будущем, как показали эксперименты над Quake 2.

Советы для разработчиков: присмотритесь к платформе и следите за новостями в сфере. Задумайтесь над добавлением поддержки трассировки лучей в свой следующий проект.

Стриминг для игр

Google показала Stadia, на GTC 2019 можно было потрогать GeForce Now. Детская шутка «скачать более мощный компьютер» становится реальностью. Скоро мы все будем играть в игры фотореалистичного качества с дешёвых хромбуков по подписке.

Попытки сделать что-то подобное были и раньше, но сейчас за дело берутся серьёзные игроки с большой базой пользователей и технологическими возможностями. И та же трассировка лучей здесь кажется очень логичным дополнением.

Беспилотный транспорт

Его будет всё больше. Автономные машины превращаются из дорогостоящих разработок отдельных компаний в платформу, на которой каждый сможет построить своё решение.

В области автомобилестроения этот тренд ещё больше ускоряется распространением электрокаров. В классических авто есть два очень сложных агрегата: двигатель внутреннего сгорания и коробка передач. Их создание и совершенствование было уделом известных брендов, и зайти просто так со стороны было довольно сложно. В электромобилях же банально нет этих частей, с электродвигателями работать относительно просто. Добавляем сюда решения для автономности и получаем готовый продукт.

NVIDIA же нашла в этой области чуть ли не идеальное пересечение всех своих технологий и направлений развития. С датчиков поступают сигналы и видео, которые нужно быстро обрабатывать на GPU, применяя ИИ, а обучать модель можно в виртуальном фотореалистичном окружении. Теперь ещё и в сотрудничестве с Toyota.

Что известно об AV1?

Этот открытый стандарт сжатия видео, разработанный альянсом Open Media (AOMedia), в его состав входит ряд крупных IT-компаний: Google, Microsoft, Intel, NVIDIA, IBM, Netflix и другие. Судя по внутренним тестам, стандарт опережает актуальные форматы H.264 и VP9 на 34–50 % по сжатию при сохранении того же качества. Также он потенциально на 20 % превосходит кодек HEVC.

Зачем нужна библиотека dav1d?

Главной задачей библиотеки является максимальная производительность при использовании технологии сжатия видео на разных платформах. Это позволит минимизировать эффект отсутствия аппаратного ускорения на первых этапах внедрения AV1, а также обеспечить работу в многопоточных приложениях. Ещё одной задачей является сохранение компактности программного кода.

Декодер dav1d включает на порядок меньше кода, чем штатный декодер AV1 под названием libaom. Размер его бинарного файла меньше в три раза, а потреблении памяти — в четыре. Новый декодеровщик опережает в многопоточном декодировании libaom 1.0.0, однако пока уступает версии libaom из HEAD-ветки.

На сегодняшний день dav1d поддерживает процессорные архитектуры x86, x64, ARMv7 и ARMv8, а также операционные системы Linux, Windows, macOS, Android и iOS. Проект спонсирует Open Media, и хотя библиотека уже готова для тестов, использовать её в ежедневной работе не рекомендуется. В будущем планируется добавить в декодировщик расширенные возможности AV1, в числе которых управление глубиной цвета и все виды цветовой субдискретизации.

Кодек AV1 выпустили весной 2018 года. Он поддерживает разрешение до 4K и обеспечивает высокий уровень сжатия при минимальной потере качества. В апреле его протестировали в Facebook.

Зачем это нужно разработчикам?

Mir 1.0 предлагает быстрый и безопасный графический стек, который способен работать с разными видеокартами и драйверами, и может быть легко интегрирован в любые решения: от информационных киосков до цифровых рекламных щитов. Это позволит унифицировать графическую часть Ubuntu вне зависимости от аппаратной платформы.

Что нового в версии?

Основными нововведениями Mir 1.0 стали устранения ошибок и повышение стабильности при работе с протоколом Wayland. Также добавлен новый файл конфигурации .display, с помощью которого производится настройка раскладки экранов. Это нужно при подключении нескольких мониторов, чтобы вывести единое изображение, к примеру, на видеостену.

На каких ОС поддерживается Mir?

Последняя версия графического сервера доступна для всех актуальных веток Ubuntu. Для установки из Release PPA нужно выполнить команду:
sudo apt-add-repository --update ppa:mir-team/release
Также дисплейный сервер уже есть на Fedora и Arch, и скоро ожидается на Debian.

Зачем нужен Wayland, если есть X-сервер?

Изначально протокол Wayland создавался как «работа над ошибками» в X11, поскольку последний создан четверть века назад и уже успел во многом устареть. В частности, в «иксах» есть проблемы безопасности, которых Wayland лишен. Главное отличие состоит в том, что новый протокол только управляет плоскостями окон, но не отрисовывает их как X11. Процесс рендеринга полностью лежит на библиотеках (GTK, Qt и прочих).

Ранее в Canonical пытались внедрить Wayland в десктопную Ubuntu. Это анонсировал в 2013 году основатель компании Марк Шаттлворт. Однако в 2017 году от предложения отказались вместе с прекращением работы над фирменной графической оболочкой Unity.

Технические характеристики GeForce RTX

Во время выступления представители компании заявили, что новые видеокарты «в 6 раз мощнее предыдущего поколения видеоускорителей NVIDIA». Графические процессоры серии GeForce RTX поддерживают все технологии платформы Turing, включая RT-ядра для расчетов трассировки лучей и тензорные ядра для использования нейронных сетей. Среди ключевых характеристик, упомянутых на презентации:

• RTX 2070: 1410 МГц, 8 ГБ 256-битной оперативной памяти типа GDDR6 пропускной способностью 448 ГБ/с, 2304 CUDA-ядра. Обеспечивает 60 трлн RTX-OPS и 6 гигалучей (Gigarays) в секунду.
• RTX 2080: 1515 МГц с аналогичной памятью, а также 2944 CUDA-ядра. Производит 60 трлн RTX-OPS и уже 8 гигалучей/с.
• RTX 2080 Ti: 1515 МГц, 11 ГБ 352-битной оперативной памяти типа GDDR6, работающей на скорости 616 ГБ/с, 4352 CUDA-ядра. Предоставляет до 78 трлн RTX-OPS и 11 гигалучей/с.

Все видеоускорители поддерживают новый стандарт создания вычислительного кластера из нескольких карт — NVIDIA NVLink. Кроме того, энтузиасты, которые оформят предзаказ на новые продукты NVIDIA, получат карты ограниченного издания Founders Edition с «разогнанными» характеристиками.

Стоимость и дата выхода

На презентации CEO NVIDIA Дженсен Хуанг (Jensen Huang) объявил цены на новые графические процессоры:

• 499 $ за RTX 2070;
• 699 $ за RTX 2080;
• 999 $ за RTX 2080 Ti.

Однако это стоимость видеокарт, произведенных партнерами компании, среди которых Asus, Gigabyte и MSI. Сама NVIDIA открыла предзаказ на GeForce RTX Founders Edition на своем сайте, но стоят они на 100 $ дороже.

NVIDIA GeForce RTX 2080 и 2080 Ti появятся на рынке уже 20 сентября 2018 года. Тогда же они отправятся покупателям, оформившим предзаказ. «Младшую» карту RTX 2070 придется подождать до неопределенного срока.

Напомним, что платформа Turing была представлена на конференции SIGGRAPH 2018 в начале августа 2018 года. В NVIDIA говорят, что, разработав эту архитектуру, они «придумали компьютерную графику заново».

Особенности CUDA 10

Платформа включает в себя все компоненты, необходимые при разработке приложений для мощных серверных платформ. Впоследствии они могут использоваться для поддержания работы искусственного интеллекта и высокопроизводительных вычислений.

Список нововведений:

• поддержка процессоров Turing, таких, как Quadro RTX и GeForce GTX 2000;
• оптимизация библиотек с использованием преобразования Фурье и разложения Холецкого;
• поддержка библиотеки nvJPEG для двукратного ускорения декодирования JPEG-изображений;
• программная модель CUDA Graphs для выполнения потока define-once-run-repeatedly;
• расширение возможностей взаимодействия между CUDA и графическими API, включая Vulcan и DirectX 12;
• новое семейство продуктов Nsight для отслеживания, профилирования и отладки приложений.

Чтобы получить уведомление о релизе CUDA 10, необходимо стать участником программы NVIDIA Developer.

Помимо работы над новой версией CUDA, NVIDIA, в частности, разработала графическую архитектуру Turing с поддержкой трассировки лучей в реальном времени.

Особенности архитектуры Turing

Новая разработка NVIDIA получила поддержку трассировки лучей в реальном времени, которая обеспечивается специальными процессорами — RT-ядрами. Они ускоряют обработку света и звука в объемной среде до 10 гигалучей (Gigarays) в секунду, а также расчеты трассировки лучей в 25 раз по сравнению с предыдущей архитектурой Pascal.

Кроме того, NVIDIA Turing оборудована тензорными ядрами для усовершенствования работы глубоких нейронных сетей, которые совершают до 500 трлн тензорных операций в секунду. Такая производительность используется новым SDK NVIDIA NGX для интеграции графики, звуков и видео в приложения с обученными нейронными сетями.

Новый стриминговый мультипроцессор, которым оснащены видеоускорители на базе Turing, добавляет целочисленный исполнительный блок параллельно к каналу данных с плавающей точкой и новую унифицированную архитектуру кэша с удвоенной по сравнению с Pascal полосой пропускания. GPU, оборудованные 4608 ядрами CUDA, обеспечивают до 16 трлн целочисленных вычислений в секунду параллельно с операциями с плавающей точкой.

Видеоускорители на базе новой платформы

Одновременно с анонсом NVIDIA Turing Дженсен Хуанг представил первые видеокарты, построенные на новой архитектуре: Quadro RTX 8000 за 10 000 $, Quadro RTX 6000 за 6300 $ и Quadro RTX 5000 за 2300 $. Кроме того, СЕО компании анонсировал сервер NVIDIA Quadro RTX для рендеринга по запросу в крупных датацентрах. Среди основных характеристик новых продуктов:

• от 16 Гб памяти типа GDDR6 производства Samsung, поддерживающей обработку комплексных графических ресурсов вроде фильмов в формате 8К;
• технология NVIDIA NVLink для связки двух видеокарт и получения кластера, способного передавать данные со скоростью 100 ГБ/с, а также имеющего до 96 ГБ памяти;
• нативная поддержка технологии VirtualLink для унифицированного подключения VR-устройств через USB Type-C;
• графические инструменты Variable Rate Shading, Multi-View Rendering и VRWorks Audio для усовершенствованных VR-приложений.

В ходе конференции компания также опубликовала обучающие материалы по использованию технологий NVIDIA RTX и расширения Microsoft DXR для DirectX для разработчиков, желающих добиться графики кинематографического качества в своих игровых проектах.

Инструменты для 3D-дизайнеров

В качестве примера компания представила созданные в Allegorithmic Substance Designer материалы ткани. Их можно сохранить в библиотеке и быстро перенести в приложение Adobe Dimension CC. Инструменты также были внедрены в набор Unreal Studio 4.20 от Epic Games, предназначенный для импорта 3D-моделей в движок Unreal Engine.

Теперь, когда мы добавили поддержку MDL в Unreal Studio, наши клиенты могут видеть, что их визуальные представления реализуются в Unreal Engine в реальном времени без ручной настройки каждого параметра.

Набор инструментов также содержит компоненты для загрузки, проверки и редактирования параметров материалов и их конвертирования в форматы PTX и LLVM-IR. Набор доступен для скачивания на GitHub.

NVIDIA не единственная компания, открывающая исходный код инструментов для 3D-моделирования. В августе 2018 года Google выложила на GitHub код движка Filament для реалистичной отрисовки трехмерных сцен.

Содержание инструкции

Пособие состоит из двух частей. Первый раздел объясняет процесс настройки Windows 10 и среды программирования на примере тестового приложения на основе DirectX 12. Второй раздел обучает установке необходимых фреймворков в приложение, настроенное по инструкции из первой части.

Представленные примеры просты, но закладывают основу для использования в более сложных проектах. Отказ от стандартной растеризации избавляет разработчиков и художников от лишней работы.

Технология NVIDIA RTX была представлена в марте 2018 года. Она обеспечивает отрисовку трехмерной графики кинематографического уровня в реальном времени.

Apple без OpenGL

macOS по-прежнему будет запускать приложения с устаревшими фреймворками, но не гарантирует стабильность их работы. Apple порекомендовала разработчикам перейти на собственный API и использовать шейдеры Metal и Metal Performance. Инструкция по переносу кода в Metal представлена в документации.

Компания поддерживала OpenGL с 90-х годов. Инструмент стал популярен среди разработчиков благодаря открытому исходному коду и кроссплатформенности. Его преемник Vulkan API был представлен в 2015 году, но macOS его не поддерживает. В свою очередь, Metal API не является кроссплатформенным.

Несмотря на отсутствие поддержки Vulkan API, разработчики могут использовать часть его преимуществ. Для этого была создана библиотека MoltenVK, представленная в феврале 2018 года.

Примечание Вы читаете улучшенную версию некогда выпущенной нами статьи.

Кратко о главном: в обзоре рассмотрены 10 графических библиотек и фреймворков для C++ — от универсального Qt и минималистичного SFML до специализированных решений вроде Juce для аудио и Cairo для векторной графики. Выбор зависит от задачи: для игр подойдут SFML, SDL и Cocos2D-X, для десктопных приложений — Qt, GTK+ и wxWidgets, а для нативного внешнего вида — wxWidgets и Nana.

1. SFMLQtCairoCocos2D-XJucewxWidgetsSDL 2.0GTK+Заключение

SFML

SFML (Simple and Fast Multimedia Library) — одна из самых удобных и быстрых графических библиотек для C++. Её неоспоримое преимущество — минимальные требования к уровню знаний языка и лёгкость освоения: всего за несколько дней можно написать вполне полноценную программу. К примеру, первое графическое приложение «SFML works!» можно написать всего за минуту. Ещё одно преимущество — кроссплатформенность: SFML работает под Windows, Linux (только X11, но не Wayland) и Mac OS, планируется выход под Android и iOS.

SFML библиотека используется по большей части небольшими стартапами и программистами, для которых создание игр — хобби. SFML популярен среди небольших команд благодаря тому, что разработка графической части программы не требует написания больших объёмов кода.

Попробуйте пройти начальный курс.

Qt

Qt представляет собой целый набор инструментов для быстрого и удобного проектирования GUI. Конечно же, здесь можно писать и игры — почему бы и нет? — но Qt привлекает программистов в основном тем, что она является быстрой, удобной, гибкой и кроссплатформенной. Во многом Qt обогнала даже SFML: библиотека доступна как на Windows, Linux и Mac OS, так и на мобильных платформах — Windows Mobile, Android и iOS.

Qt расширяет C++ с помощью МОК (Мета-объектного компилятора) и предоставляет дополнительные функции (например, сигналы и слоты). Также имеет платную службу поддержки (как и платную лицензию). Для Qt есть большой выбор IDE: QtDesigner, QtCreator, QDevelop, Edyuk, а также доступна интеграция с Visual Studio, Eclipse и XCode.

Qt является open source продуктом, в разработке которого можно принять участие. О других open source проектах для C++ читайте в нашей статье.

Вы можете пройти готовый курс по данной библиотеке.

Cairo

Cairo — библиотека для отрисовки векторных изображений под Linux, Windows и Mac OS. К примеру, такой крупный проект, как Mozilla, использует Cairo в браузерном движке Gecko. Также Cairo лежит в основе некоторых операционных систем (MorphOS, AmigaOS) и приложений (InkScape, Synfig, Graphite). При использовании библиотеки будьте готовы к отсутствию русскоязычных ресурсов.

Cairo может взаимодействовать с OpenGL бэкендом с поддержкой GPU, что, конечно, открывает целый список полезных функций.

Cocos2D-X

Кроссплатформенная библиотека Cocos2D-X призвана упростить разработку мобильных игр. Поддерживает все те же платформы, что и Qt. Из плюсов стоит отметить доступность, удобство эксплуатации и создание отдельного конструктора игр, основанного на библиотеке Cocos Creator. В списке игр, основанных на движке, есть всемирно известная BADLAND, работающая на всех доступных платформах.

Если при создании игры вам нужно работать с графикой и анимацией в больших объёмах, то лучше использовать Unity вместо Cocos2D-X. Unity имеет возможность плавной интеграции с такими инструментами, как Photoshop, Maya или Blender. В Cocos2D-X вся графика добавляется извне и на неё ссылаются из кода.

В Рунете нет уроков по этой библиотеке, но на английском языке есть отличный курс от разработчиков.

Juce

Juce — кроссплатформенный фреймворк, предназначенный для создания приложений и плагинов на языке C++.

Документации по Juce много, но не на русском языке. Поэтому можно скачать книгу «Программирование на C++ с JUCE 4.2.x: Создание кроссплатформенных мультимедийных приложений с использованием библиотеки JUCE на простых примерах».

Juce больше популярен среди разработчиков аудио — ПО благодаря набору интерфейсов-оболочек для построения аудио плагинов.

wxWidgets

wxWidgets — одна из старейших, но в то же время наиболее известных графических библиотек для отрисовки GUI. Её основной плюс — производительность. Если QT использует низкоуровневый код лишь для таких элементов, как кнопки и полосы прокрутки, то wxWidgets для каждой системы свой, и благодаря этому все элементы отображаются максимально похожими на системный стиль.

Важная особенность wxWidgets заключается в использовании «родных» графических элементов интерфейса операционной системы везде, где это возможно. Это существенное преимущество для многих пользователей, поскольку они привыкают работать в конкретной среде, а изменения интерфейса программ часто вызывают затруднения в их работе.

В Сети есть урок по работе с библиотекой от её разработчиков.

SDL 2.0

SDL — кроссплатформенная 2D-библиотека, предназначенная для написания приложений (в основном игр). Поддерживаются Windows, Linux, Mac OS, а также Android, Windows Mobile и iOS. Преимущества библиотеки — быстрота, надёжность и лёгкость в эксплуатации. Также в библиотеке реализованы профессиональные инструменты для работы со звуком — это большой плюс при разработке крупных проектов.

Комбинируется с wxWidgets и хорошо интегрируется с OpenGL.

Существует целый цикл уроков, размещённый на Habr.

GTK+

Пожалуй, одна из самых известных графических библиотек. GTK+ — графический фреймворк, широко применяемый во многих системах. Изначально он задумывался как компонент GIMP, но за 20 лет после выпуска первой стабильной версии он нашёл применение в сотнях других приложений.

Сейчас GTK+ — это полноценный графический фреймворк, не уступающий тому же QT. Он поддерживает разные языки программирования и продолжает развиваться.

В своё время библиотека создавалась в качестве альтернативы Qt, которая была платной. GTK+ — один из немногих фреймворков, которые поддерживают язык C. Библиотека кроссплатформенная, но есть мнение, что программы на Linux выглядят более нативно, чем на Windows или Mac OS (GTK+ хорошо поддерживается даже на KDE). Интересно, что из-за некоторых проблем с кроссплатформенностью Wireshark перешла на Qt.

Пример первой программы можно посмотреть на Википедии.

Fast Light Toolkit

FLTK (произносится как «‎фуллтик») — графическая библиотека, которая работает на Windows, Linux (X11) и Mac OS. Поддерживает 3D графику с помощью OpenGL и имеет встроенный GLUT симулятор. Есть встроенный софт для создания интерфейсов — FLUID. Документация по библиотеке находится здесь.

Nana

Nana — это кроссплатформенная библиотека для программирования GUI в стиле современного C++. Поддерживаемые системы: Windows, Linux (X11) и Mac OS (экспериментально). Поддержка С++11\17 даёт возможность использовать современные фичи C++: лямбды, умные указатели и стандартную библиотеку. Так как это не фреймворк, использование Nana не будет оказывать влияния на архитектуру программы.

Здесь можно посмотреть документацию и примеры.

Часто задаваемые вопросы

Какую графическую библиотеку C++ выбрать новичку?

Для начинающих лучше всего подойдёт SFML — она требует минимальных знаний C++ и позволяет написать первое графическое приложение буквально за минуту. Если нужно создавать десктопные приложения с GUI, стоит обратить внимание на Qt — у неё обширная документация и большое сообщество.

Чем отличается Qt от GTK+?

Qt — коммерческий продукт с открытым исходным кодом, расширяет C++ мета-объектным компилятором и предоставляет собственные IDE. GTK+ изначально создавался как свободная альтернатива Qt, лучше всего работает на Linux и поддерживает язык C. Обе библиотеки кроссплатформенные, но Qt обеспечивает более единообразное поведение на разных ОС.

Какую библиотеку использовать для разработки игр на C++?

Для 2D-игр подойдут SFML и SDL — обе библиотеки предоставляют низкоуровневый доступ к графике, звуку и вводу. Для мобильных игр стоит рассмотреть Cocos2D-X с его конструктором Cocos Creator. Для крупных проектов с 3D-графикой и анимацией лучше использовать полноценные движки вроде Unity или Unreal Engine.

Существуют ли GUI-библиотеки для C++ с поддержкой современного стандарта C++17/20?

Да, библиотека Nana специально разработана для использования с современным C++ (C++11/17) и поддерживает лямбды, умные указатели и стандартную библиотеку. При этом Nana не является фреймворком, поэтому не навязывает архитектуру проекту.

Заключение

Всегда следует учитывать особенности той или иной технологии. Выпишите список функций своего приложения, ещё раз прочитайте описания всех графических библиотек C++, и только после этого выбирайте то, что подойдёт вам больше всего.

Улучшенное оформление

Разработчики предоставили набор легковесных тем и возможность изменения пиктограмм инструментов. На выбор даются цветные и монохромные иконки, не привязанные к стилю оформления. На экранах с высокой плотностью пикселей их размер увеличивается автоматически.

Производительная обработка

Вместо устаревшей пиксельной обработки используется фреймворк GEGL. Он позволяет работать с массивами данных, которые превышают размер оперативной памяти, и увеличивает эффективность обработки изображений. Ранее глубина цвета была ограничена 8 битами, но в GIMP 2.10.0 она может достигать 16 и 32 бит.

Расширенный инструментарий GIMP

Список возможностей значительно увеличился, самые важные из них:

• Инструмент трансформации поддерживает вращение, масштабирование, наклон и изменение перспективы. Преобразования вносятся прямо на холсте без открытия дополнительного окна.
• Диалог управления кистями дополнился вариантами от проекта MyPaint. Каталог оснащен поисковиком по тегам и окном предварительного просмотра.
• Появился режим симметричного рисования, доступный через диалог Symmetry Painting. Он позволяет отразить нарисованные элементы по диагонали, горизонтали, круговой симметрии и другим направлениям.
• Плагин iWarp для деформации объектов заменен полноценным инструментом Warp Transform. Предпросмотр в высоком качестве можно отключить в настройках.
• Заливка градиентом Blend Tool переименована в Gradient Tool и работает без открытия дополнительных окон. Точки управления цветом можно добавлять, перемещать и удалять, а также менять режимы их наложения.
• Внедрена поддержка нескольких новых форматов изображений: OpenEXR, RGBE, WebP, HGT.
• Технология субпиксельного выделения упрощает работу с волосами и другими сложными объектами на текстурированном фоне. Инструмент обзавелся новым интерфейсом и двумя масками.

Полный список изменений со скриншотами представлен в примечаниях к релизу. GIMP 2.8 доступен на платформах Windows, macOS и Linux.

Пока графический редактор расширял свой инструментарий, в обработке изображений значительно преуспели нейронные сети. В январе 2018 года исследователи из «Сколково», «Яндекса» и Оксфорда представили проект Deep Image Prior, предназначенный для уменьшения шума на фотографиях.

Результаты тестирования

AV1 опередил x264 (main profile) на 50,3 %, x264 (high profile) на 46,2 % и libvpx-vp9 на 34,0 % по уровню сжатия, но вследствие усложненных алгоритмов ожидаемо проиграл им по времени кодирования. Разрешения UHD/4K и 8K были принципиально исключены из тестирования, так как эффективность нового видеокодека возрастает с увеличением разрешения.

Оценка PSNR (экономия битрейта по сравнению с x264 и libvpx-vp9):

Оценка SSIM:

Скорость кодирования:

Каждое видео дополнительно было пропущено через двухпроходный режим стриминга с адаптивным битрейтом (ABR). Разница по битрейту оказалась несущественной, но время кодирования для AV1 и x264 возросло.

Оценка PSNR в ABR:

Оценка SSIM в ABR:

Скорость кодирования в ABR:

Подробнее с результатами тестирования можно ознакомиться в блоге Facebook Code.

Революция потокового видео

Многие компании, включая Google, Twitch, Amazon и Microsoft, а также разработчики браузеров и производители чипов уже выражали заинтересованность в поддержке AV1 в своих продуктах. Видеокодек снизит планку входа на рынок потокового видео для стартапов и упростит его добавление в любые приложения, включая мессенджеры.

Напомним, что AV1 на основе Google VP10, Daala и Cisco Thor выпущен альянсом Open Media в конце марта 2018 года. Видеокодек поддерживает разрешение до 4К, а создатели отказались от взимания выплат за его использование.

Преимущества кодека

B основе AV1 лежат технологии кодеков Google VP10, Daala и Cisco Thor. Высокий уровень сжатия без потери качества позволяет организовывать онлайн-трансляции с разрешением выше 4096 × 3072 пикселей.

Исследование Bitmovin показало, что AV1 справляется с кодированием 4K-видео на 30 % эффективнее, чем AVC, VP9 и HEVC/H.265. Результат улучшается по мере увеличения качества: на высоких битрейтах преимущество перед VP9 достигает 27 %, а перед HEVC — 43 %.

Цели альянса Open Media

По данным Cisco Visual Networking Index, к 2021 году 82 % интернет-трафика будет состоять из видео. Союз 12 компаний, среди которых Google, Microsoft и Apple, надеется, что новый кодек откроет доступ к 4K-контенту широкой публике.

Альянс пытается защитить AV1 от организаций, требующих выплаты отчислений. По условиям лицензионного соглашения, пользователи кодека получают право на бесплатное использование связанных с ним патентов. Им запрещено подавать друг на друга судебные иски. При таких условиях угроза для AV1 может исходить только со стороны патентных троллей, которые ничего не производят, а только владеют интеллектуальной собственностью.

В январе 2018 года стало известно, что технология сжатия AV1 также может стать новым форматом изображений. Указывалось, что компании начнут двигаться в этом направлении как раз после завершения работы над видеоконтентом.

Возможности

По словам создателей, Unreal Studio позволяет быстро и без потерь перемещать данные из 20 систем автоматизированного проектирования и 3ds Max в Unreal Engine. Основными компонентами «студии» являются:

• Datasmith — набор инструментов для «умного» импорта графики в среду движка;
• функции фотореалистичной отрисовки объектов;
• инструмент для манипулирования ассетами и сценами с помощью Python и Blueprint;
• эксклюзивный набор из 100 разновидностей материалов и текстур, которыми можно оснастить любой объект;
• несколько десятков обучающих видеороликов для специфических предметных областей.

Более подробно ознакомиться с деталями новинки и скачать бесплатную бета-версию можно на официальной странице Unreal Studio.

Напомним, что актуальная стабильная версия движка Unreal Engine 4.18 вышла в конце октября 2017 года.

«Тонкая прослойка»

Как сообщает издание ARSTechnica, «яблочная» компания долгое время сопротивлялась каким-либо новшествам в программном обеспечении для графических процессоров. Однако, в конце концов, Apple пришла к собственной разработке — API Metal. По многочисленным просьбам разработчиков, не желавших учить очередной стандарт, была создана специальная надстройка над Metal — MoltenVK, подарившая проприетарному решению большую часть возможностей привычного Vulkan.

Все достоинства API Vulkan в MoltenVK не отражены, однако, по словам разработчиков, она является достойной портативной версией инструмента, вполне охватывающей все основные программные нужды.

Первые последователи

Одними из первых новый интерфейс применили разработчики из Valve. Они тестировали API на macOS-версии игры Dota 2, и результаты оказались впечатляющими. Частота кадров с MoltenVK почти вдвое превысила этот же показатель у сборки на OpenGL.

API MoltenVK распространяется под лицензией Apache 2. Все желающие могут изучить новый инструмент бесплатно в пробной версии.

Разница между волосами и шерстью

Актуальные методы рендеринга обрабатывают волосяной покров людей и животных по единому алгоритму. Они не учитывают, что шерсть, в отличие от волос, отражает свет под другим углом из-за более объемной медуллы — центральной части волосяного стержня. Игнорирование этого важного свойства приводит к нереалистичному виду персонажей-животных в играх и кино.

Отрисовка полупрозрачных волокон

Для рендеринга шерсти лучше подходит метод подповерхностного рассеивания. Он просчитывает, под каким углом должен отразиться свет, проникший в полупрозрачные тела. В реальности эффект такого рассеивания можно увидеть, включив фонарик в темной комнате и приложив к нему палец. На пальце будет видно кольцо света, потому что он прошел сквозь ткани, рассеялся и вернулся.

Нейросеть как помощник в рендеринге

Подповерхностное рассеивание требует сложных математических вычислений, поэтому исследователи воспользовались нейронной сетью. Обработав одну сцену, нейросеть научилась применять метод и к другим 3D-моделям. Алгоритм оказался эффективным даже при обработке человеческих волос — учитывание прозрачности так же повышает их реалистичность.

Использование в будущем

Руководитель исследования Рави Рамаморти (Ravi Ramamoorthi) объявил, что алгоритм работает в 10 раз быстрее, чем используемые в студиях методы. В будущем исследователи хотят добиться обработки в реальном времени, чтобы алгоритм мог использоваться в компьютерных играх.

Костыль или полезная вещь?

Идея разработки основывается на проблеме раскадровки видеоряда. Длина одного кадра при 24 FPS приблизительно равна 0,04166666667 секунды. При работе со стандартными в этом деле наносекундами неизбежно использование чисел с плавающей точкой, что вызывает неточности в синхронизации. Используя Flick, пользователи могут не переживать по этому поводу, так как будут иметь дело с целочисленными значениями времени. При этом неважно, имеет ли видео частоту 24, 80 или 120 герц.

Спецификация Flick опубликована на GitHub в репозитории OculusVR — компании, принадлежащей Facebook — в виде библиотеки на C++. Хотя, похоже, Facebook и ожидает использования Flick в сфере дополненной реальности, разработка уже сейчас может быть полезна, например, при проектировании визуальных эффектов, основанных на CGI.

Слово для обозначения единицы ввёл ещё в 2016 году бывший сотрудник Oculus Story Studio Кристофер Хорват. По его словам, само придумывание единицы и работа над ней заняли у него несколько недель, но процесс прохождения инициативы через Facebook Open Source потребовал более года.

Хорошо проработанная анимация с использованием CSS, jQuery или простых анимированных GIF-файлов — это возможность оживить интерфейс сайта и добавить ему оригинальности. Продуманные анимации могут выполнять развлекательную функцию во время ожидания загрузки контента, за счёт чего можно привлекать внимание и удерживать интерес пользователей.

В этом уроке будет использован Sketch для создания основных форм и Principle для быстрого создания загрузочной анимации. Вы научитесь создавать красочные анимации, используемые такими порталами, как Trello, Flickr, Slack и т.д.

Principle и Sketch — это довольно дорогостоящие продукты для macOS (для прохождения этого руководства можно скачать бесплатную пробную версию). Тем, у кого нет возможности или желания их использовать, мы предлагаем на выбор аналоги указанных выше программ, которые либо свободно распространяются, либо предлагают небольшой период бесплатного обслуживания.

Для macOS/Windows:

• Justinmind — создание анимаций и прототипов (аналог Principle);
• Inkscape — создание основных форм в формате SVG, есть импорт в PNG (аналог Sketch);
• atomic.io — создание анимаций и прототипов (30 дней бесплатно, облачный сервис, аналог Principle);
• loading.io — создание загрузочной анимации (web-приложение, которое позволяет создавать анимацию при помощи встроенных элементов. Присутствует возможность использования собственных файлов, аналог Principle).

Также для macOS есть Origami, с помощью которого можно создавать прототипы и анимации (аналог Principle).

Загрузочная анимация Slack

1. В Sketch создайте 4 квадрата со сторонами 50 px и округлите их края. Они должны выглядеть, как идеальные круги. В этом уроке будут использоваться именно квадраты с закруглёнными краями вместо кругов, так как только таким образом мы сможем создать эффект растяжения линии в анимации.
2. Разместите четыре фигуры таким образом, чтобы они образовали воображаемый квадрат со сторонами 150 px каждая. Примените к фигурам разные цвета (#35BA90 — зелёный, #69CADD — синий, #EBA900 — жёлтый, #E20661 — розовый).
3. Импортируйте фигуры в Principle, сгруппируйте их и нажмите «Create Component» (Создать компонент), таким образом будет создана группа.
4. Войдите во вложенную группу и поверните артборд на 15 градусов. Затем выберите каждый отдельный круг и верните его в исходное положение (назад на 15 градусов). Это создаст эффект растяжения по прямой линии.
5. Примените триггер «Auto» к артборду, а затем растяните каждый закруглённый прямоугольник на противоположную сторону артборда с длиной в 295 px. Поставьте уровень непрозрачности на отметку 75 % для каждой фигуры на обоих артбордах.
6. Примените ещё один триггер «Auto» для второго артборда. Создайте новый артборд и в нём уменьшьте каждую линию до её первоначальной ширины — 50 px.
7. Свяжите первую и последнюю рабочие области с помощью триггера «Auto». Нажмите кнопку «Back to Parent» (Вернуться к родительскому элементу), чтобы посмотреть конечный результат.

Подсказка: При возвращении к родительскому элементу можно повернуть основную группу на -30 градусов, чтобы увеличить сходство с анимацией Slack. Кроме того, вы можете изменить скорость анимации внутри панели «Animation» и применить эффект «Ease Both» (Смягчение), чтобы сгладить переходы.

Процесс целиком:

Загрузочная анимация Trello

1. Откройте Sketch и создайте синий квадрат со сторонами 200рх.
2. Вставьте внутрь этого квадрата прямоугольник с шириной 60рх и высотой 140рх.
3. Выровняете его сверху слева с отступом в 30рх от левой и верхней сторон квадрата.
4. Продублируйте белый прямоугольник и переместите вправо, оставив отступ в 30рх справа и сверху.
5. Уменьшьте высоту правого прямоугольника до 70рх.
6. Импортируйте артборд в Principle и примените триггер «Auto», чтобы создать новый ключевой кадр.
7. На новом артборде измените высоту белых прямоугольников, выставив для левого прямоугольника высоту в 70рх, а для правого — в 140рх.
8. Примените эффект «Ease both» (Сглаживание) на панели «Анимация», чтобы сгладить переход.

Процесс целиком:

Анимация «Вращающийся круг»

1. В Sketch создайте круг с пунктирной обводкой и сделайте дополнительные промежутки в ней (Dash и Gap), не применяйте заливку.
2. Для параметра ширины задайте 10 px. Примените к обводке угловой градиент (Angular Gradient), который подчеркнёт эффект вращения, к его созданию мы перейдём немного позже.
3. Откройте новый файл в Principle и импортируйте круг из Sketch, нажав кнопку «Import». Примените подряд два триггера «Auto».
4. Выберите круг на артборде посередине и измените его угол на 360 градусов.
5. Затем выберите третий круг, дайте ему другое имя внутри панели слева. Таким образом будет создана имитация бесконечного вращения.
6. Свяжите первый артборд с третьим с помощью триггера «Auto».
7. Примените линейный переход к временной шкале между первым и вторым артбордами.
8. Откройте окно предпросмотра, чтобы проверить, как работает анимация.

Процесс целиком:

Загрузочная анимация Flickr

1. Создайте рядом друг с другом, как на GIF-анимации, два круга — синий и розовый.
2. Импортируйте их в Principle, затем примените триггер «Auto», чтобы создать новый артборд.
3. Поменяйте круги местами, применив снова триггер «Auto», чтобы создать третий артборд. На третьем артборде измените порядок наложения кругов на панели слева.
4. Примените третий триггер «Auto», чтобы создать четвёртый артборд. На нём измените положение кругов, затем примените триггер «Auto», соединяя последний артборд с первым.

Процесс целиком:

Тип анимации «Loading…»

1. Создайте новый проект в Principle. Затем, используя инструмент «Text», напишите «LOADING». Выровняйте текст слева по горизонтали и справа по вертикали относительно артборда.
2. Примените триггер «Auto» пять раз подряд. Свяжите пятый артборд с первым при помощи того же триггера.
3. Начиная с первого артборда, измените текст на каждом. Первую надпись оставьте без точки, ко второй прибавьте одну точку, к третьей — 2 точки, к четвёртой — 3 точки, к пятой — 2 точки, к шестой — одну точку. Ваш результат должен выглядеть примерно так:
   LOADING LOADING. LOADING.. LOADING… LOADING.. LOADING.

Процесс целиком:

Анимация «Мигающие точки»

1. Создайте точку с диаметром в 60 px. Скопируйте и вставьте ещё одну точку и переместите её на 60 px вправо. Убедитесь, что оба объекта, включая промежуток, идеально отцентрированы на артборде.
2. Примените триггер «Auto» четыре раза подряд.
3. На втором артборде уменьшьте размер второй точки до 30 px.
4. На третьем артборде уменьшьте вторую точку до 0 px, а первую — до 30 px.
5. На четвёртом артборде увеличьте вторую точку до 30 px, а первую уменьшьте до 0 px.
6. На пятом артборде увеличьте первую точку до 30 px, соедините эту рабочую область с первой с помощью триггера «Auto».

Процесс целиком:

Анимация «Вращающиеся точки»

1. Расположите пять точек так же, как они выглядят на 6-сторонних игральных костях. Импортируйте рабочую область в Principle, затем отцентрируйте.
2. Примените триггер «Auto» к артборду.
3. На новом артборде поверните группу точек на 360 градусов.
4. Соедините второй артборд с первым, используя триггер «Auto».

Процесс целиком:

Анимация «Пульсирующий круг»

1. Создайте пустую окружность с диаметром 150 px, для ширины контура поставьте значение в 5 px. Затем создайте круг с диаметром 50 px и выровняйте его в центре окружности.
2. Примените триггер «Auto» три раза подряд.
3. На первом артборде уменьшьте внешний контурный круг до 50 px, а внутренний круг — до 10 px.
4. На третьем артборде увеличьте контурный круг до 200 px и поставьте 0 % для параметра непрозрачности. Затем увеличьте внутренний круг до 150 % и выставьте 50 % непрозрачности.
5. На последнем артборде увеличьте внутренний круг до 200 px с параметром непрозрачности в 0 %. Уменьшьте контурный круг до 50 px и выставьте 25 % непрозрачности.
6. Примените триггер «Auto» к последнему артборду. Уменьшьте внутренний круг до 10 px и выставьте параметр непрозрачности в 50 %
7. Соедините последний артборд с первым триггером «Auto».

Процесс целиком:

Анимация «Подпрыгивающие точки»

1. Создайте три идеально ровных круга с диаметром 50 px и выставьте их в один ряд с расстоянием между ними в 50 px.
2. Примените триггер «Auto». Затем на втором артборде переместите второй круг на 50 px вверх.
3. Примените триггер «Auto» ко второй рабочей области. На третьем артборде выберите первые два круга и поднимите их на 50 px. Все три объекта должны таким образом выстроиться в диагональную линию.
4. Примените триггер «Auto» к третьему артборду. На четвёртом — опустите первый круг на 50 px. Выделите последние два объекта, поднимите их на 50 px.
5. Примените триггер «Auto» к четвёртому артборду. На пятом — переместите первые два круга вниз на 50 px. Выделите последний круг и поднимите его на 50 px.
6. Примените триггер «Auto» к пятому артборду. На шестом — переместите последние два круга вниз на 50 px.
7. Наконец, вернитесь к первому артборду, затем поместите первую точку на 50 px выше. Соедините первый артборд с последним.

Процесс целиком:

Классическая анимация загрузки

1. Откройте Sketch, создайте круг без заполнителя. Для параметра ширины контура задайте 20 px и выберите серый цвет.
2. Скопируйте и вставьте тот же круг на том же месте (продублируйте круг) и измените его цвет, например, на голубой.
3. Создайте квадрат поверх четверти голубого круга. Переместите слой с квадратом под слой с кругом и примените «Mask» (Маска) к слою с квадратом.
4. Импортируйте файл в Principle с помощью кнопки «Import».
5. Примените триггер «Auto» к первому артборду и поверните голубой круг на 360 градусов.
6. Также примените триггер «Auto» ко второму артборду, измените название третьего слоя с кругом на «копию», соедините последнюю рабочую область с первой при помощи триггера «Auto».

Процесс целиком:

Заключение

После того, как вы потренировались и создали анимации собственноручно, у вас должно появиться чувство уверенности в своих возможностях. Теперь вы обладаете базовыми навыками создания веб-анимации, которые вы почерпнули из нашей статьи.

Немного воображения и такие удобные инструменты, как Sketch и Principle (или их аналоги) позволят вам создавать уникальные анимации загрузки, которые будут соответствовать дизайну вашего сайта или приложения. Ваши пользователи, может, и подсознательно, но точно это оценят.

Короткое видео, опубликованное профессором Дэниелом Сикорой, напоминает о недавних проектах, как например, об этом. В нем исследователи управляли лицами людей на видео таким образом, как будто они говорили что-то другое. Другая команда исследователей недавно научилась переносить стиль одной фотографии на другую. Так, например, можно было взять фото одного заката, а сверху наложить изображение другого, более эффектного.

Программа Сикоры делает что-то среднее, фокусируясь на лицах людей. Она способна перенести стиль нарисованной маслом картины или бронзовой статуи на говорящего в видео человека. Результат завораживает. Это похоже на то, что делают Snapchat, Facebook и Instagram (или на то, над чем они сейчас работают), однако, выходит это гораздо лучше.

Как это работает?

Не совсем понятно, как команда Сикоры добилась такого результата. Очевидно, что они использовали приемы машинного обучения. Программа может идентифицировать лица, отличать фон и передний план фото почти так же, как это делают визуальные алгоритмы современных компьютеров.

По всей видимости, подготовленный исследователями доклад об этом проекте был одобрен редакцией Transactions on Graphics — одного из журналов, выпускаемых Ассоциацией по вычислительной технике (США). Однако его опубликуют только этим летом, после того, как команда Сикоры представит свои разработки на конференции по вопросам компьютерной графики SIGGRAPH.

Основные нововведения

Функция Volumetric Fog позволяет автоматически отрисовывать реалистичный туман и дым с соответствующим освещением в любом месте кадра, поддерживает крупный масштаб:

Доступна полная поддержка Nintendo Switch для разработчиков, прошедших специальную регистрацию:

Дополнительные возможности симуляции поведения целых групп героев (lightweight rigid body character simulation), в том числе при их столкновении с окружающими объектами (immediate mode в PhysX API);

Разработчики получают больший контроль за симуляцией одежды героев — APEX был заменен на NvCloth от NVIDIA:

Переработан интерфейс VR-режима в редакторе Unreal Editor и добавлены новые возможности для разработки виртуальной реальности:

DirextX 12 сделали графическим API по умолчанию для Xbox One:

Для HTML5 добавлена поддержка WASM — нового стандарта WebAssembly, который позволяет наиболее быстро и эффективно компилировать и запускать C++ для веба:

Реализована поддержка пользовательских разрешений во время выполнения программы (runtime permissions):

Unreal Engine 4.16 предлагает еще много полезных улучшений, в том числе поддержку WebGL 2.0 и двукратно ускоренную сборку мусора. С полным списком изменений можно ознакомиться в примечаниях к выпуску.

Мы также работаем над сближением с Khronos Vulkan API для слияния продвинутой графики и вычислений на едином API.

Мишо удивило то, что такое важное заявление было так скромно преподнесено, и он начал искать подтверждение. И Khronos Group подтвердила свои намерения:

Рабочая группа OpenCL приняла решение объединить план развития с Vulkan и использовать его как основу для следующих поколений API явных вычислений. Это также отличная возможность для развития OpenCL в области слияния графики и вычислений.

Отсюда следует важное уточнение — OpenCL вольётся в Vulkan, а не наоборот.

И чем это выгодно?

Слияние двух открытых стандартов позволит разработчикам решать широчайший спектр потребностей при помощи одного API, содержащего всё лучшее из двух. Это должно сделать Vulkan ещё более популярным.

Очевидно, что пользователи ПК с процессорами AMD получат больше выгоды от этого слияния. Центральные и графические процессоры AMD особенно хорошо работают с играми, использующими Vulkan. Кроме того, AMD активно поддерживает платформу OpenCL, в то время как NVIDIA выступает за использование собственных API и платформы для параллельных вычислений CUDA.

Этот метод позволяет получить качественную картинку, но требует больших вычислительных мощностей и может делать изображения зашумленными. Для очистки изображений от шумов NVIDIA улучшила свой инструмент Iray, который теперь способен удалять шумы в реальном времени при помощи алгоритмов глубинного обучения и графических процессоров NVDIA Quadro.

Эту технологию можно использовать в любых областях, использующих графику: индустрии развлечений, дизайне, производстве, архитектуре, инженерном деле и многих других. Помимо Iray, её можно встроить и в другие системы трассировки лучей.

Как работает интерактивное удаление шумов в Iray?

Существующие алгоритмы тратят примерно по минуте для удаления шумов с одного кадра, что неприемлемо для интерактивных приложений. ИИ, используемый в Iray, предугадывает финальный результат, ориентируясь на уже очищенные части изображения, что позволяет удалять шумы в режиме реального времени, не дожидаясь отрисовки всего кадра.

Ускорение процесса было достигнуто при помощи использования автокодировщиков — нейронных сетей, которые обычно используются для повышения разрешения изображений, сжатия видео и прочих алгоритмов для обработки графики. ИИ был обучен на 15 тысячах пар изображений с различным уровнем зашумленной из 3 тысяч сцен при помощи суперкомпьютера NVIDIA DGX-1, причём менее чем за 24 часа. После обучения нейронная сеть способна удалять шумы за доли секунды почти с любого изображения — даже того, которого не было в наборе для обучения.

Важно, что вам не придётся беспокоиться о том, как устроена функциональность Iray. Сеть обучена заранее — вам нужно лишь нажать кнопку и наслаждаться результатом (правда, при наличии графического процессора архитектуры Pascal и лучше).

Как начать использовать Iray?

NVIDIA выпустит Iray SDK позже в этом году, а также добавит эту функциональность в NVIDIA Mental Ray. Кстати стоит отметить плагины NVIDIA для 3ds Max: новая версия Iray уже доступна, а Mental Ray теперь бесплатен.

Такой шаг сильно ударит по Imagination — она перестанет получать отчисления с продаж iPhone и iPad меньше, чем через два года, при том, что больше половины годового дохода компании приносит Apple. Стоит отметить, что в связи с этим известием стоимость акций Imagination упала почти на 70%.

Чего ждать?

Если всё действительно так, следующее поколение iPhone может увидеть свет уже с новым чипом из серии A, в котором и центральный, и графический процессор будут полностью разработаны Apple. Чтобы окончательно разобраться, в чём между ними разница — прочитайте нашу статью.

Напомним, что Apple уже достигла успеха в поле разработки CPU — её ARM-микропроцессоры часто превосходят конкурентов по техническим характеристикам. Тем не менее, ожидаемые графические чипы будут подвергнуты тщательному анализу: Imagination уже высказала свои сомнения по поводу способности Apple сделать полностью оригинальную микросхему и подозревает компанию в нарушении авторских прав.

Карта высот

Будем хранить ландшафт в виде карты высот — двумерного массива, в котором содержится информация о высоте каждой точки местности по координатам x и y. С помощью этой простой структуры данных можно визуализировать высоту как угодно — с Canvas, WebGL и т.д. Основное ограничение состоит в том, что мы не можем отображать вертикальные отверстия ландшафта, такие как пещеры или туннели.

Этот алгоритм можно применять к сетке любого размера, но удобнее всего использовать квадрат размера степени двойки + 1. Мы будем использовать одно и то же значение size для осей x, y и z, оформляя наш ландшафт в куб. Конвертируем detail в степень двойки + 1, чтобы при более подробной детализации генерировались кубы большего размера.

Алгоритм

Возьмём квадрат. Разделим его ещё на четыре квадрата и сдвинем их центры вверх или вниз случайным образом. Разделим каждый из них ещё на квадраты и повторим, раз за разом уменьшая диапазон случайного сдвига для получения более мелких деталей.

Это алгоритм «diamond-square». В нашем случае он немного усовершенствован для получения более реалистичного результата: пространство попеременно делится на квадраты (squares) и ромбы (diamonds).

Устанавливаем углы

Сначала нужно установить углам начальное значение seed, которое повлияет на остальную визуализацию. Код ниже поднимет все углы на половину высоты куба:

Делим карту

Теперь будем рекурсивно наблюдать за все более малыми делениями карты высот. При каждом делении мы будем разбивать карту на квадраты и обновлять положение центральной точки каждого из них во время фазы «square». Потом мы разделим карту на ромбы и обновим их центральные точки на этапе «diamond».

Использование переменной scale гарантирует, что величина сдвигов уменьшается вместе с величиной делений. Для каждого деления мы умножаем текущий размер на коэффициент неровности roughness, который определяет, будет ландшафт гладким (значения около 0) или гористым (значения около 1).

Формы

Обе формы (square и diamond) работают по одному принципу, но получают данные из разных точек. На фазе square перед случайным сдвигом мы находим среднее от четырех угловых точек, а на фазе diamond — от четырех точек на ребрах.

Визуализация

Этот алгоритм лишь даёт нам данные, которые мы уже можем визуализировать разными способами. Здесь мы совместим несколько техник для создания растровой изометрической 3D-проекции ландшафтной карты на сетке.

Задом наперёд

Сначала мы создаём вложенные циклы, которые вытаскивают прямоугольники с «задней части» нашей карты (y = 0) «вперёд» (y = this.size). Такой же цикл мы бы использовали для визуализации простого плоского квадрата.

Светотени

Наш непритязательный подход обеспечивает красивую визуальную текстуру. Мы сравниваем текущую высоту с высотой следующей точки, чтобы вычислить склон. И рисуем более яркие прямоугольники для более высоких склонов, чтобы заполнить одну сторону светом, а другую — тенью.

Изометрическая проекция

Визуально интереснее перевести наш ландшафт из фазы «square» в фазу «diamond» прежде чем делать его 3D-проекцию. Изометрическая проекция сводит верхний левый и нижний правый углы в центр изображения.

Центральная (перспективная) проекция

Мы будем использовать столь же простую 3D-проекцию для конвертации значений x, y и z в плоскую картинку с перспективой на 2D-экране.

Основная идея любой проекции перспективы состоит в том, чтобы разделить горизонтальную и вертикальную позицию на глубину таким образом, чтобы более далекие объекты казались меньше.

Собираем воедино

Создаем новый экземпляр Terrain с необходимым уровнем детализации. Затем генерируем его карту высот со значением неровности (roughness) между 0 и 1. Наконец, переносим ландшафт на сетку.

Можно посмотреть результат на сайте автора, а также изучить код на GitHub.

Если вам интересна разработка ландшафтов, советуем почитать наш перевод руководства «Создание ландшафта на Unity за 24 часа».

Что нового?

• Улучшенные техники освещенияВключенная в релиз предварительная версия Progressive Lightmapper предоставляет мгновенный фидбек при переключении между сценариями освещения и обеспечивает ускоренную итерацию по сравнению с текущим решением. Так же появился инструмент Light Modes, позволяющий по-разному совмещать «запеченное» (baked) и динамическое освещение.
• Повышение производительности графикиGPU Instancing, позволяющий применять специальные эффекты для групп похожих объектов, стал еще более эффективным благодаря поддержке Procedural Instancing. Появилась возможность повысить уровень детализации игры благодаря вычислительным шейдерам для Metal API.
• Поддержка Vulkan APIОна обеспечивает повышение скорости при уменьшении затрат вычислительных ресурсов драйверов и CPU. Это позволяет CPU совершать дополнительные вычисления и продлевает срок работы батарей для мобильных платформ.%save-sc0%
• Обновление Particle SystemРасширен ассортимент эффектов для «систем частиц», позволяющих визуализировать объекты без четкой формы, наподобие облаков, огня и жидкостей.
• Мультиплатформенный видеоплеер с воспроизведением в 4KПозволяет создавать видео для VR с 360-градусным обзором:%save-sc1%
• Улучшенная навигацияСистема NavMesh расширяет возможности управления несколькими мешами и агентами. Появились новые инструменты для генерируемого и динамически загружаемого контента.%save-sc2%
• Обновленный функционал для 2D-моделирования
• Визуализатор текста TextMesh Pro стал бесплатнымВ скором времени он будет полностью интегрирован с Unity.%save-sc3%
• Поддержка новых платформ: Facebook Gameroom, Google Daydream и Cardboard, Nintendo Switch
• Unity Collaborate (Beta)Добавлены новые функции при публикации изменений для лучшего управления совместными проектами в облачном сервисе.
• Экспериментальная поддержка стандарта WebAssembly

Скачать Unity 5.6 и прочитать все примечания к выпуску можно на официальном сайте.

Рейкастинг — один из методов рендеринга в компьютерной графике, при котором сцена строится на основе замеров пересечения лучей с визуализируемой поверхностью.

Игрок

Логично, что если мы создаем движок от первого лица, то наш игрок — это и есть точка, из которой будут выходить лучи. Для начала нам понадобится всего три свойства: координата x, координата y и направление:

Карта

Будем хранить карту с помощью двумерного массива. В нем 0 будет обозначать отсутствие стены, а 1 — её наличие. Для нашей реализации такой простой схемы будет достаточно.

Бросаем луч

Фишка в том, что при рейкастинге движок не рисует пространство целиком. Вместо этого он делит его на отдельные колонки и воспроизводит одну за одной. Каждая колонка представляет собой один брошенный под определенным углом луч. Если луч встречает на пути стену, он измеряет расстояние до нее и рисует прямоугольник в колонке. Высота прямоугольника определяется пройденным расстоянием — чем дальше стена, тем короче колонка.

Чем больше мы бросим лучей, тем более гладкими в результате будут переходы.

Найдем угол каждого луча

Угол зависит от трех параметров: направления, в котором смотрит игрок, фокусного расстояния камеры и колонки, которую мы в данный момент рисуем.

Проследим за каждым лучом на сетке

Нам нужно проверить наличие стен на пути каждого луча. В результате мы должны получить массив, в котором будут перечислены все стены, с которыми луч сталкивается, удаляясь от игрока.

Начинаем с того, что находим ближайшую к игроку горизонтальную stepX и вертикальную stepY линию сетки. Перемещаемся к той, что ближе, и проверяем на наличие стены с помощью inspect. Повторяем шаги до тех пор, пока не отследим до конца траекторию каждого луча.

Обнаружить пересечения на сетке легко: нужно просто найти все целочисленные x (1, 2, 3…). А потом найти соответствующие y с помощью умножения x на коэффициент угла наклона rise / run.

Прелесть этой части алгоритма в том, что размер карты не имеет значения. Мы рассматриваем только определенный набор точек на сетке — каждый раз примерно одно и то же количество. В нашем примере размер карты 32×32, но если бы он был 32 000×32 000, скорость загрузки была бы такой же.

Рисуем колонку

После того как мы отследили луч, нам нужно нарисовать все стены, которые встречаются ему на пути.

Мы определяем высоту каждой стены, деля её максимальную высоту на z. Чем дальше стена, тем короче мы её рисуем.

Откуда взялся косинус? Если мы будем использовать «чистое» расстояние от игрока до стены, то в итоге получим эффект «рыбьего глаза». Представьте, что вы стоите лицом к стене. Края стены слева и справа находятся от вас дальше, чем центр стены. Но мы же не хотим, чтобы при отрисовке стена выпирала посередине? Для того, чтобы визуализировать плоскую стену так, как мы её видим в реальной жизни, мы строим треугольник из каждого луча и находим перпендикуляр к стене с помощью косинуса. Вот так:

В нашей статье это — самая сложная математика, с которой придется столкнуться ?

Визуализируем

Используем объект Camera, чтобы отрисовать карту с точки зрения игрока. Объект будет отвечать за визуализацию каждой колонки в процессе движения слева направо.

Прежде чем он отрисует стены, мы зададим skybox — большое изображение для фона с горизонтом и звездами. После того, как закончим со стенами, добавим оружие на передний план.

Самые важные свойства камеры — разрешение, фокусное расстояние и диапазон.

• Разрешение определяет, сколько колонок мы рисуем (сколько лучей бросаем);
• Фокусное расстояние определяет ширину линзы, через которую мы смотрим (углы лучей);
• Диапазон определяет дальность обзора (максимальная длина каждого луча).

Собираем воедино

Используем объект Controls для снятия данных с клавиш-стрелок и сенсорной панели, а также объект GameLoop для вызова requestAnimationFrame. Цикл игры прописываем всего тремя строками:

Детали

Дождь

Дождь симулируем с помощью нескольких очень коротких стен, разбросанных произвольно:

Задаем ширину стены в 1 пиксель.

Освещение и молнии

Освещение — это, вообще-то, работа с тенями: все стены рисуются со 100% яркостью, а потом покрываются черным прямоугольником какой-либо прозрачности. Прозрачность определяется как расстоянием до стены, так и её ориентацией (север / юг / запад / восток).

Для симуляции молний, map.light случайным образом совершает резкий скачок до значения 2 и потом так же быстро гаснет.

Предупреждение столкновений

Для того, чтобы игрок не натыкался на стены, мы просто проверяем его следующую локацию по карте. Координаты x и y проверяем по отдельности, чтобы игрок мог идти вдоль стены:

Текстура стен

Без текстуры стена выглядела бы довольно скучно. Для каждой колонки мы определяем текстуру посредством взятия остатка в точке пересечения луча со стеной.

Например, для пересечения в точке (10, 8,2) остаток равен 0,2. Это значит, что пересечение находится в 20% от левого края стены (8) и 80% от правого края (9). Поэтому мы умножаем 0,2 на texture.width чтобы найти x-координату для изображения текстуры.

Можно посмотреть результат на сайте автора, а также изучить код на GitHub.

В чём преимущество WebGL 2.0?

WebGL 2.0 упрощает сборку 3D-приложений благодаря ускоренному рендерингу в реальном времени, новым типам текстур и ретушеров и сниженному потреблению видеопамяти. Теперь легко реализовать такие техники, как, например, отложенное освещение, эффекты частиц и тональная компрессия. Новые API позволили WebGL догнать по функциональности OpenGL ES 3.0, графическую платформу, используемую в мобильных играх.

Вдобавок к новым возможностям рендеринга, WebGL 2.0 предоставляет значительно расширенный набор тестов. Chrome проходит 100% тестов с графическими процессорами разных производителей на каждой платформе.

Для знакомства с WebGL 2.0 сперва ознакомьтесь с демками нововведений, набором WebGL 2.0 Samples Pack. Посмотреть на WebGL 2.0 в действии можно также в интерактивной демонстрации After the Flood, созданной PlayCanvas совместно с Mozilla.

Данный вопрос подняла команда разработчиков Apple, которая работала над движком WebKit. На собрании W3C они предложили создать общественную группу, которая будет работать над созданием интерфейса между браузерами и современной 3D-графикой. Высокая производительность при работе с нативными платформами будет являться основной целью группы.

В предложении по созданию общественной группы говорится:

Наша цель — это разработка нового API, который предоставит современные технологии в высокопроизводительном, мощном и безопасном виде. Он должен работать с уже существующими платформами, такими как Direct3D 12 от Microsoft, Metal от Apple и Vulkan от Khronos Group.

Разработчики браузерных движков, изготовители графических процессоров и любые другие люди, заинтересованные в развитии 3D-графики, приглашаются к вступлению в данную общественную группу.

Google и Microsoft пока не сообщили, будут ли они участвовать в работе над этим проектом. Mozilla же заявила, что предложение Apple может оказаться полезным в плане разработки, но сейчас слишком рано говорить об этом что-либо еще.

Текущий стандарт для рендеринга графики в Сети — это WebGL. Однако с момента создания WebGL технологии GPU и программное обеспечение заметно улучшились. Такие современные API, как Direct3D, Metal и Vulkan, предлагают куда лучшую производительность, чем WebGL. Большим минусом является то, что они не доступны для всех платформ, и именно это должна исправить будущая кроссплатформенная технология.

Следующим шагом было добавление машины. Здесь начались проблемы. Перед созданием красивой модели я решил начать с малого — с куба. Простой красный куб был создан и помещен на поверхность. Я запустил игру, но ничего не произошло. Куба не было. Чтобы куб было проще найти, я поместил его в центр карты, но его опять там не оказалось.

В программировании графики есть одна интересная вещь — обычно очень сложно найти источник ошибки. Нельзя применить отладчик к фрагментному шейдеру или посмотреть логи. Остается только изменять параметры, в надежде обнаружить ошибку.

После внимательного изучения своего кода я начал играться с параметрами. Сначала я поменял цвет куба с красного на белый и перезапустил игру. И знаете что? Маленький белый куб красовался на земле. Может быть я перепутал красный, зеленый и голубой каналы с альфа-каналом, задающим прозрачность? Я снова проверил, но ничего не нашел. Я поменял цвет на голубой, куб остался. Вернулся к красному. Куб исчез.

Это было странно. Почему не видно красный куб? Я проверил фрагментный шейдер. Я проверил режимы рендеринга. Я даже проверил настройки шаблона. Всё было хорошо. Но почему тогда мой куб не видно?

Я сделал его опять красным, и знаете что? Он появился! Я вернулся в самое начало, но теперь куб было видно! Ошеломленный, я отвел взгляд от монитора. Когда я посмотрел обратно, он опять исчез. Потом появился. Потом опять исчез. И тут меня осенило.

Куб был там все это время. Ошибка была не в программном или аппаратном обеспечении. И даже не в окружающем меня пространстве. Причина, по которой я не мог видеть красный куб на зеленом фоне, оказалась простой — я дальтоник, и путаю красный цвет с зеленым.

В качестве входных данных для алгоритма используется небольшая картинка, на основе которой создаётся похожее изображение произвольного размера. Самое главное, что привлекает внимание именно к этому проекту — то, насколько разнообразными могут быть итоговые изображения. Показать, что именно происходит, проще, чем рассказывать:

Сходство получаемых изображений с исходными гарантируется всего двумя правилами:

• Каждая область размером N*N пикселей в выходном файле должна хоть раз встречаться в исходном. N задаётся в параметрах генерации, в примерах выше обычно равняется трём.
• Частота, с которой встречается каждая из таких областей в выходном файле, должна быть примерно равна частоте, с которой эта область встречается в исходном. Т. е., другими словами, чем чаще область встречается в образце, тем чаще она будет встречаться и в сгенерированном изображении.

Соблюдение этих условий достигается сложным алгоритмом, основанным на суперпозиции каждой части N*N выходного изображения, прочитать про который можно в Readme проекта на Github. В целом алгоритм можно сравнить с разгадыванием судоку — поле делится на чанки размером N*N и каждый из них определяется в зависимости от своих соседей.

Алгоритм был вдохновлён квантовой механикой, однако по целому ряду причин (например — действительные коэффициенты, вместо комплексных) нельзя считать, что именно квантовые алгоритмы используются для генерации карт. В комментариях на Reddit даже нашёлся PhD (доктор наук) по физике, который предостерёг читателей от изучения квантовой механики на основе этого проекта. С его точки зрения, этот алгоритм было бы правильнее называть Байесовским выводом, чем редукцией фон Неймана (Wave function collapse), как указано в его названии.

На странице проекта так же выложена визуализация процесса генерации:

Алгоритм применим так же для создания изображений в высоком качестве и 3D моделей (однако отличается весьма низкой производительностю, при подобной работе):

Подробнее о проекте можно прочитать на его странице на GitHub.