NVIDIA предоставила независимым разработчикам доступ к новым программным библиотекам. Одна из них — DALI — имеет открытый исходный код, предназначена для работы с такими платформами глубокого обучения, как MXNet, TensorFlow, и PyTorch, и служит для оптимизации потоков данных и загрузки изображений. Библиотека nvJPEG позволяет извлекать информацию из JPEG-файлов.

Основные особенности DALI

Компания предлагает использовать DALI для обработки обучающих данных перед их передачей непосредственно во фреймворк. Вычислительная нагрузка перенаправляется на графический процессор. Загрузить библиотеку можно с GitHub.

Среди характеристик DALI числятся:

• простая интеграция с MXNet, TensorFlow и PyTorch за счёт использования соответствующих плагинов;
• быстрое извлечение данных формата JPEG с использованием библиотеки nvJPEG;
• настраиваемые потоки данных с регулируемыми графами и пользовательскими операторами;
• обучающие процессы с поддержкой различных форматов данных: JPEG, RAW, LMDB, RecordIO и TFRecord.

Особенности nvJPEG

Основные преимущества nvJPEG:

• распределение вычислительной нагрузки между центральным и графическим процессором;
• возможность обработки как одиночных файлов, так и целых пакетов;
• конверсия цветового пространства с поддержкой форматов RGB, BGR, RGBI, BGRI и YUV;
• одно- и многофазное декодирование.

Исходный код nvJPEG компания оставила закрытым, однако сама библиотека доступна для бесплатного скачивания.

NVIDIA не в первый раз оказывает помощь независимым разработчикам, занимающимся вопросами машинного обучения. В 2017 году компания запустила облачную платформу NVIDIA GPU Cloud, оптимизированную для работы с подобными технологиями.