IBM разработала дизайн устройства фазовой памяти для тренировки нейросетей

Специалисты IBM опубликовали в журнале Nature статью, в которой представили новый вид устройства памяти, сконструированного специально для высокопроизводительных вычислений, которые требуются при тренировке нейронных сетей. По их расчетам, модели не потеряют ни процента в точности, зато в энергоэффективности выиграют в 100 раз.

Принцип работы

В современных вычислительных системах количество параллельно выполняемых процессов сильно ограничено. К тому же при обучении нейросетей данные в памяти приходится много раз перезаписывать и тасовать, что замедляет процесс.

Архитектура памяти на фазовых переходах (phase-change memory, PCM) позволяет производить вычисления непосредственно в самом устройстве, что снимает и проблему перемещения данных, и жесткое ограничение по количеству параллельных процессов. Кроме того, PCM небинарна, она обладает широким спектром состояний между 1 и 0 — в этом ее схожесть с сетью нейронов в мозге человека. А для тренировки моделей сеть ее битов можно наложить на каждый слой искусственной нейронной сети, что обеспечит эффективность расчетов.

Однако у современного аппаратного обеспечения нет такого же диапазона состояний, необходимого для создания эффективной нейросети. К тому же ответы PCM от бита к биту могут разниться. Поэтому инженеры IBM пришли к двухуровневой системе.

На верхнем уровне тренировка проходит с использованием PCM, но модель не обновляется с каждым отдельно выполненным испытанием. Аппаратное обеспечение учитывает только совокупный результат нескольких сотен испытаний.

Точность и эффективность

По расчетам инженеров, точность работы нейросети останется в пределах существующих показателей. Однако энергоэффективность должна возрасти в 100 раз по сравнению с современными технологиями обучения, основанными на использовании графических процессоров.

С развитием и продвижением технологий машинного обучения возрастает нужда в вычислительных мощностях. Многие компании создают облачные сервисы для высокопроизводительных расчетов, требуемых ИИ. В апреле 2018 года такой сервис представили Mail.Ru Cloud и NVIDIA — он развернут на облачной инфраструктуре Mail.ru Group и основан на корпоративных видеокартах Tesla v100.