IBM разработала дизайн устройства фазовой памяти для тренировки нейросетей
Новости
По расчетам инженеров, в этом случае энергоэффективность при тренировке нейросети возрастет более чем в 100 раз, а точность останется на прежнем уровне.
418 открытий420 показов
Специалисты IBM опубликовали в журнале Nature статью, в которой представили новый вид устройства памяти, сконструированного специально для высокопроизводительных вычислений, которые требуются при тренировке нейронных сетей. По их расчетам, модели не потеряют ни процента в точности, зато в энергоэффективности выиграют в 100 раз.
Принцип работы
В современных вычислительных системах количество параллельно выполняемых процессов сильно ограничено. К тому же при обучении нейросетей данные в памяти приходится много раз перезаписывать и тасовать, что замедляет процесс.
Архитектура памяти на фазовых переходах (phase-change memory, PCM) позволяет производить вычисления непосредственно в самом устройстве, что снимает и проблему перемещения данных, и жесткое ограничение по количеству параллельных процессов. Кроме того, PCM небинарна, она обладает широким спектром состояний между 1 и 0 — в этом ее схожесть с сетью нейронов в мозге человека. А для тренировки моделей сеть ее битов можно наложить на каждый слой искусственной нейронной сети, что обеспечит эффективность расчетов.
Однако у современного аппаратного обеспечения нет такого же диапазона состояний, необходимого для создания эффективной нейросети. К тому же ответы PCM от бита к биту могут разниться. Поэтому инженеры IBM пришли к двухуровневой системе.
На верхнем уровне тренировка проходит с использованием PCM, но модель не обновляется с каждым отдельно выполненным испытанием. Аппаратное обеспечение учитывает только совокупный результат нескольких сотен испытаний.
Точность и эффективность
По расчетам инженеров, точность работы нейросети останется в пределах существующих показателей. Однако энергоэффективность должна возрасти в 100 раз по сравнению с современными технологиями обучения, основанными на использовании графических процессоров.
С развитием и продвижением технологий машинного обучения возрастает нужда в вычислительных мощностях. Многие компании создают облачные сервисы для высокопроизводительных расчетов, требуемых ИИ. В апреле 2018 года такой сервис представили Mail.Ru Cloud и NVIDIA — он развернут на облачной инфраструктуре Mail.ru Group и основан на корпоративных видеокартах Tesla v100.
418 открытий420 показов
Есть поговорка, что разработчики трудятся по принципу «работает, не трогай», но откуда тогда появляются прорывные решения? Рассмотрим, как создаются быстрые и конкурентоспособные ИТ-продукты на реальных кейсах: обсудим ИИ-ассистентов, разговоры с Пушкиным (как в «Черном зеркале») и конечно затронем тему найма разработчиков.
Небольшая викторина, которая покажет, на какую нейросеть вы похожи больше всего.
Сейчас искусственный интеллект и нейросетевые технологии все больше и больше проникают в каждую сферу жизни. Рассказываем, на какие профессии нейросети оказывают наибольшее влияние и что изменится в ближайшем будущем.
Когда можно заправлять картридж, а когда лучше поменять, сколько работает фотобарабан, и почему в старые модели можно засыпать совместимый тонер, а в новые не стоит.