Amazon анонсировала чип для машинного обучения Inferentia

Amazon Web Services на конференции re:Invent в Лас-Вегасе анонсировала новый чип Inferentia. Это собственная разработка компании, ориентированная на использование в машинном обучении.

Потребность в ML-чипе

Машинное обучение — интенсивно развивающаяся отрасль IT-индустрии. По заявлению аналитика компании Constellation Research Хольгера Мюллера (Holger Mueller), AWS несколько отстаёт от других игроков на этом поле, и Inferentia — хороший шаг, который позволит Amazon выработать собственный подход к этой теме.

Эксперт считает, что скорость и стоимость машинного обучения являются вещами, которые могут привести к успеху или краху компанию, или, если говорить о военных действиях, целую страну. Ключом к получению преимущества в этой отрасли является качественная аппаратная часть. Google выпустила на рынок тензорные процессоры 2-3 года назад. AWS с помощью Inferentia попытается сократить разрыв.

Возможности Inferentia

Генеральный директор AWS Энди Джесси (Andy Jassy) заявил, что новый чип обладает высокой пропускной способностью и низкой задержкой, ориентирован на производительность и снижение финансовых затрат.

В Inferentia интегрирована поддержка продуктов AWS EC2 и SageMaker, а также продемонстрированной на конференции re:Invent 2018 системы Elastic Inference Engine — сервиса, который позволяет пользователям подключать GPU-ускорение к любому экземпляру Amazon EC2 и снижает затраты на обучение на 75 процентов. Процессор может работать с такими распространёнными фреймворками, как INT8, FP16, TensorFlow, Caffe2 и ONNX.

По словам генерального директора AWS, в свободной продаже чип появится не раньше следующего года.

IT-компании активно работают над процессорами, ориентированными на машинное обучение. В середине лета 2018 года Google продемонстрировала сопроцессор Edge TPU для аппаратного ускорения обученных нейросетевых моделей в терминалах.