OpenAI открыла команду для контроля над нейросетями

В блоге OpenAI появилась запись о том, что компания сформировала отдельную команду под руководством Ильи Суцкевера и Яна Лейке. Всё потому, что OpenAI считает развитие нейросетей опасными: они якобы могут привести к исчезновению человечества. 

Сверхинтеллект будет самой влиятельной технологией, когда-либо созданной человечеством, и может помочь нам решить многие из самых важных проблем мира. Однако огромная мощь сверхинтеллекта также может быть очень опасной и привести к обездоливанию человечества или даже к исчезновению человека.

Команда должна разработать решения, которые позволили бы сдерживать и контролировать развитие нейросетей, гораздо более интеллектуальных, чем сами люди. Для разработки сдерживающего ПО были выделены 20% вычислительных мощностей OpenAI.

Забавно то, что OpenAI не собирается доверить оценку развития сверхинтеллекта людям. Команда должна разработать ИИ, который был бы похож на человека и смог бы автоматически проводить оценку развития других нейросетей. Таким образом, контролировать развитие ИИ будет другой ИИ, но похуже.

Также OpenAI открыла вакансии для инженеров машинного обучения, которые могли бы пополнить штат команды.