Эффективность вместо точности: Facebook выпустила новый фреймворк для машинного обучения

FAIR, лаборатория Facebook по разработкам в области искусственного интеллекта, представила Faiss — библиотеку, позволяющую осуществлять быстрый поиск и сортировку однотипных изображений и видео в больших массивах данных с помощью GPU.

В чем особенность Faiss?

Faiss осуществляет поиск не по самим данным, а по их сжатому представлению, что позволяет сильно увеличить эффективность хранения в обмен на небольшое снижение точности классификации. В одном из тестов она обрабатывала набор данных Yahoo Flickr Creative Commons, состоящий из 100 миллионов изображений. В качестве входных данных Faiss получила два изображения цветков — желтого и красного, а задачей был поиск всех похожих изображений в диапазоне между ними. При помощи комплекта из четырех видеокарт Nvidia Titan X Faiss выдала необходимый результат всего через 35 минут.

Какие у нее характеристики?

• Написана на C++ с оберточным кодом на Python;
• Поддерживает работу с несколькими графическими процессорами;
• Высокая масштабируемость;
• В 8,5 раз быстрее подобных современных библиотек.

Разработка Faiss является частью исследований, цель которых — создать оптимальные алгоритмы для высокоскоростных параллельных вычислений на нескольких графических процессорах. Эксперименты с GPU проводятся не только на мощном «железе» вроде видеокарт Nvidia, но и на слабых платформах — Google недавно обновила свою систему для глубинного обучения, TensorFlow, и теперь эффективное распознавание изображений доступно для мобильных графических процессоров.