Microsoft анонсировала хранилище ключей FASTER для больших объемов данных

Microsoft представила хранилище ключей FASTER для приложений и служб, обрабатывающих большие объемы обновляемых данных. Внутренние тесты показали, что новинка выполняет до 160 млн операций в секунду на одной машине. Она обходит по производительности Intel TBB, RocksDB и Redis.

Применение хранилища

В сфере «интернета вещей» технология способна хранить информацию о производительности миллионов устройств. В области рекламных платформ она может следить за активностью каждого пользователя: результатами поиска, моделями поведения и статистикой по каждому объявлению.

Преимущества FASTER

Обычно для обработки данных используется несколько машин, где большая нагрузка оказывается на память, а другие ресурсы расходуются нерационально. В качестве решения проблемы FASTER предлагает два новшества:

• параллельный хеш-код для динамического роста и сжатия данных при сохранении логических указателей на записи в журнале;
• параллельный алгоритм записи журналов.

Индекс хеша состоит из кодов с 8-байтовыми записями. В них содержатся указатели к записям, хранящимся в гибридном журнале. Для повышения производительности все операции с таблицей выполняются по методу «сравнить и заменить». Ключи не сохраняются как часть индекса, поэтому занимают минимум места.

В отличие от традиционных хранилищ, начало гибридного журнала FASTER обновляет записи только после прочтения, а конец принимает изменения моментально. Между ними находится область памяти, доступная только для чтения данных, предоставляющая возможность быстрого копирования в конец журнала. В случае отказа данные восстанавливаются без создания отдельной записи в журнале. Подробности о работе FASTER раскрыты в техническом документе.

Microsoft экспериментирует с разными типами хранилищ. В мае 2017 года она представила систему хранения данных на основе ДНК.