Microsoft анонсировала хранилище ключей FASTER для больших объемов данных
Технология ускоряет обновление больших объемов данных и экономит память. Хранилище FASTER может применяться в области IoT-устройств и рекламных платформ.
Microsoft представила хранилище ключей FASTER для приложений и служб, обрабатывающих большие объемы обновляемых данных. Внутренние тесты показали, что новинка выполняет до 160 млн операций в секунду на одной машине. Она обходит по производительности Intel TBB, RocksDB и Redis.
Применение хранилища
В сфере «интернета вещей» технология способна хранить информацию о производительности миллионов устройств. В области рекламных платформ она может следить за активностью каждого пользователя: результатами поиска, моделями поведения и статистикой по каждому объявлению.
Преимущества FASTER
Обычно для обработки данных используется несколько машин, где большая нагрузка оказывается на память, а другие ресурсы расходуются нерационально. В качестве решения проблемы FASTER предлагает два новшества:
- параллельный хеш-код для динамического роста и сжатия данных при сохранении логических указателей на записи в журнале;
- параллельный алгоритм записи журналов.
Индекс хеша состоит из кодов с 8-байтовыми записями. В них содержатся указатели к записям, хранящимся в гибридном журнале. Для повышения производительности все операции с таблицей выполняются по методу «сравнить и заменить». Ключи не сохраняются как часть индекса, поэтому занимают минимум места.
В отличие от традиционных хранилищ, начало гибридного журнала FASTER обновляет записи только после прочтения, а конец принимает изменения моментально. Между ними находится область памяти, доступная только для чтения данных, предоставляющая возможность быстрого копирования в конец журнала. В случае отказа данные восстанавливаются без создания отдельной записи в журнале. Подробности о работе FASTER раскрыты в техническом документе.
Microsoft экспериментирует с разными типами хранилищ. В мае 2017 года она представила систему хранения данных на основе ДНК.
769 открытий771 показов
Редактирование текстов, перевод с озвучкой и саммари видео — новые нейронки в Яндекс.Браузере.
Рассказываем, как правильно подобрать данные для машинного обучения, какие данные подойдут и как использовать данные клиентов для ML.
В шестом раунде батла за звание лучшего программиста в мире встретятся Билл Гейтс и Стив Возняк, а также Никлаус Вирт и Линус Торвальдс.
В социальной сети для поиска IT-работы LinkedIn появится новая функция — возможность играть в игры. Такое обновление готовит Microsoft для платформы