Как работает виртуальная память в операционных системах

Виртуальная память распределяет ограниченные ресурсы оперативной памяти между процессами. Она не только обеспечивает бесперебойную работу компьютера, но и создает для каждой программы иллюзию неограниченного пространства, защищая процессы друг от друга и предотвращая сбои системы.

Основные концепции виртуальной памяти

Оперативная (физическая) память компьютера — это реальное хранилище, где размещаются исполняемый код и данные активных процессов. Однако использование физической памяти сопряжено с ограничениями:

• Размер программы не должен превышать доступную физическую память.
• Нужно контролировать, чтобы адресное пространство запускаемой программы не пересекалось с работающими процессами.
• Нужно изолировать каждый процесс от несанкционированного доступа других программ.

Механизм виртуальной памяти решает перечисленные проблемы. Каждому процессу предоставляется виртуальное адресное пространство. При этом программа оперирует только виртуальными адресами, будучи полностью изолированной от физического размещения данных.

Такой подход обеспечивает 3 ключевых преимущества:

• Процессы могут работать с объемом данных, превышающим физическую память компьютера.
• Процессы работают в отдельных виртуальных участках памяти, что предотвращает вмешательство одного процесса в память другого.
• ОС может контролировать доступ к отдельным страницам памяти, предотвращая несанкционированный доступ.

Каждый процесс имеет собственное виртуальное адресное пространство. Оно разделено на фиксированные блоки данных — страницы. Их размер 4 КБ или 8 КБ в зависимости от архитектуры системы. Физическая память также разделена на блоки того же размера — фреймы.

Когда процессу требуется доступ к данным, он обращается к виртуальному адресу. ОС преобразует виртуальный адрес в физический, используя таблицу страниц. Если запрашиваемые данные отсутствуют в физической памяти, они загружаются с диска в оперативную память.

Страничный файл (файл подкачки или swap file) — это область на жестком диске, которая используется для хранения страниц виртуальной памяти, когда они не помещаются в физическую память. С помощью файла подкачки ОС освобождает физическую память, перемещая неактивные страницы на диск, и загружает их обратно при необходимости.

Механизм работы виртуальной памяти

Процесс преобразования виртуальных адресов в физические состоит из следующих этапов:

1. Разделение памяти. Как виртуальное адресное пространство, так и физическая память разделены на страницы и фреймы соответственно.
2. Таблица страниц. Для каждого процесса создается таблица страниц, которая содержит информацию о соответствии между виртуальными страницами и физическими фреймами.
3. Преобразование адресов. Когда процесс обращается к виртуальному адресу, ОС использует таблицу страниц для определения соответствующего физического адреса.
4. Обработка страничных ошибок. Если запрашиваемая страница отсутствует в физической памяти, возникает страничная ошибка (page fault). ОС загружает требуемую страницу с диска в память.
5. Обновление таблицы страниц. После загрузки страницы таблица обновляется, чтобы отразить новое местоположение данных.

Для оптимизации процесса преобразования адресов используется аппаратное устройство — Translation Lookaside Buffer. TLB представляет собой кэш, который хранит недавно использованные преобразования виртуальных адресов в физические, что значительно ускоряет доступ к памяти.

Алгоритмы управления виртуальной памятью

Когда физическая память заполнена и требуется загрузить новую страницу, ОС должна решить, какую страницу выгрузить на диск. Для принятия решения используются алгоритмы:

• FIFO. Выгружает страницу, находящуюся в памяти дольше всего. FIFO не учитывает частоту использования страниц.
• LRU. Выгружает страницу, которая не использовалась дольше всего. LRU эффективнее FIFO, но требует больше ресурсов для отслеживания времени последнего использования каждой страницы.
• LFU. Выгружается страница, которая использовалась реже всего. LFU необходим, когда к данным обращаются часто, поэтому их желательно хранить в кэше.
• Clock. Похож на алгоритм LRU. Использует бит доступа для каждой страницы и циклически проверяет страницы, сбрасывая бит доступа, пока не найдет страницу для выгрузки.

Помимо алгоритмов замещения, для оптимизации использования виртуальной памяти используются алгоритмы предсказания. Они основаны на том, что процессы имеют тенденцию обращаться к ограниченному набору страниц в течение коротких периодов времени. Так система понимает, какие страницы загружать предварительно, так как они могут потребоваться в ближайшем будущем.

Когда процесс пытается получить доступ к странице, которой нет в физической памяти, возникает страничная ошибка. ОС должна обработать это исключение, загрузить требуемую страницу с диска и возобновить выполнение процесса.

Чтобы сократить количество страничных ошибок, используются следующие техники:

• Предварительная подкачка. ОС пытается предугадать, какие страницы понадобятся процессу в ближайшем будущем, и загружает их заранее.
• Группировка страниц. При загрузке страницы с диска система загружает несколько соседних страниц, предполагая, что они также потребуются в ближайшем будущем.
• Адаптивное управление рабочим набором. Система отслеживает набор страниц, активно используемых процессом, и старается удерживать его в памяти для минимизации страничных ошибок.

Роль ОС в управлении виртуальной памятью

Операционная система управляет виртуальной памятью и отвечает за:

• Создание и поддержание таблиц страниц для каждого процесса.
• Управление физической памятью и страничным файлом.
• Обработку страничных ошибок и загрузку страниц с диска.
• Реализацию алгоритмов замещения страниц.
• Оптимизацию использования памяти и минимизацию фрагментации.
• Изоляцию и защиту памяти между процессами.

Реализация виртуальной памяти различается в разных ОС.

• Windows использует файл подкачки (pagefile.sys), размер которого может динамически изменяться. Windows также поддерживает механизм приоритетного ввода/вывода для страниц виртуальной памяти. 
• Linux использует выделенный раздел диска (swap partition) или файл подкачки (swap file) для виртуальной памяти. Linux предоставляет гибкие настройки для управления swap-пространством и позволяет использовать несколько swap-устройств с разными приоритетами.
• MacOS использует механизм компрессии, который сжимает неиспользуемые страницы в памяти перед их выгрузкой на диск. Это уменьшает количество операций ввода/вывода.

Операционная система также отвечает за очистку и освобождение хранилища:

• Периодически сканирует память для идентификации и освобождения неиспользуемых страниц.
• Дефрагментирует память для оптимизации физических ресурсов.
• Управление кэшем файловой системы, который использует свободную физическую память для ускорения доступа к файлам.
• Балансировку между использованием физической памяти и страничного файла для производительности системы.

Преимущества и недостатки виртуальной памяти

Плюсы:

• Многозадачность. Одновременно выполняется больше программ, чем позволяет физическая память.
• Эффективное использование памяти. Только активно используемые данные хранятся в физической памяти.
• Безопасность. Изоляция процессов и контроль доступа к памяти повышают общую безопасность системы.
• Упрощение разработки ПО. Разработчики создают программы, не учитывая физические ограничения памяти конкретного устройства.
• Поддержка больших адресных пространств. Позволяет процессам работать с объемами данных, превышающими физическую память.

Минусы:

• Снижение производительности при чрезмерном использовании swap. Когда система часто обращается к страничному файлу, это значительно замедляет работу из-за низкой скорости дисковых операций по сравнению с оперативной памятью.
• Проблемы с фрагментацией. Со временем может возникнуть фрагментация как физических, так и виртуальных участков памяти, что снижает эффективность использования ресурсов.
• Сложность настройки. Настройка виртуальной памяти — это непростая задача, особенно в системах с ограниченными ресурсами.
• Увеличение износа диска. Интенсивное использование виртуальной памяти может привести к ускоренному износу накопителя из-за большого количества операций записи.

Виртуальная память может стать узким местом производительности системы в следующих случаях:

• Недостаточный объем физической памяти. Если физической памяти недостаточно для хранения рабочих наборов активных процессов, система будет часто обращаться к страничному файлу, что приведет к значительному снижению производительности.
• Интенсивные операции с большими объемами данных. Приложения, работающие с большими наборами данных, могут вызвать частые страничные ошибки, если их рабочий набор не помещается в физическую память.
• Неоптимальные настройки. Неправильно настроенный размер страничного файла или неэффективные алгоритмы управления памятью могут привести к снижению производительности.
• Фрагментация памяти. Сильная фрагментация может привести к неэффективному использованию как физической, так и виртуальной памяти.

Советы по оптимизации виртуальной памяти

Файл подкачки — основной компонент виртуальной памяти в Windows. Он расположен в корневой директории жесткого диска. Системный файл pagefile.sys выступает резервным хранилищем данных. Оно активируется при недостатке оперативной памяти для предотвращения сбоев в работе приложений.

В Windows 8-11 есть взаимосвязанные системные файлы: pagefile.sys и swapfile.sys. Первый отвечает за общее управление виртуальной памятью, второй обслуживает приложения из Microsoft Store. При полном отключении файла подкачки оба компонента удаляются из файловой системы.

Доступ к настройкам файла подкачки возможен через системные интерфейсы. Можно воспользоваться встроенным поиском Windows, утилитой «Выполнить» или стандартным меню «Пуск».

Чтобы перейти к настройкам файла подкачки Windows, нужно нажать комбинацию Win + R и ввести команду sysdm.cpi

Можно корректировать размер файла подкачки, перемещать его между дисками или полностью отключить. Рекомендуется не вмешиваться в настройки страничного файла. Операционная система самостоятельно определяет оптимальные режимы работы.

Объем виртуальной памяти напрямую зависит от физических характеристик оперативной памяти, но не является их прямой пропорцией. Некорректное уменьшение или отключение файла подкачки может привести к нестабильной работе компьютера.

Лучшим решением будет перемещение файла подкачки на твердотельный накопитель. Скорость чтения и записи SSD-дисков оптимизирует систему при работе с виртуальной памятью. Риски преждевременного износа накопителя при таком подходе минимальны.

Не рекомендуется полностью отключать файл подкачки. В большинстве сценариев такой подход провоцирует сбои в работе ОС. Оптимальная стратегия работы с файлом подкачки — сохранение настроек по умолчанию.

Настройка виртуальной памяти в Linux

Настройка пространства подкачки в Linux осуществляется двумя основными методами: через выделенный раздел диска и создание файла подкачки.

Процесс формирования раздела подкачки начинается на этапе установки операционной системы. Программы установки Linux автоматически определяют аппаратную конфигурацию и предлагают оптимальную схему разметки диска, включающую раздел подкачки.

При необходимости можно добавить раздел подкачки после завершения первоначальной инсталляции. Для этого применяются утилиты неразрушающего форматирования дисков, например, GParted. Принципиально важно выбрать файловую систему типа «Linux swap».

Технология подготовки раздела подкачки включает несколько последовательных шагов:

1. Форматирование раздела с помощью утилиты mkswap.
2. Редактирование системного файла /etc/fstab для автоматического монтирования при загрузке.
3. Активация пространства подкачки командой swapon.

Альтернативный подход — файлы подкачки

Файловый механизм подкачки представляет собой более гибкий инструмент конфигурирования виртуальной памяти. Преимущества данного метода проявляются при работе в следующих сценариях:

• Использование виртуальных машин.
• Работа со встраиваемыми системами.

Создание файла подкачки реализуется через несколько подходов:

• Метод с использованием утилиты fallocate:

sudo fallocate -l 2G /path/to/swapfile

• Метод с применением команды dd:

dd if=/dev/zero of=swapfile bs=1024k count=2048

Планирование объема виртуальной памяти Linux

Настройка поведения подкачки осуществляется через параметр ядра «swappiness». Шкала значений варьируется от 0 до 100:

• 0 — полное торможение использования swap;
• 60 — штатное поведение большинства дистрибутивов;
• 100 — максимальное применение виртуальной памяти.

Временное изменение параметров производится командой:

sudo sysctl vm.swappiness=20

Постоянная конфигурация реализуется правкой файла /etc/sysctl.conf путем внесения записи вида:

sudo vm.swappiness=20

Что запомнить?

• Виртуальная память решает проблемы ограничений физической памяти, изоляции процессов и контроля доступа.
• Каждый процесс имеет собственное виртуальное адресное пространство, разделенное на страницы.
• ОС преобразует виртуальные адреса в физические с помощью таблицы страниц.
• Страничный файл используется для хранения неактивных страниц на диске.
• Процесс преобразования адресов включает разделение памяти, использование таблицы страниц, обработку страничных ошибок.
• ОС отвечает за создание таблиц страниц, управление памятью, обработку ошибок, реализацию алгоритмов замещения: FIFO, LRU, LFU, Clock.
• Параметры виртуальной памяти можно изменять. 
• Система по умолчанию выбирает оптимальный режим работы исходя из конфигурации компьютера.