Система хранения данных в Linux это многослойный пирог, где подсистема блочных устройств занимает место между файловой системой и физическим "железом". Любая запись файла или чтение конфигурации в конечном счёте превращается в серию запросов к диску, и от того, как ядро их упорядочит, зависит отзывчивость системы под нагрузкой. Понимание этой кухни даёт администратору ключ к настройке производительности там, где стандартные инструменты бессильны.

Путь запроса от файловой системы до физического накопителя

Когда процесс запрашивает данные с диска, запрос проходит через слой виртуальной файловой системы и попадает в подсистему блочных устройств. Здесь ядро формирует структуру bio, описывающую блок данных, его адрес и направление операции. Затем запрос отправляется в очередь запросов request_queue. На этом этапе в игру вступают планировщики, задача которых - сгруппировать разрозненные обращения к диску так, чтобы свести к минимуму перемещение головок диска или задержки контроллера SSD.

В современных ядрах доминирует архитектура многопоточных очередей blk_mq. Она позволяет каждому процессорному ядру иметь собственную очередь, что радикально снижает конкуренцию за блокировки при обработке тысяч операций ввода-вывода в секунду. Блочное устройство представляется в системе как объект gendisk, через который ядро связывает драйвер устройства с очередями запросов. Это позволяет абстрагироваться от типа носителя - будь то NVMe накопитель, облачный виртуальный диск или старый жёсткий диск с магнитными пластинами.

Структура bio заслуживает отдельного разговора, потому что именно она определяет, как данные путешествуют по подсистеме. Внутри неё лежит массив векторов bvec, каждый из которых описывает страницу памяти и смещение в ней. Один bio способен покрывать несколько несмежных участков памяти, что избавляет ядро от лишних копирований. Когда драйвер получает bio, он превращает его в команды для контроллера, и здесь начинается зона аппаратных ограничений: максимальный размер одного запроса, требование кратности секторам, запрет на пересечение границ определённых размеров. Ядро учитывает эти ограничения через структуру queue_limits и при необходимости дробит крупный bio на несколько мелких.

Проверить, во что превратились настройки очереди конкретного диска, помогает виртуальная файловая система sysfs. Список параметров лежит прямо в каталоге устройства:

$ cat /sys/block/nvme0n1/queue/scheduler
[none] mq-deadline kyber bfq
$ cat /sys/block/nvme0n1/queue/nr_requests
1023
$ cat /sys/block/nvme0n1/queue/max_sectors_kb
1280

Квадратные скобки в первой строке отмечают активный алгоритм. Значение nr_requests в тысячу с лишним запросов для NVMe выглядит внушительно, но именно так работает устройство с глубокой внутренней очередью. Для старого диска такая цифра означала бы катастрофу: сотни запросов накопились бы в ожидании, а пользователь видел бы "зависшую" систему.

Отдельного внимания заслуживает то, как ядро решает, кому отдать право на чтение или запись. Слой блочных устройств не знает о процессах и потоках, он оперирует только запросами. Связь с конкретным приложением теряется ещё на входе в очередь, и вернуть её можно лишь по косвенным признакам. Отсюда растёт известная проблема: один процесс, заваливающий диск тысячами мелких операций, способен незаметно подвесить работу остальных. Планировщики с поддержкой весов, такие как bfq, как раз пытаются восстановить справедливость, распределяя полосу пропускания между группами процессов, а не между отдельными запросами.

Планировщики ввода и вывода и выбор стратегии обработки запросов

Планировщик ввода-вывода это сердце подсистемы блочных устройств. Старые алгоритмы вроде cfq ушли в прошлое, уступив место подходу multiqueue. Сегодня выбор планировщика зависит от типа носителя и нагрузки. Накопители NVMe, обладающие огромным параллелизмом, используют планировщик none, который просто передаёт запросы драйверу, не тратя циклы CPU на сортировку. Для SSD, где важна низкая латентность, применяют mq-deadline, он следит за временем ожидания каждого запроса и не даёт операциям чтения "зависнуть" за массовой записью.

Для нагруженных серверов с классическими дисками актуален планировщик bfq, который старается справедливо распределить полосу пропускания между процессами, обеспечивая плавную работу системы даже под тяжёлой нагрузкой. Настроить планировщик можно для каждого устройства отдельно, записав имя алгоритма в файл /sys/block/sdX/queue/scheduler. Изменение применяется моментально, и администратор может оценить эффект без перезагрузки, наблюдая за показателями iostat.

Выбор алгоритма стоит делать по характеру нагрузки, а не по советам из старых руководств. Десктоп с одним SSD и браузером с десятком вкладок не заметит разницы между вариантами. Сервер базы данных, где преобладают случайные чтения блоками по восемь килобайт, выигрывает от минимальной задержки и потому тяготеет к none или mq-deadline. Файловый сервер, куда одновременно пишут десятки клиентов, наоборот, получает ощутимую пользу от честного дележа полосы. Проверяется это не на глаз, а замером: время отклика приложения до смены планировщика и после, при одинаковой нагрузке.

В командной строке смена алгоритма выглядит буднично:

echo mq-deadline > /sys/block/sda/queue/scheduler
cat /sys/block/sda/queue/scheduler
[mq-deadline] none

Чтобы настройка пережила перезагрузку, её закрепляют правилом udev или параметром загрузчика для корневого устройства. Правило создаётся в каталоге /etc/udev/rules.d и срабатывает в момент появления устройства в системе:

ACTION=="add|change", KERNEL=="sd[a-z]", ATTR{queue/scheduler}="mq-deadline"

Отдельная тонкость касается многослойных схем. Планировщик имеет смысл настраивать на том уровне, где заканчивается физическое устройство, а не на промежуточных логических томах. Для LVM-раздела или массива mdraid параметр очереди относится к виртуальному объекту, и толку от его правки немного, если настоящая работа идёт ниже, на физическом диске. Опытные администраторы сначала строят дерево устройств, а уже потом вооружаются эхом и перенаправлением вывода.

Инструменты анализа производительности и поиск узких мест

Когда система начинает "тормозить" при интенсивной записи, первым делом стоит взглянуть на статистику блочных устройств. Команда iostat показывает нагрузку на каждый диск, время ожидания запросов и среднюю длину очереди. Если параметр await превышает разумные пределы, а утилизация устройства близка к ста процентам, это верный признак перегрузки дисковой подсистемы. В таких случаях стоит проверить, нет ли "горячих" файлов, которые вызывают шквал операций ввода-вывода, с помощью утилиты iotop или данных из /proc/diskstats.

Для глубокого анализа применяют трассировщики вроде blktrace, которые позволяют увидеть каждый шаг обработки bio-запроса. Сбор статистики даёт понимание того, на каком этапе - планировщика или драйвера - теряется драгоценное время. В связке с анализом файловой системы это позволяет локализовать проблему: дело в конфигурации диска или в приложении, которое пишет данные чрезмерно часто и мелкими порциями.

Утилита iostat показывает усреднённые цифры за интервал, и читать их нужно с оглядкой на контекст:

$ iostat -x 1 3
Device   r/s     w/s   rkB/s   wkB/s  await  aqu-sz  %util
sda     12.40  318.60  496.0  8142.4   9.21    2.94  87.30
nvme0n1 842.10 1203.7 26947  38518   0.31    0.42  62.10

Колонка await измеряется в миллисекундах и означает среднее время от постановки запроса в очередь до его завершения. Для механического диска значение в девять миллисекунд считается нормальным, а вот рост до сотни говорит о перегрузке. Показатель aqu-sz отражает среднюю длину очереди: если он растёт вместе с await, устройство не успевает разгребать поток. Наконец, %util у современных NVMe легко упирается в сто процентов, не означая при этом никакой беды, ведь устройство умеет обрабатывать множество команд параллельно. Именно поэтому слепая вера в одну цифру приводит к неверным выводам и лишним закупкам оборудования.

Проследить судьбу отдельного запроса позволяет blktrace с последующей расшифровкой:

blktrace -d /dev/sda -o trace
blkparse -i trace.blktrace.0 | head -20

Поток событий помечен буквами, каждая из которых отмечает этап: постановку в очередь, отправку драйверу, завершение. Между этими метками видно, где именно застрял запрос. Если время уходит между постановкой и выдачей драйверу, виноват планировщик или переполненная очередь. Если запрос ушёл к железу и не возвращается, вопрос уже к накопителю и кабелю. Такой разбор экономит дни догадок и замен наугад.

Параметры очередей и их влияние на отзывчивость системы

Размер очереди запросов - один из ключевых рычагов управления производительностью блочного устройства. В файле /sys/block/sdX/queue/nr_requests можно задать лимит запросов, ожидающих обработки. Слишком большая очередь увеличивает латентность, так как запрос может ждать своей очереди слишком долго. Слишком маленькая очередь ограничивает пропускную способность, не позволяя устройству задействовать все свои возможности по параллельной обработке.

Настройка этого параметра критична для баз данных, которые генерируют тысячи случайных чтений. Иногда снижение лимита очереди позволяет базе данных быстрее "понимать", что диск перегружен, и адаптировать свою нагрузку, что парадоксальным образом ускоряет общую работу приложения. Подбор оптимальных значений всегда экспериментален и требует мониторинга показателей в условиях реальной рабочей нагрузки, а не искусственных синтетических тестов.

Есть и другие ручки, о которых вспоминают реже, а зря. Параметр read_ahead_kb управляет упреждающим чтением: ядро заранее подтягивает с диска больше данных, чем просили, рассчитывая, что следующая порция понадобится немедленно. Для последовательного чтения больших файлов это чистая выгода, для случайных обращений - лишняя работа. Значение по умолчанию в сто двадцать восемь килобайт подходит далеко не всем сценариям, и на файловых серверах его нередко поднимают до нескольких мегабайт, а на серверах баз данных снижают почти до нуля.

Параметр rotational сообщает ядру, вращается ли носитель, и от него зависит поведение планировщиков. Виртуальные диски в облаке иногда определяются как механические, хотя за ними стоит быстрая распределённая подсистема, и тогда планировщик начинает зря сортировать запросы. Проверить и поправить это можно в том же каталоге очереди, а закрепить - правилом udev по модели устройства.

Существует и группа параметров, отвечающих за поведение при переполнении. Когда очередь переполнена, ядро вынуждено либо задерживать новые запросы, либо сбрасывать их. Для критичных операций записи важна возможность дождаться своей очереди, а не получить отказ, и потому лимиты выставляют с запасом. Здесь работает простое правило: сначала измеряют, потом меняют, и обязательно записывают исходные значения, чтобы была дорога назад.

Виртуальные блочные устройства и их роль в современных системах

Помимо физических дисков, ядро активно использует виртуальные блочные устройства. LVM, RAID-массивы mdraid и шифрованные разделы dm-crypt - всё это примеры того, как подсистема блочных устройств позволяет трансформировать потоки данных. Каждый такой слой добавляет накладные расходы на обработку, но предоставляет гибкость, без которой немыслимо современное администрирование. Например, шифрование через dm-crypt работает прозрачно: файловая система пишет данные как обычно, а драйвер шифрует их перед отправкой в очередь запросов реального диска.

Понимание того, как эти слои влияют на задержки, приходит при изучении дерева блочных устройств. Команда lsblk показывает иерархию, позволяя увидеть, какой физический диск скрывается за логическим томом. Если производительность падает, стоит проверить состояние программного RAID или корректность выравнивания разделов, что особенно важно для SSD, где неверное смещение вызывает лишние циклы стирания и записи, убивая ресурс накопителя и замедляя работу системы.

Дерево удобно смотреть с указанием отношений между слоями:

$ lsblk -o NAME,SIZE,TYPE,MOUNTPOINT
NAME        SIZE TYPE MOUNTPOINT
sda       447.1G disk
└─sda1    447.1G part
  └─crypt 447.1G crypt
    └─vg-root 446.1G lvm /
nvme0n1   931.5G disk
└─nvme0n1p1 931.5G part /data

Из вывода сразу видно, что корень системы лежит поверх шифрованного контейнера, а значит каждый запрос на диск проходит дополнительный слой преобразования. Накладные расходы шифрования на современных процессорах с аппаратным ускорением измеряются единицами процентов, но на слабых машинах они заметны, и об этом стоит помнить, когда система кажется необъяснимо медленной.

Программный RAID добавляет ещё один уровень. При зеркалировании каждая запись уходит на оба диска, и общая пропускная способность записи определяется самым медленным членом массива. При чередовании, наоборот, скорость складывается, но отказ одного диска обрушивает весь массив целиком. Проверить состояние массива и скорость восстановления позволяет файл /proc/mdstat, где видно, идёт ли перестройка и с какой скоростью. Перестройка в фоне способна съесть всю производительность дисковой подсистемы, и в такие часы лучше не запускать ресурсоёмких задач обслуживания.

Отдельно стоит сказать про размер сектора. Современные накопители перешли на секторы по четыре килобайта, тогда как логический размер остаётся пятьсот двенадцать байт для совместимости. Если файловая система и разделы выровнены не по этим четырём килобайтам, каждая запись превращается в цикл чтения, изменения и повторной записи целого блока. Выравнивание проверяется при создании разделов, и современные утилиты делают это автоматически, но разделы, созданные годы назад на старом диске, при переносе на новый носитель могут оказаться смещёнными, и тогда потери производительности достигают десятков процентов.

  1. Анализ текущего состояния через lsblk и iostat;
  2. Определение наиболее активных процессов с помощью iotop;
  3. Выбор подходящего планировщика для конкретного устройства;
  4. Оптимизация параметров очередей в /sys/block;
  5. Проверка корректности работы программных RAID и шифрованных разделов.

Работа с блочными устройствами требует вдумчивого подхода и постоянного мониторинга. Никакие универсальные настройки не заменят глубокого анализа метрик и понимания того, как ядро Linux распоряжается дисковым пространством. Правильная настройка очереди и планировщика способна выжать из системы максимум производительности, превращая обычный сервер в отзывчивую и надёжную рабочую станцию, готовую к любым вызовам.