Жалоба на медленный сервис редко приходит вместе с готовым объяснением. Деградацию списывают на процессор, а виновником оказывается диск; ищут утечку памяти, а упираются в квоту контейнера. Первое правило диагностики производительности гласит: измерения впереди догадок. Второе правило: любой вывод строится на сравнении с показателями спокойного периода, а не с абстрактным представлением о норме. Базовый набор инструментов давно присутствует в системе: uptime, top, htop, vmstat, free, iostat и pidstat. Ниже показано, как конкретные колонки этих утилит связываются с решениями, которые принимает инженер при разборе инцидента.

Первичная диагностика через load average и число ядер

Утилита uptime остаётся отправной точкой. Она выводит три значения загрузки, усреднённые за 1, 5 и 15 минут. В Linux в load average попадают процессы в состоянии выполнения и в непрерываемом ожидании диска, то есть состояние D из вывода ps. Отсюда важный нюанс: высокий load не всегда означает дефицит процессора, потому что очередь к медленному диску рисует ту же картину. Сравнивать значения нужно с числом ядер, которое показывает nproc. Load 4.0 на сервере с 16 ядрами означает свободную половину ресурса, а тот же показатель на двухъядерной виртуалке говорит о стоящей очереди и просевшем отклике.

Тренд по трём интервалам подсказывает направление разбора. Пятнадцатиминутное значение выше минутного: пик позади, система возвращается к спокойному режиму. Минутное растёт при спокойной пятнадцатиминутке: ухудшение происходит прямо сейчас, и счётчики открывают немедленно.

uptime
nproc
cat /proc/loadavg
ps -eo pid,stat,comm | awk '$2 ~ /D/'

Дополнение к классике - механизм PSI, pressure stall information, доступный через /proc/pressure. Он отвечает на вопрос, который стандартные счётчики формулируют лишь косвенно: какую долю времени процессы провели в ожидании процессора, памяти или диска. В файлах лежат средние за 10, 60 и 300 секунд с префиксами some и full: первый фиксирует ожидание хотя бы одного процесса, второй - вынужденный простой всех сразу. Рост some в файле /proc/pressure/io при тихом процессоре отправляет инженера сразу к дисковой подсистеме.

cat /proc/pressure/cpu
cat /proc/pressure/io

Процессорные метрики top и расшифровка колонок us sy wa

Строка %Cpu(s) в top раскладывает процессорное время по типам. Нажатие клавиши 1 разворачивает картину по отдельным ядрам и выявляет перекосы, скрытые усреднением. Основные колонки расшифровываются так.

  • us - пользовательский код приложений; рост означает, что время съедает сама программа, и путь лежит к профилировщику;
  • sy - код ядра; устойчивые значения выше 25-30 процентов говорят о потоках системных вызовов, мелких дисковых операциях или сетевой обработке;
  • id - простой;
  • wa - ожидание завершения операций ввода и вывода при простаивающем процессоре; заметный wa переводит внимание с процессора на диск;
  • ni - время процессов с изменённым приоритетом nice;
  • hi и si - аппаратные и программные прерывания; всплеск si характерен для нагруженных сетевых шлюзов;
  • st - украденное гипервизором время; актуально в виртуальных машинах и говорит о конкуренции с соседями по физическому хосту.

Утилита mpstat -P ALL 1 из пакета sysstat даёт ту же разбивку по ядрам в динамике. Картина, при которой одно ядро занято полностью, а остальные свободны, типична для однопоточного приложения и не лечится добавлением ядер. Там же видно, если обработка прерываний прилипла к одному ядру и не даёт ему покоя под сетевым потоком.

Понимание nice завершает процессорный разбор. Значения лежат в диапазоне от -20 до 19, чем меньше число, тем выше приоритет при делении тактов. Колонка NI в top показывает текущее значение процесса, а колонка ni в строке процессора - долю времени, израсходованную на процессы с изменённым приоритетом. Фоновый процесс, мешающий сервису, отодвигают renice; для дисковых операций аналогичный эффект даёт ionice.

top -b -n 1 | head -25
mpstat -P ALL 1 3
renice -n 10 -p 4321
ionice -c 2 -n 7 -p 4321

htop подаёт ту же информацию нагляднее: полосы по ядрам с раскраской по типам времени, дерево процессов по клавише F5, сортировку по F6, фильтр по F4 и мгновенную отправку сигналов без набора идентификаторов. Переключение на отображение потоков помогает увидеть, какой именно поток внутри процесса греет процессор. Для сценариев мониторинга top запускают в пакетном режиме с ключами -b и -n.

Память под давлением метрики free vmstat и свопинг

Команда free -h отвечает на главный вопрос по памяти: сколько её реально доступно. Ключевая колонка available - оценка объёма, который ядро отдаст процессам без обращения к свопу. Колонка free почти всегда мала и сама по себе ни о чём не говорит: свободная память немедленно уходит под страничный кэш и так же мгновенно возвращается при запросе. Тревожный признак - снижение available на фоне растущего used и сжимающегося кэша.

vmstat с интервалом в секунду показывает поведение памяти в динамике. Колонки si и so считают страницы, перемещаемые из свопа в память и обратно, в килобайтах в секунду. Разовый всплеск после старта сервиса - прогревочное поведение, а постоянные ненулевые значения означают жизнь в режиме свопинга, когда каждый недостающий кусок памяти оплачивается дисковой операцией. Колонки bi и bo отражают блоки, ушедшие на устройство и с него, in - прерывания, cs - переключения контекста; скачок cs в паре с ростом sy наводит на мысль о конкурентных потоках или избыточном числе процессов.

free -h
vmstat 1 5
ps aux --sort=-%mem | head -15
ps -eo pid,comm,maj_flt --sort=-maj_flt | head -10

Частые major page faults в последней команде означают, что страницы процесса приходится читать с диска: рабочий набор вытеснен в своп либо не помещается в кэш. Косвенные признаки давления памяти - активный kswapd с заметным процессорным временем в top и записи oom-killer в журнале ядра.

dmesg -T | grep -i "out of memory"

Параметр swappiness, по умолчанию 60, задаёт склонность ядра выталкивать анонимные страницы в своп. На узле с быстрым NVMe умеренный свопинг работает страховкой при всплесках, на медленных дисках он растягивает нехватку памяти на минуты замирания сервиса. Правка одного числа не заменяет расчёт ёмкости: если свопинг постоянный, лечат не swappiness, а объём памяти или состав resident-наборов приложений.

Дисковая подсистема в iostat задержки очередь и загрузка устройств

iostat -x 1 выдаёт по каждому устройству полный набор счётчиков. Основные: r/s и w/s - операции чтения и записи в секунду; rkB/s и wkB/s - полоса; r_await и w_await - среднее время запроса вместе с ожиданием в очереди; aqu-sz - средняя глубина очереди; %util - доля времени, когда устройство занято хотя бы одним запросом.

Ориентиры по задержкам: NVMe отвечает за доли миллисекунды, вращающиеся диски - единицами и десятками миллисекунд в зависимости от позиции головок. Диагностически ценен не абсолют, а динамика: await, растущий при стабильном числе операций, показывает, что очередь на устройстве растёт раньше, чем это замечают приложения.

С %util требуется аккуратность. На классическом жёстком диске значение около 100 процентов почти всегда означает насыщение: устройство обслуживает запросы строго по одному. На SSD, NVMe и RAID-массивах с параллелизмом контроллер обрабатывает несколько запросов одновременно, поэтому %util 100% говорит лишь о непрерывной занятости, а о насыщении судят по await и aqu-sz. Это различие регулярно приводит к ложным выводам при разборе современных массивов.

iostat -x 1 5
iostat -xz 1

Готовность тома к нагрузке проверяют ioping для латентности и fio для пропускной способности:

ioping -c 10 /var/lib/postgresql
fio --name=randread --rw=randread --bs=4k --iodepth=32 --runtime=30 --time_based --size=1g --direct=1 --filename=/data/fio.test

Нагрузочный тест на рабочем томе сам создаёт узкое место, поэтому ему выбирают отдельное окно и раздел. Замеры с прогретым страничным кэшем дают приукрашенную картину, поэтому для честных чисел включают прямой обход кэша параметром direct=1.

Поиск конкретного процесса через pidstat iotop и htop

Системные счётчики сообщают, какой ресурс кончился; виновника находят на уровне процессов. pidstat из пакета sysstat делает это по каждому процессу или потоку: без аргументов - процессор, с -d - дисковые операции, с -r - память, с -w - переключения контекста. Колонка %wait в pidstat -u показывает долю времени, которое процесс провёл в ожидании ввода и вывода, и превращает расплывчатое "диск тормозит" в конкретное "тормозит у этого процесса".

pidstat -u -d 1
pidstat -r 1
pidstat -p 4321 1

iotop -oPa оставляет на экране только процессы с реальным вводом и выводом и показывает накопленные значения, что удобно для поиска фоновых писателей. Напрямую счётчики лежат в /proc/PID/io, где read_bytes и write_bytes отражают фактические дисковые операции процесса.

iotop -oPa
cat /proc/4321/io

Типичные находки на этом этапе: процесс, пишущий в журнал сотни мегабайт в секунду после смены уровня отладки; резервное копирование, стартовавшее вне окна; СУБД, выполняющая fsync на каждую мелкую транзакцию без группировки. Каждый такой случай лечится настройкой приложения, а не покупкой железа.

Лимиты cgroups и невидимое регулирование ресурсов контейнеров

Отдельная группа узких мест не связана с физическим дефицитом: ресурс упирается в квоту, установленную администратором или платформой. Юниты systemd и контейнеры работают внутри cgroups, и ограничение меняет поведение так, что классические счётчики показывают внешнее благополучие. Приложение с квотой на четверть ядра демонстрирует низкую загрузку процессора и одновременно высокую задержку: оно просто стоит в троттлинге.

Проверка для юнита systemd:

systemctl show app.service -p CPUQuotaPerSecUSec -p MemoryMax
cat /sys/fs/cgroup/system.slice/app.service/cpu.stat
cat /sys/fs/cgroup/system.slice/app.service/memory.events

Файл cpu.stat содержит nr_throttled и throttled_usec: сколько раз и на сколько суммарно квота останавливала группу. Растущие значения объясняют загадочные просадки при спокойной общей загрузке. memory.max задаёт потолок памяти группы, memory.events ведёт счёт исчерпаний и срабатываний oom-killer, io.max ограничивает операции и полосу на конкретном устройстве. Для быстрого обзора по группам есть systemd-cgtop и docker stats.

systemd-cgtop
docker stats --no-stream

Разница между лимитом и реальностью хорошо видна на контейнере с ограничением в одно ядро: внутри контейнера загрузка выглядит стопроцентной, а на хосте с восемью ядрами - лишь двенадцатью процентами. Это не сбой мониторинга, это работа квоты, и лечится она пересмотром лимитов или профилированием приложения.

Порядок обхода подсистем и сбор базовых показателей

Счётчики ничего не значат в отрыве от базы для сравнения. Значение await в 8 миллисекунд отлично для вращающегося диска и подозрительно для NVMe; решить это можно, только зная показатели спокойного периода. Служба sar из пакета sysstat пишет историю и возвращает её по запросу: sar -u по процессору, sar -r по памяти, sar -d по устройствам, sar -q по очереди выполнения, sar -B по страничной активности.

Последовательность, которая выручает при разборе жалоб на медленный сервис, выглядит так:

  1. зафиксировать симптомы в измеримом виде: какая операция медленная, с какого момента, есть ли привязка ко времени суток;
  2. сопоставить load average с числом ядер и оценить тренд по трём интервалам uptime;
  3. открыть top и распределить процессорное время между us, sy, wa, ni и st;
  4. проверить free и vmstat на предмет ненулевых si и so, затем журнал ядра на сообщения oom-killer;
  5. снять iostat -x и сравнить await, aqu-sz и %util с базовыми значениями;
  6. найти виновника на уровне процессов через pidstat и iotop;
  7. сверить квоты cgroups, если система в целом выглядит недогруженной.

После каждой правки измерение повторяют теми же командами: изменили объём памяти - снова vmstat и /proc/pressure/memory, подняли квоту - снова cpu.stat. Одно изменение за раз отделяет эффект от шума. Связка колонок us, sy, wa, si, so, await и throttled_usec покрывает подавляющее большинство производственных ситуаций, а специализированные трассировщики вроде perf и ebpf подключают позже, когда счётчики уже вывели на нужную область.