Программа замедлилась, но в логах чисто, тесты зелёные, а нагрузочный сценарий не менялся. В такой ситуации интуиция почти всегда проигрывает измерению, потому что узкое место прячется там, где его никто не ждёт: в промахах кеша, в лишних системных вызовах, в планировщике или в споре потоков за блокировку. Linux даёт для таких случаев цельный набор инструментов, и они не конкурируют, а дополняют друг друга. perf отвечает за счётчики и выборки, ftrace показывает события ядра как они есть, bpftrace отвечает на точечные вопросы одной строкой, а strace выручает при разборе запуска процесса. Ниже разобраны сами инструменты, типичные связки между ними и порядок работы от первого замера до проверенного исправления.

Счётчики perf stat и события аппаратных блоков процессора

Каждое процессорное ядро несёт блок мониторинга производительности, сокращённо PMU. Это аппаратные счётчики, которые считают такты, исполненные инструкции, промахи кешей всех уровней, неверно предсказанные переходы и ещё сотни событий, специфичных для конкретной архитектуры. Доступ к ним открывает системный вызов perf_event_open, а утилита perf stat оборачивает любой запуск или подключается к уже работающему процессу:

perf stat -p 4242 -- sleep 10
perf stat -e cycles,instructions,cache-misses,branch-misses -a sleep 5
perf stat -I 1000 --per-core -p 4242

Первая команда наблюдает за процессом десять секунд, вторая снимает выбранные события по всей системе, третья печатает цифры каждую секунду в разрезе ядер. Главная метрика здесь - IPC, отношение инструкций к тактам. Значение около единицы и выше характерно для счётного кода, живущего в регистрах и кеше первого уровня. Низкий IPC намекает на промахи памяти, длинные цепочки зависимостей или частые переходы, но сам по себе диагноз не ставит. Сравнивать нужно профиль больной системы с профилем здоровой, снятым на той же машине и той же нагрузке, иначе цифры вводят в заблуждение.

Шум лечится повторами: ключ -r 5 выполняет серию замеров и печатает среднее с разбросом. Большой разброс сигналит о занятом хосте, о соседних виртуальных машинах или о миграции потоков между ядрами с разными кешами. Привязка нагрузки через taskset к фиксированным ядрам и тишина от лишних фоновых служб делают замеры сравнимыми между собой.

Полный набор событий конкретного процессора печатает perf list: там и готовые имена, и события кеша с суффиксами уровней, и тепловые датчики, и счётчики энергопотребления на поддерживаемых машинах. Разрез по сокетам и узлам NUMA включается ключами --per-socket и --per-node, а стандартный вывод stat уже содержит переключения контекста и миграции процессов, полезные для сравнения.

События выбираются и по raw-кодам вида rXXXX из руководства к конкретному процессору. Модификаторы :u и :k отделяют пользовательский режим от режима ядра. На процессорах Intel есть готовые метрики верхнего уровня, например perf stat -M TopdownL1, которые делят такты по четырём причинам простоя: пропускная способность ядра, память, ветвления и глубина очереди команд. Такой разрез подсказывает направление поиска ещё до всякой выборки стека.

Выборка стека вызовов через perf record и perf report

Счётчики указывают направление, но не называют виноватую функцию. Для этого существует выборка: perf record останавливает процесс сотни раз в секунду и при каждой остановке снимает стек:

perf record -F 199 -g -p 4242 -- sleep 30
perf report --no-children --stdio
perf script > stacks.txt

Частота 199 Гц выбрана не случайно: она некруглая, что снижает шанс резонанса с периодическими фазами самой программы. Стек добывается тремя путями. Указатели фреймов работают быстро, но требуют сборки с -fno-omit-frame-pointer. DWARF-размотка тяжелее и раздувает файл профиля, зато работает с любым бинарём. На процессорах Intel последний уровень ветвлений, LBR, даёт короткую аппаратную историю переходов почти бесплатно. Выбор делается ключом --call-graph fp, dwarf или lbr.

Разрешение имён требует символов: без них профиль превращается в голые числа вместо названий функций. Достаточно установить пакеты debuginfo для ядра и библиотек либо настроить debuginfod, который подтягивает символы по мере необходимости. Для сред с JIT-компиляцией программы пишут jitdump, а perf inject склеивает его с профилем. Пока запись идёт, живую картину показывает perf top, а после - perf report с колонками self и children: первая считает такты самой функции, вторая прибавляет всё, что она вызвала. perf annotate спускается до строк исходника и инструкций с процентами.

Системный профиль снимается тем же ключом -a, но лучше ограничить время: perf record -a -g -- sleep 60 записывает всю машину, включая холостые ядра и фоновые службы. Трассировки-события можно смешать с выборкой: perf record -e sched:sched_switch -e cycles:pp -a добавит к стекам карту переключений планировщика. Для функций ядра без символов динамическую точку создаёт perf probe, после чего она доступна и для записи, и для трассировки.

Вместо частоты можно назначить период выборки ключом -c, это удобно для ровного долгого сбора. Отбор только пользовательского кода включают суффиксом :u у события, только ядра - :k. Две записи сравнивает perf diff: он показывает прирост или убыль каждой функции между профилями до и после правки.

Трассировка ядра ftrace и файловая система tracefs

ftrace живёт прямо в ядре и целиком управляется через файлы tracefs, обычно смонтированные в /sys/kernel/debug/tracing или /sys/kernel/tracing:

cd /sys/kernel/debug/tracing
echo function_graph > current_tracer
echo 'ext4_file_read_iter' > set_ftrace_filter
cat trace_pipe

Трассировщик function_graph рисует вложенные вызовы с длительностью каждого и помечает те, что превысили порог. Список доступных для трассировки функций лежит в available_filter_functions, фильтры принимают маски вроде 'vfs_*', а лишние функции исключает set_ftrace_notrace. События-точки, расставленные разработчиками ядра, включаются одним файлом:

echo 1 > events/sched/sched_switch/enable
echo 1 > events/irq/irq_handler_entry/enable

Всё пишется в кольцевой буфер в памяти ядра, поэтому цена мала; ёмкость регулируется файлом buffer_size_kb, а потери при переполнении отмечаются в начале файла trace. Чтение идёт из trace_pipe или из самого trace, причём последний можно чистить на лету. Динамические точки ставятся через kprobe_events на вход и выход практически любой функции ядра, а uprobe_events привязывает трассировку к библиотеке пользователя по смещению символа. Для долгих сессий удобен trace-cmd, который сохраняет буфер в файл, и графический KernelShark, где переключения планировщика видны на временной шкале.

Ядро умеет держать несколько независимых буферов: каталог внутри instances создаёт отдельный экземпляр с собственными настройками, что удобно, когда один блок наблюдения смотрит за сетью, а второй - за файловой системой. Событие из приложения помечается записью в trace_marker и появляется в общем потоке рядом с событиями ядра, что позволяет сопоставлять их на одной шкале. Включение и выключение сбора управляется файлом tracing_on, им же пользуются скрипты, чтобы снимать короткие окна под нагрузкой.

Отдельное семейство - трассировщики латентности: irqsoff находит самый долгий отрезок с выключенными прерываниями, preemptoff - с выключенным вытеснением, wakeup_rt - путь пробуждения потока реального времени. Порог срабатывания пишется в tracing_max_latency, а результат остаётся в файле trace до следующего превышения.

Скрипты bpftrace для точечных вопросов к ядру

Когда нужен не общий профиль, а ответ на конкретный вопрос, bpftrace экономит часы. Язык в одну строку компилируется в программу eBPF, верификатор ядра проверяет её безопасность, и код работает с минимальной ценой:

bpftrace -e 'kprobe:vfs_read { @[comm] = count(); }'
bpftrace -e 'tracepoint:block:block_rq_issue { @sz = quantize(args->bytes); }'
bpftrace -e 'profile:hz:99 /comm == "app"/ { @[ustack] = count(); }'

Первая строка считает вызовы чтения по имени процесса, вторая строит гистограмму размеров запросов к блочному устройству, третья периодически снимает пользовательские стеки и группирует их. Гистограмма quantize показывает форму распределения, а не только среднее, и сразу отличает ровный поток от потока с редкими тяжёлыми выбросами. Точки крепления делятся на kprobes для функций ядра, tracepoints для стабильных событий, uprobes и USDT для пользовательского кода. Для многоразовых утилит есть набор BCC: offcputime покажет, на чём именно процесс ждёт, biolatency распределит по корзинам время обслуживания диска, а runqlat - очередь к процессору.

Маски в именах точек избавляют от перечисления: kprobe:bio_* зацепит сразу все функции блочного уровня, а встроенная точка interval:s:1 печатает агрегаты раз в секунду. Блоки BEGIN и END выполняются до и после сбора и удобны для инициализации карт. Подробные сценарии живут в отдельных файлах с расширением bt и запускаются как обычные скрипты.

strace и границы полезности системных вызовов

strace смотрит на процесс через ptrace и печатает каждый системный вызов:

strace -c -f ./app
strace -ttT -e trace=openat,read,write -p 4242

Режим -c сводит всё к таблице с числом вызовов, ошибками и суммарным временем, режим -ttT добавляет метки времени и длительность каждого вызова. Цена ptrace высока: замедление достигает десятков раз, поэтому держать strace в продакшене под нагрузкой опасно. Его стихия - запуск новой программы, диагностика окружения, поиск отсутствующих файлов, неудачных открытий и странных ошибок. Код ошибки в последней колонке - самый быстрый указатель на проблему: ENOENT выдаёт отсутствующий файл, EAGAIN - перегруженный ресурс.

Группы вызовов фильтруются готовыми множествами: -e trace=%file покажет только работу с файлами, %network - сетевые операции, %memory - работу с памятью. Для динамических библиотек удобен ключ -y, раскрывающий пути, а ltrace дополняет картину вызовами в библиотеки пользователя. При разборе запуска полезно сравнивать strace двух машин: расхождение в первых же открытиях файлов часто выдаёт неправильную конфигурацию. Для горячего контура лучше подходят perf trace, который читает те же события через perf_event_open без остановки процесса, либо bpftrace с подсчётом вызовов: разница в цене наблюдения отличается на порядки.

Чтение пламенных графов и поиск горячих путей

Тысяча строк из perf script не читается глазами, поэтому профиль сворачивают в пламенный граф:

perf script | stackcollapse-perf.pl | flamegraph.pl > cpu.svg

Ширина прямоугольника равна доле выборок, глубина - стеку вызовов снизу вверх. Широкое ровное плато - это и есть горячая функция; узкие высокие башни означают, что время размазано по множеству коротких вызовов, и разбор стоит начинать с агрегатов, а не с отдельных листьев. Сортировка по self-времени в perf report (--no-children) отвечает на вопрос, кто сжигает такты сам; сортировка по children - кто приводит туда трафик.

Память изучается иначе: perf mem и perf c2c находят ложное разделение строк кеша между потоками, а off-CPU профиль по переключениям планировщика показывает ожидание, невидимое для счётчиков тактов. Два профиля до и после правки удобно сравнивать диффом пламенных графов: подросшие пласты прямо показывают, что принесла новая конфигурация. Так счётчики дают диагноз, графы - подозреваемого, а точечная трассировка - доказательства.

У методики есть слепые зоны. Инлайн склеивает несколько исходных имён в один уровень стека, и долю каждой из них профиль показывает объединённо. Системный профиль вперемешку с простоями рисует холостые ядра, поэтому их отсекают фильтром по идентификатору процесса. Проценты выборок честны только при ровной нагрузке: всплески и паузы утяжеляют те фазы, что совпали с окном записи.

Практическая методика работы на реальной машине

Инструменты дают цифры, но вывод делает инженер, поэтому порядок действий ценнее набора команд:

  1. воспроизвести замедление стабильной нагрузкой и зафиксировать версии ядра, компилятора и библиотек;
  2. снять perf stat на больной и на здоровой системах, сравнить IPC, промахи кеша и переключения контекста;
  3. записать выборку стека через perf record на умеренной частоте и построить пламенный граф;
  4. сузить вопрос до конкретной подсистемы и перейти на ftrace или bpftrace, чтобы увидеть сами события, а не их тень;
  5. проверить гипотезу правкой кода, опцией компилятора или конфигурации;
  6. повторить первый замер и убедиться, что метрика сдвинулась, а регрессий нигде не появилось.

Пару файлов стоит упомянуть отдельно. /proc/sys/kernel/perf_event_paranoid на большинстве дистрибутивов стоит в значении 2 и запрещает обычному пользователю профилировать ядро; для рабочих замеров значение снижают или работают от root. Маскировка имён ядра ключом kptr_restrict тоже оставляет профиль безымянным. В контейнерах профильным инструментам нужны права CAP_PERFMON или CAP_SYS_ADMIN, иначе perf увидит отказ с кодом EPERM. На кастомных сборках ядра стоит проверить CONFIG_PERF_EVENTS, CONFIG_FUNCTION_TRACER и CONFIG_KALLSYMS_ALL: без них соответствующие инструменты откажутся работать или потеряют имена символов ядра.

Профиль, снятый в спокойной обстановке и отложенный в репозиторий, - лучший спутник ночного инцидента. Сравнение текущего пламенного графа с базовым за минуту показывает, что изменилось, а лог ftrace поясняет, когда именно это произошло. Такой цикл замер - гипотеза - правка - повторный замер превращает непонятное замедление в обычную инженерную работу с проверяемым результатом.