Трассировка выполнения программ отвечает на вопрос, который не решит ни один дизассемблер: по какому пути код шёл в реальном запуске. Статический разбор рисует граф всех допустимых маршрутов, но живой процесс каждый раз выбирает из них один, и именно этот выбор приходится восстанавливать при разборе сбоя, утечки или необъяснимого замедления. В Linux для такой работы сложилась целая лестница механизмов: почтенный ptrace с его остановками, точки останова и наблюдатели gdb, зонды ядра и пользовательского кода, аппаратные трассировщики ветвлений и полная бинарная инструментировка. У каждой ступени своя цена и своя точность, а материал ниже идёт по этой лестнице снизу вверх, от механики остановок до аппаратных пакетов.

Динамическая и статическая картины потока управления

Поток управления принято изображать графом: узлы - базовые блоки, рёбра - переходы между ними. Такой граф описывает все пути сразу, включая те, что за жизнь программы не исполнятся ни разу. Для прямых переходов цели известны из машинного кода, но косвенные ветвления, таблицы обработчиков и виртуальные вызовы делают статическую картину расплывчатой: до запуска множество адресов-целей порой нельзя назвать даже приблизительно. Иными словами, статический граф отвечает, куда программа может пойти, а динамическая трасса - куда она пошла на самом деле.

Динамическая трассировка переворачивает постановку задачи: она не перечисляет возможности, а фиксирует факты. На выходе получается журнал, где каждое ветвление подтверждено исполнением, каждая цель косвенного перехода названа точно, а каждый вызов привязан ко времени и контексту потока. Такой журнал нужен профилировщикам для атрибуции времени, отладчикам для восстановления сценария отказа и средствам контроля целостности, которые сравнивают фактические маршруты с разрешёнными. Полная трасса и выборка дополняют друг друга: выборочный профилировщик дёшево показывает, где примерно жарко, а точная трасса отвечает, сколько раз цикл сделал оборот, какой вариант перехода выбрался и по какой ветке ушла ошибка.

Механика ptrace и цена остановки на каждом системном вызове

Классическая трассировка в Linux начинается с системного вызова ptrace. Трассировщик порождает подопечного с запросом PTRACE_TRACEME или присоединяется к уже работающему процессу, после чего ядро начинает останавливать его на значимых событиях и будить наблюдателя. Для системных вызовов предусмотрены две остановки на вызов, на входе и на выходе, поэтому трассировщик видит и аргументы, и возвращаемый код; доставка сигнала тоже будит наблюдателя, и strace показывает сигналы вперемешку с вызовами. Режим PTRACE_SYSCALL даёт ровно такое поведение, PTRACE_SINGLESTEP исполняет по одной инструкции, PTRACE_GETREGS и PTRACE_PEEKDATA читают регистры и память остановленного процесса, а PTRACE_SEIZE с PTRACE_INTERRUPT делают присоединение к работающей службе мягче. На этой механике стоят strace и ltrace: первый расшифровывает системные вызовы и сигналы, второй ставит программные точки останова на записи PLT и печатает обращения к библиотечным функциям вместе с аргументами и результатами.

strace -f -e trace=openat,connect -p 4123
strace -c ./ingest
ltrace -e 'malloc+free' ./worker

Прозрачность такой картины небесплатна. Каждая остановка означает пару переключений контекста и пробуждение трассировщика, поэтому на службе с плотным потоком коротких системных вызовов strace легко замедляет работу в разы. Смягчают удар фильтры по маскам вызовов, слежение за конкретными дескрипторами и сводка режима -c, но принцип не меняется: наблюдатель обязан просыпаться на каждое событие. Для единичного разбора это приемлемо, для постоянного сопровождения производительности - нет. Отдельный нюанс касается многопоточности: без ключа -f трассировка ограничивается главным потоком, и половина картины останется за кадром.

Точки останова, одиночные шаги и наблюдение в gdb

gdb объединяет трассировку с интерактивным управлением процессом. Программная точка останова ставится записью инструкции int3 в код подопечного: при срабатывании отладчик получает управление, восстанавливает оригинальный байт, откатывает указатель инструкций назад и решает, что делать дальше. Аппаратные точки наблюдения опираются на отладочные регистры процессора и ловят обращения к заданной ячейке памяти почти без потерь; их немного, зато программные наблюдатели следят за произвольным выражением через пошаговое исполнение и потому стоят дорого. Условные точки дороже безусловных: выражение вычисляется на каждой остановке, поэтому тяжёлые проверки уносят в команды отладчика, а не в само условие. Категория catchpoints распространяет слежение дальше машинного кода: catch syscall останавливает процесс на выбранном системном вызове, catch throw ловит момент порождения исключения, catch load сообщает о подгрузке библиотеки.

gdb -q ./app
(gdb) break worker.c:64 if retries > 3
(gdb) watch shard->owner
(gdb) catch syscall openat
(gdb) record
(gdb) reverse-next

Запись выполнения добавляет измерению направление назад. Встроенный режим record запоминает эффект каждой инструкции и позволяет отмотать состояние, а отдельный отладчик rr ведёт детерминированную запись и проигрывание, превращая редкий сбой в повторяемый сценарий. Для гонок, порчи памяти и плавающих отказов такая способность экономит часы: вместо расстановки десятка условных точек разработчик доходит до момента ошибки и шагает от него в прошлое, вплоть до отдельных инструкций через reverse-stepi.

Динамические зонды ядра kprobes и трассировщик ftrace

Когда вопрос касается не одного процесса, а всей машины, на сцену выходят трассировщики ядра. ftrace читает события из файловой системы tracefs и умеет показывать как плоский поток вызовов функций, так и вложенную картину function_graph с временем каждого вызова. Его динамическая часть на лету переписывает точки входа функций: заглушки на прологах, оставленные компилятором, заменяются точной трассировкой только там, где это запрошено. Kprobes идут дальше и позволяют посадить зонд почти на любой адрес ядра: в код записывается инструкция int3, при срабатывании вызывается обработчик, затем подменённая инструкция исполняется вне общего потока и при необходимости срабатывает постобработчик. Парный механизм kretprobes ловит выход из функции и отдаёт возвращаемое значение. Поверх зондов и статических точек трассировки работает bpftrace, компилирующий короткие скрипты в программы eBPF, которые исполняются в ядре без остановки сервисов.

cd /sys/kernel/tracing
echo function_graph > current_tracer
echo 1 > events/syscalls/sys_enter_openat/enable
cat trace_pipe
echo 'p:vfsread_probe vfs_read' > kprobe_events
echo 1 > events/kprobes/vfsread_probe/enable
bpftrace -e 'kprobe:vfs_read { @[comm] = count(); }'

Зонды ставятся и снимаются на живой системе, поэтому kprobes стали основным инструментом разбора проблем, которые исчезают при перезапуске: зависших запросах, редких таймаутах, потерянных пакетах. Выражения фильтров отсекают шум прямо в ядре, не выпуская ненужные события из кольцевого буфера, а счётчики и гистограммы eBPF живут в картах, из которых пользовательская программа вычитывает готовые итоги без переключений контекста на каждое событие. Записи удобно снимать утилитой trace-cmd в файл и разбирать уже на спокойной машине, а печать в trace_marker из кода приложения позволяет сшить журнал ядра с событиями самого сервиса по единой временной шкале.

Uprobes, perf probe и аппаратная трассировка ветвлений

Uprobes переносят ту же механику в пространство пользователя: ядро записывает int3 в страницу с кодом процесса, ловит срабатывание и передаёт обработчику регистры, а зонд на выходе функции отдаёт возвращаемое значение. Зонд привязан к файлу с кодом, поэтому срабатывание ловится во всех процессах, исполняющих этот бинарник. Ручной поиск адресов утомителен, поэтому perf probe заводит зонды по именам функций, аргументов и строк исходника, опираясь на отладочную информацию, а bpftrace обращается к библиотечным функциям по пути к файлу.

perf probe -x ./app worker_parse
perf record -e probe_app:worker_parse -aR sleep 10
perf report
bpftrace -e 'uprobe:/usr/lib/x86_64-linux-gnu/libc.so.6:malloc /arg0 > 1048576/ { printf("%s %d\n", comm, arg0); }'

Отдельную ступень занимает аппаратная трассировка ветвлений. Intel PT пишет в сжатый поток пакеты о принятых и отклонённых ветвлениях и о целях косвенных переходов, ARM отвечает на это блоками CoreSight. Расходы на исполнение кода при таком методе минимальны, а perf умеет декодировать поток обратно в последовательность адресов, из которой собирается фактический граф потока управления целого многопоточного сервиса. Из декодированной трассы восстанавливается и точное значение указателя инструкций в момент каждого перехода, что ценнее всего там, где дампа памяти нет. Даже без выделенного блока трассировки счётчик LBR хранит ограниченную историю последних ветвлений и даёт perf выборку стека ветвлений для точной атрибуции тормозящих переходов.

perf record -e intel_pt//u -a -- sleep 5
perf script --itrace=ib -F time,pid,comm,ip,sym
perf record -b -e cycles:pp -- ./app
perf report --branch-history

Динамическая бинарная инструментировка в Valgrind и DynamoRIO

Третий подход называют динамической бинарной инструментировкой, и его воплощают Valgrind, DynamoRIO и Pin. Ни одна инструкция здесь не исполняется в оригинальном виде: система переводит код в промежуточное представление по базовым блокам, вставляет вызовы инструментария в каждую выбранную точку, компилирует результат в собственный кеш и лишь затем запускает. Кеш транслированного кода связывает блоки цепочками, поэтому чистая трассировка без вставок идёт быстро, а плотная проверка каждой инструкции снова замедляет исполнение в разы. Перевод дорог, но универсален: инструменты Valgrind считают обращения к памяти, строят полный граф вызовов с точным числом инструкций на каждую функцию, моделируют кеши и предсказатель ветвлений, не требуя ни пересборки, ни поддержки со стороны ядра. Плата за универсальность известна: под Valgrind программа замедляется в десятки раз, поэтому этот путь выбирают для коротких прогонов и глубоких проверок, а не для постоянного наблюдения.

valgrind --tool=callgrind --dump-instr=yes ./app

Frida применяет ту же идею к чужим работающим процессам, подгружая агент в адресное пространство и переписывая функции на лету, что сделало её востребованной в анализе мобильных приложений. Противоположный полюс занимает статическая инструментировка: компилятор вставляет вызовы по флагам -finstrument-functions и -pg ещё при сборке, а инструменты вроде Dyninst переписывают готовый бинарник заранее. Статический путь дешевле в исполнении, но требует доступа к сборке и слеп к коду, который появится после компиляции: подгружаемым плагинам, JIT-генерируемым фрагментам, библиотекам, установленным позже.

Накладные расходы, безопасность и границы применимости метода

У динамической трассировки три границы. Первая - производительность: ptrace платит остановками за каждое событие, Valgrind платит переводом всего кода, зонды и аппаратная трассировка дешевле прочих, но требуют прав и настройки. Вторая - право доступа: параметр ядра yama.ptrace_scope ограничивает, кто может присоединяться к чужим процессам, а трассировщику в контейнере нужны согласованные возможности безопасности. Третья - реакция самой программы: часть кода распознаёт отладку по признакам своего окружения и меняет поведение, и тогда анализ защищённого приложения превращается в отдельную дисциплину. Плотность событий тоже ресурс: кольцевые буферы переполняются, трассировщик начинает терять записи, и картина делается дырявой именно тогда, когда система занята сильнее всего. Стоит помнить и о технической детали: один процесс обслуживает лишь одного трассировщика за раз, поэтому strace и gdb на одной цели дружат плохо.

На практике выбор инструмента сводится к нескольким ориентирам:

  1. для экспресс-разбора чужого процесса достаточно strace с фильтрами и сводкой вызовов;
  2. для воспроизводимой работы с логикой выбраны gdb и запись выполнения с обратным шагом;
  3. для непрерывного наблюдения за продакшеном применяют ftrace, kprobes, uprobes и bpftrace;
  4. для точной картины ветвлений на горячем коде берут perf с Intel PT или выборкой LBR;
  5. для полной инструментировки без доступа к исходникам подходят Valgrind, DynamoRIO или Frida.

В связке эти методы покрывают весь спектр задач: от одного подозрительного вызова до полного графа ветвлений многопоточного сервиса. Трассировка не заменяет чтение кода и статический анализ, она добавляет к ним факт исполнения, а в спорах о том, куда реально уходит программа, факт весит больше любой догадки.