Латентность в системах реального времени это промежуток между внешним событием и ответом на него: между фронтом сигнала на входе платы и первой инструкцией обработчика, между истечением таймера и пробуждением потока. Для станка с ЧПУ, аудиоинтерфейса, контроллера двигателя или узла телеком-сети важен не средний отклик, а худший случай за смену, потому что один выброс способен обернуться браком или аварией. Ядро Linux общего назначения таких гарантий не даёт, поэтому задержки измеряют, а не предполагают. Разброс значений между прогонами называют джиттером, и борьба с ним отнимает у инженеров не меньше сил, чем снижение самой задержки. Ниже собраны методики и инструменты, которыми латентность измеряют на практике: от пары вызовов clock_gettime в пользовательском коде до трассировщиков ядра и патча PREEMPT_RT.
Составные части задержки от сигнала прерывания до рабочего кода
Путь события состоит из нескольких этапов, и каждый добавляет свои микросекунды. Сначала контроллер прерываний доставляет сигнал процессорному ядру, затем исполняется обработчик в контексте прерывания, после чего ядро будит ждущую задачу. Дальше вступает планировщик: он выбирает следующую задачу среди готовых, переключает контекст, а новый владелец процессора прогревает кэши и буферы трансляции адресов. Сумма этих шагов и есть латентность отклика; у системы без настройки она измеряется десятками и сотнями микросекунд с редкими выбросами на порядки больше.
Сон с высокой точностью обеспечивают hrtimer, высокоточные таймеры ядра, построенные поверх аппаратных таймерных устройств. Точность срабатывания, однако, не равна латентности пробуждения: обычные потоки получают округление срока вверх с учётом timer slack, который по умолчанию достигает 50 мкс, а у потоков с политикой реального времени slack по умолчанию нулевой. Отсюда простое правило: измерять нужно тот же путь, который работает в бою, с той же политикой планирования, тем же приоритетом и той же привязкой к ядрам, иначе отчёт получится искажённым в лучшую сторону. Отдельные составляющие пути выясняют по частям: окно с выключенными прерываниями показывают трассировщики irqsoff и preemptoff, путь пробуждения показывает wakeup_rt, а полный отклик от вывода датчика до кода при наличии свободной ножки GPIO меряют внешним осциллографом.
Источники джиттера удобно держать в голове перечнем: миграции задач между ядрами с холодными кэшами, конкурентная работа соседних потоков на одной линии кэша, подкачка, переключение частот и глубокие состояния простоя, термическое снижение частоты, а ещё прерывания от периферии, которая оживает в самый неподходящий момент. Часть этих эффектов лечится настройкой, часть остаётся навсегда, и её вклад как раз показывает измерение.
CLOCK_MONOTONIC и clock_gettime как измерительная база прикладного кода
Базовый инструмент прикладного замера это clock_gettime с часами CLOCK_MONOTONIC. На большинстве архитектур вызов обслуживается через vDSO без входа в ядро, поэтому его можно ставить в горячий путь без заметных потерь. Монотонные часы не двигаются при подстройке NTP и ручной установке времени, тогда как CLOCK_REALTIME после коррекции способна прыгнуть назад и превратить дельту в отрицательное число. CLOCK_MONOTONIC_RAW отдаёт показания генератора без каких-либо коррекций, CLOCK_BOOTTIME продолжает счёт во время сна системы, а разрешение конкретных часов возвращает clock_getres.
Для телеком-задач, сверяющихся с внешним эталоном, полезна и шкала CLOCK_TAI, не отступающая назад при подстройке времени; замер дельт она не меняет, но упрощает сопоставление с сетевым эталоном. Стоимость самого вызова тоже стоит знать: на современном железе через vDSO это единицы наносекунд, и в измерениях с точностью хуже микросекунды ею можно пренебречь.
Для периодических операций используют clock_nanosleep с флагом TIMER_ABSTIME: срок каждого следующего срабатывания вычисляется от общей базовой точки, и ошибка не накапливается, как при сне на относительный интервал.
struct timespec t0, t1;
clock_gettime(CLOCK_MONOTONIC, &t0);
do_work();
clock_gettime(CLOCK_MONOTONIC, &t1);
long long delta_us = (t1.tv_sec - t0.tv_sec) * 1000000LL
+ (t1.tv_nsec - t0.tv_nsec) / 1000;
Пара замеров до и после работы даёт длительность операции. Если же сравнивать плановый и фактический момент пробуждения после сна, получится латентность планировщика, и именно на этом принципе построен cyclictest. Для латентности отклика важна монотонная шкала: процессорное время отдельных потоков показывает CLOCK_PROCESS_CPUTIME_ID, но с ходом внешних событий оно связано слабо, и для задач отклика на стимул оно почти бесполезно.
cyclictest из пакета rt-tests как рабочий стандарт измерений
Утилита cyclictest из пакета rt-tests поднимает потоки с политикой SCHED_FIFO, каждый поток засыпает на фиксированный интервал, а при пробуждении сравнивает фактическое монотонное время с плановым. Разница и есть латентность пробуждения; её минимум, текущее значение, среднее и максимум печатаются по ходу прогона, а накопленная статистика уходит в гистограмму.
Основные опции закрывают типовые потребности измерителя:
- опция -p задаёт приоритет SCHED_FIFO от 1 до 99;
- опция -m вызывает mlockall и убирает задержки на страничные отказы;
- опция -i задаёт базовый интервал в микросекундах, по умолчанию 1000;
- опции -t и -a поднимают по потоку на ядро и привязывают их к ядрам;
- опция -h собирает гистограмму попаданий до выбранного порога в мкс;
- опция -D ограничивает длительность прогона, а -q глушит регулярную печать.
cyclictest -m -p 95 -i 1000 -h 400 -t 4 -a 2-5 -D 12h -q
Каждая строка выгрузки гистограммы содержит индекс интервала, счётчик попаданий и графическое распределение; по ней видно, где проходит основная масса событий и где начинается редкий хвост. Опция -b задаёт порог, при превышении которого прогон останавливается, что удобно в паре с трассировкой: система фиксирует ровно тот момент, когда случился выброс. Быстрый двухчасовой прогон без нагрузки служит базовой точкой, затем тот же сценарий повторяется под нагрузкой, и разница хвостов показывает цену, которую отклик платит за соседей по машине. Нагрузку создаёт hackbench из того же пакета или сама рабочая программа; pi_stress давит на мьютексы и проверяет наследование приоритетов; hwlatdetect измеряет дыры, которые ядро не видит вовсе: прерывания микропрограммы, известные как SMI, вытесняют всё, включая ядро, и снаружи выглядят как провалы во времени.
Гистограммы и хвосты распределения вместо усреднённых показателей
Средняя латентность годится лишь как индикатор деградации между прогонами; контракт реального времени формулируют через максимум и старшие перцентили. Гистограмма за двенадцать часов поймает выброс, который случается раз в ночь, тогда как пятиминутный прогон его безмятежно пропустит. Рост хвоста при стабильном среднем типично указывает на подкачку, миграции задач, штормы прерываний или SMI, и это повод для расследования, а не для пересдачи прогона.
Сравнение прогонов честно лишь при одинаковой нагрузке, зафиксированных частотах, сопоставимой температуре и совпадающих версиях ядра с конфигурацией. Полезно привязывать потоки к конкретным ядрам и вести отдельные гистограммы по ядрам: так выброс немедленно связывается с ядром, на которое свалились прерывания. Итоговую картину иногда сводят к трём числам: медиана описывает типичный путь, перцентиль 99.99 показывает режим постоянной работы, максимум отвечает за редкие ночные выбросы, и потеря любого из трёх чисел обедняет отчёт.
Трассировщики ядра помогают найти виновника худшего прогона
Цифры cyclictest отвечают на вопрос "насколько плохо", но не называют виновника. Для расследования в ядре встроен ftrace с набором готовых трассировщиков: irqsoff и preemptoff вылавливают самые длинные окна с выключенными прерываниями или вытеснением, а wakeup_rt показывает весь путь пробуждения задачи с реальным приоритетом, от срабатывания таймера до смены контекста.
cd /sys/kernel/tracing
echo wakeup_rt > current_tracer
echo 1 > tracing_on
Размер кольцевого буфера трассировки задают через buffer_size_kb, иначе длинное окно перепишет само себя раньше, чем случится выброс; файл tracing_max_latency хранит рекорд текущего трассировщика, а событие, его установившее, остаётся в буфере до следующего рекорда. Такой механизм позволяет держать трассировщик включённым часами: он почти ничего не пишет, пока система ведёт себя хорошо, и оживает ровно в момент деградации.
С ядра 5.14 доступны трассировщики osnoise и timerlat, а вокруг них построена утилита rtla. timerlat измеряет латентность таймерного пробуждения, включая пользовательскую часть пути, osnoise ищет окна шума без привязки к таймеру.
rtla timerlat top -d 10m
rtla timerlat hist -T 150
Для записи и разбора событий планировщика и прерываний удобен trace-cmd, а точечные вопросы вроде частоты конкретного события закрывает bpftrace.
trace-cmd record -e sched_switch -e sched_wakeup -e irq_handler_entry cyclictest -m -p 95 -i 1000 -b 200 -q
trace-cmd report | less
Трассировка стоит тактов, поэтому её включают короткими окнами и не смешивают с финальными замерами: сначала цифры без наблюдателя, потом расследование с ним. Режим function_graph полезен, когда нужно увидеть, в каких вызовах уходит время внутри окна, найденного трассировщиком, и кто именно держал спинлок или вытеснение.
Подготовка системы изоляция ядер приоритеты и настройки PREEMPT_RT
Планирование реального времени включают политикой SCHED_FIFO с приоритетом от 1 до 99; любое её значение приоритетнее любой задачи SCHED_OTHER. Верхнюю часть шкалы оставляют потокам ядра и обработке прерываний, измерительному потоку комфортно на 80-95. В shell это делает chrt -f 80, в коде тот же результат даёт sched_setscheduler:
struct sched_param sp = { .sched_priority = 80 };
sched_setscheduler(0, SCHED_FIFO, &sp);
mlockall(MCL_CURRENT | MCL_FUTURE);
Патч PREEMPT_RT превращает почти всё ядро в вытесняемый код, переносит обработчики прерываний в обычные потоки, которыми можно управлять как любыми задачами, и добавляет наследование приоритетов в мьютексы ядра; начиная с ядра 6.12 значительная часть этих изменений живёт в мейнлайне. Ограничитель планировщика, доступный через sched_rt_runtime_us, резервирует долю тактов для обычных задач, и при выедании полосы RT-потоки на время приглушаются, что тоже заметно на длинных прогонах.
Подготовка железа не менее важна: ядра уводят из-под бытовых задач параметром isolcpus вместе с nohz_full и rcu_nocbs, прерывания переносят на выделенные ядра, губернатор cpufreq ставят в performance, а глубокие состояния простоя ограничивают, потому что выход из них сам по себе стоит микросекунд.
isolcpus=nohz,domain,managed_irq,2-5 nohz_full=2-5 rcu_nocbs=2-5
echo 4 > /proc/irq/24/smp_affinity_list
cpupower frequency-set -g performance
В современном стеке ту же изоляцию оформляют через cgroups и юниты systemd с параметром CPUAffinity, без правки загрузчика; суть везде одна: измерительному ядру не должен доставаться чужой код. После смены ядра или прошивки всю серию прогонов повторяют, потому что латентность зависит даже от микрокода процессора. Виртуализированная система покажет латентность хоста, а не гостя, поэтому честные цифры получают на физическом железе, и только на нём.
Правила честного прогона и типичные ошибки измерений
Готовый протокол измерения латентности выглядит так:
- выделить ядра под измерения и развести с ними бытовые задачи и прерывания;
- поставить потоку измерений SCHED_FIFO, привязать его и зафиксировать память через mlockall;
- создать нагрузку, близкую к боевой, а не синтетический покой;
- запустить cyclictest с гистограммой на срок не меньше рабочей смены;
- повторить прогон трижды и сравнить максимум и старшие перцентили, а не среднее.
Права на планирование реального времени выдаёт параметр rtprio в лимитах пользователя, иначе sched_setscheduler вернёт отказ, а поток незаметно побежит с обычным приоритетом, и весь отчёт потеряет смысл. Забытый mlockall оборачивается страничным отказом в худшем месте прогона. Короткий прогон без нагрузки, доверие среднему и замер под включённой трассировкой дают красивые и бесполезные цифры.
Частая ловушка - сравнение показаний, снятых на разных ядрах линейки процессора: нулевое ядро обычно несёт больше бытовых прерываний и закономерно проигрывает. Ещё одна - прогон на ноутбуке с энергосберегающим профилем, где частоты и состояния простоя живут своей жизнью. И третья - забытая проверка после обновления ядра или прошивки: система, дававшая ровный хвост месяц назад, после апгрейда может прирастить десяток микросекунд, и об этом узнают из гистограммы, а не из жалоб эксплуатации. Отчёт без условий прогона не стоит ничего: длительность, профиль нагрузки, версия ядра, конфигурация и приоритеты превращают числа в инженерный аргумент, пригодный для сравнения версий и поиска регрессий.