Сценарий, знакомый многим администраторам: сервер ведёт себя странно, трафик уходит в неизвестном направлении, но ps показывает только знакомые процессы, а ss не находит подозрительных соединений. Так проявляет себя руткит, программа, чья главная задача не вредить напрямую, а оставаться невидимой. Она подменяет саму картину мира, которую видит человек за терминалом, и потому обычные средства проверки оказываются бессильны. Разберёмся, где именно прячутся такие гости, чем их вычисляют и как выстроить систему, в которой им будет тесно.

Обычные средства просмотра процессов пропускают заражение

Утилиты ps, top и ss не опрашивают систему напрямую, а читают данные из файлов в /proc и обращаются к системным вызовам через системную библиотеку. Каждый такой путь проходит через компоненты, которые и становятся мишенью для подмены. Заражённое ядро возвращает не полный список процессов, заражённая библиотека вырезает из выдачи лишние записи, подменённый бинарник вообще ведёт себя как хочет.

Логика сокрытия предельно проста: перехватчик смотрит на запрашиваемое имя или номер процесса и сравнивает со своим списком того, что нужно спрятать. Совпадения отбрасываются, остальное уходит пользователю в неизменном виде. Поэтому фундаментальный принцип расследования звучит так: доверять следует только данным, полученным в обход потенциально заражённого слоя. Самый надёжный вариант это проверка со стороны, когда сервер загружают с внешнего чистого носителя и изучают его диски инструментами другой, заведомо чистой системы. Всё, что проверяется на работающей машине, остаётся под подозрением, ведь заражённый компонент в любой момент может соврать и проверяющему.

Пользовательские и ядерные руткиты разница в механизмах и глубине

Первый уровень это руткиты пользовательского режима. Классический приём здесь переменная окружения LD_PRELOAD и файл /etc/ld.so.preload, которые заставляют системную библиотеку подгружать посторонний код в каждую запускаемую программу. Библиотека перехватывает вызовы opendir и readdir, сравнивает имена и выкидывает лишнее, отчего ls и ps одновременно слепнут. Другой старый путь подмена самих бинарников: на диск кладут модифицированные копии ps, netstat и top, а оригиналы хранят в укромном месте. Такие вставки ловятся сравнением контрольных сумм с пакетной базой и убираются переустановкой пакетов.

Второй уровень глубже и опаснее: руткит в ядре. Загружаемый модуль получает доступ ко всему, что видит ядро, и может прятать процессы, файлы, сетевые соединения, перехватывать системные вызовы и держать скрытый канал связи. Таблицу системных вызовов в новых ядрах защищают от записи, поэтому современные модули идут обходными маршрутами: перехватывают функции через механизм трассировки ftrace или подменяют указатели в структурах операций файлов. Для изучения приёмов существует открытый исследовательский модуль с публичным исходным кодом, на котором безопасно посмотреть, как выглядит сокрытие процессов и файлов изнутри. Отдельное направление последних лет это использование eBPF, когда вредоносная логика выполняется в песочнице ядра и не оставляет после себя привычного модуля в списке. Такие образцы пока остаются темой исследований, но направление уже принято на вооружение защитниками и злоумышленниками.

Проверка с чистого носителя и сравнение с эталоном

Когда симптомы упрямо повторяются, а проверка на живой системе ничего не находит, наступает время проверки со стороны. Машину останавливают, загружают с внешнего носителя с заведомо чистой системой и изучают её диски, не запуская ни одного чужого бинарника. Заражённое ядро выключено вместе с машиной, и все его уловки теряют силу: процессы, файлы и модули видны ровно такими, какие они есть. Именно поэтому разбор серьёзного инцидента начинается не с запуска сканера на подозрительном хосте, а с его выключения.

Диски подключают в режиме только чтения, чтобы не подправить следы случайной командой:

mount -o ro /dev/sda2 /mnt

Дальше работают привычные инструменты с указанием на чужой корень, например chkrootkit умеет проверять примонтированную систему:

chkrootkit -r /mnt

Затем вручную просматривают места автозапуска и доступа: юниты в /mnt/etc/systemd/system, записи планировщика в /mnt/var/spool/cron, ключи в /mnt/root/.ssh. Посторонний юнит с неблагозвучным именем, задача планировщика, запускающая файл из временного каталога, лишняя строка в списке ключей, каждый такой предмет говорит сам за себя. Завершает осмотр сверка ключевых каталогов с эталоном: контрольные суммы /mnt/usr/bin и /mnt/usr/sbin сравнивают с идентичной чистой машиной той же версии или с экспортированной пакетной базой. Совпадение по всем файлам почти исключает подмену пользовательских инструментов, а расхождение сразу указывает конкретный путь для замены.

Проверка сканерами chkrootkit и rkhunter и ручная сверка данных

Первый инструмент, который запускают при подозрении, это готовые сканеры. Rkhunter перед работой обновляет базы сигнатур и затем проверяет систему по длинному списку признаков:

rkhunter --update
rkhunter --propupd
rkhunter --check --sk

Отчёт строится построчно, и каждую строку Warning следует разбирать отдельно. Предупреждение о скрытых файлах в каталоге /dev почти всегда оказывается ложной тревогой: служебные файлы управления устройствами там живут постоянно. Настоящая ценность сканера в проверке контрольных сумм известных бинарников и поиске признаков конкретных, давно описанных семейств. Chkrootkit работает проще и быстрее:

chkrootkit | grep -i INFECTED

Пустой вывод радует лишь отчасти. Оба инструмента ловят то, что уже занесено в их базы, а свежий или самописный руткит пройдёт мимо. Положительное срабатывание требует ручной проверки и почти никогда не бывает однозначным, зато отрицательное срабатывание при живых симптомах заражения прямо указывает: смотрим дальше, своими руками.

Ручной разбор продолжает дело сканеров и даёт то, чего они не умеют: независимые друг от друга источники данных, которые можно сверить между собой. Расхождение двух честных источников и есть главный след подмены. Быстрый осмотр подозрительной машины укладывается в цепочку шагов:

  1. снять вывод ps auxf и сравнить перечень процессов с содержимым каталогов в /proc;
  2. открыть файл /etc/ld.so.preload и убедиться, что он пуст или вовсе отсутствует;
  3. просмотреть lsmod и поискать модули без версии, описания и разумного размера;
  4. выполнить lsof +L1 и найти файлы, удалённые с диска, но всё ещё открытые процессами;
  5. прогнать unhide proc и сравнить скрытые от ps процессы с содержимым /proc;
  6. проверить прослушиваемые порты и сверить их со списком ожидаемых служб.

Проверка /etc/ld.so.preload занимает секунды, а ловит целый класс заражений:

cat /etc/ld.so.preload

Удалённые, но открытые исполняемые файлы, классический след: злоумышленник запустил программу и стёр её с диска, но запись в файловой таблице процессов жива:

ls -la /proc/1234/exe
lsof +L1 | head -5

Загруженные модули видны в lsmod, и подозрение вызывают короткие имена без описания, нулевой счётчик использования и свежая дата загрузки, не совпадающая с датой установки ядра. Скорная мера при подтверждении ядерной заражённости это блокировка самой возможности менять модули:

sysctl -w kernel.modules_disabled=1

После этой команды до перезагрузки ни один модуль не загрузится и не выгрузится, что не даёт атакующему добить работу и закрепиться, пока идёт разбор.

Контроль целостности системных файлов и библиотек

Разовые проверки хороши в момент расследования, но постоянную защиту даёт мониторинг целостности. Инструмент AIDE один раз снимает слепок контрольных сумм, прав доступа и размеров для всех важных файлов, а затем по команде сверяет текущее состояние с эталоном:

aideinit
aide --check

Базу снимка обязательно хранят на другом носителе или отдельном хосте, иначе заражённая система перегенерирует слепок и с чистой совестью доложит, что всё в порядке. Проверку запускают по расписанию, а отчёты отправляют туда, куда заражённый не доберётся. В семействе Debian роль быстрой проверки играет debsums, в семействе Red Hat команда rpm -Va сверяет установленные пакеты с их содержимым из пакетной базы. Запуск по расписанию обеспечивает таймер системы или простая запись в планировщике:

0 4 * * * /usr/bin/aide --check | mail -s "aide report" Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в браузере должен быть включен Javascript.

Пришедшее письмо означает, что сверка прошла, а тишина в положенное время сама по себе повод заглянуть и проверить, жива ли проверка. Эти инструменты не увидят ядерный руткит, который просто врёт о содержимом файлов, зато честно находят подменённые бинарники и посторонние библиотеки пользовательского режима.

Журналы и сетевые следы скрытой активности

Руткит умеет прятать процессы и файлы, но действия оператора оставляют следы в журналах, особенно если те уходят на отдельный сервер сбора. Подсистема auditd позволяет записывать каждое изменение критичных файлов, и правило для файла предзагрузки библиотек ставится одной строкой:

-w /etc/ld.so.preload -p wa -k preload_change

Сама по себе строка правила ничего не фиксирует, за расшифровкой идут в отчёт утилиты ausearch:

ausearch -k preload_change -i | tail -10

Запись покажет момент изменения, имя процесса и учётную запись, от которой оно произошло, и по этим трём фактам обычно ясно, законным ли было вмешательство.

Сеть тоже выдаёт лишнее. Неожиданный слушатель на высоком порту, соединения с незнакомыми адресами в неурочное время, рост исходящего трафика ночью, всё это видно в обычных статистиках интерфейсов и в выводе ss. Журналы входа подскажут про новые записи в authorized_keys, свежих пользователей и входы в нестандартные часы. По отдельности каждый признак объясним, но связка из трёх таких совпадений почти всегда означает, что машина занята кем-то посторонним, и время на разбор тратить уже не стоит.

Отдельный вопрос хранение журналов. Логи, живущие только на самом сервере, при взломе исчезают первыми: атакующий чистит следы почти сразу. Отправка копий на отдельный хост по стандартному протоколу syslog решает проблему: там записи накапливаются в неизменном виде, и никакие действия на заражённой машине их уже не тронут. Для небольших хозяйств достаточно одного сервера сбора, для крупных разворачивают выделенную подсистему, но смысл один и тот же: единственный экземпляр журнала это журнал, которого может не оказаться.

Защита системы, чтобы заражение не повторилось

После чистки важно закрыть двери, через которые гость вошёл, и те, куда он собирался. Первое правило поддержание пакетов в актуальном состоянии, потому что большинство заражений начинается с известной уязвимости, для которой давно есть заплатка. Второе минимизация: лишние службы, лишние инструменты компиляции и лишние права лишь расширяют поле для закрепления. Вход по SSH оставляют только по ключам, без паролей и без прямого входа администратора, а перебор паролей отсекают на границе.

Против ядерных руткитов работают механизмы целостности самого ядра. Secure Boot вместе с подписью модулей запрещает загрузку неподписанных модулей, и целый класс атак просто перестаёт существовать на такой машине. Параметр kernel.modules_disabled, выставляемый после старта всех нужных драйверов, замораживает модульную систему до перезагрузки. Логи собирают на внешнем хосте, слепки целостности хранят отдельно, а машины с чувствительными ролями выделяют в изолированные группы, где даже успешный взлом одного узла не открывает дорогу к остальным. Такая дисциплина не делает систему неуязвимой, но превращает тихое многолетнее присутствие гостя в короткую шумную попытку, которую видно сразу и которая оставляет достаточно следов для разбора. Помогает и постоянная инвентаризация: для каждой роли держат короткий перечень эталонных пакетов, портов и задач планировщика, с которым сверяют машину при каждом осмотре. Разница между эталоном и реальностью видна за минуты, и именно она обычно выдаёт постороннего жильца.