Сетевой трафик остаётся самым честным источником сведений о состоянии инфраструктуры. Метрики процессора и памяти могут выглядеть безупречно, пока один процесс молча забивает канал, приложение беззвучно теряет пакеты, а чужой хост методично стучится в закрытые порты. Задача администратора - увидеть поток глазами сети, отделить норму от аномалии и сделать это быстро, не дожидаясь жалоб пользователей. Скорость здесь означает и мегабиты, и время отклика: короткий дамп часто объясняет то, что не видно в графиках загрузки. Инструментарий Linux закрывает весь спектр таких задач: от побайтового захвата пакетов до наглядных консольных мониторов, накопителей статистики и распределённых платформ сбора метрик. Ниже собраны основные утилиты, их ключевые режимы и приёмы, которые выручают при разборе реальных инцидентов.
Захват пакетов утилитой tcpdump и синтаксис фильтров BPF
tcpdump - точка входа в низкоуровневую диагностику. Утилита слушает интерфейс и печатает заголовки пакетов, а при желании складывает их в файл целиком. Ключ -i задаёт интерфейс, значение any ловит на всех сразу, -n отключает разрешение имён и заметно ускоряет вывод, -c останавливает захват после назначенного числа пакетов и спасает от бесконечной простыни в терминале. Ключ -w пишет сырые дампы формата pcap, -r читает такой файл обратно, -q укорачивает вывод, -tttt ставит человекочитаемые метки времени, а -v и -vv повышают детализацию разбора заголовков. Полный срез содержимого даёт -s 0 (в свежих версиях это значение по умолчанию), -A показывает ASCII-текст, -X - столбцами шестнадцатеричных кодов, -e добавляет заголовки канального уровня с адресами устройств.
Сердце tcpdump - язык фильтров BPF. Выражение собирается из примитивов host, net, port и portrange с модификаторами направления src и dst, соединёнными словами and, or и not. Скобки требуют экранирования в шелле, поэтому сложный фильтр берут в одинарные кавычки. Квалификаторы протоколов сужают выборку, а битовые операции над заголовками добираются до отдельных флагов TCP.
tcpdump -i eth0 -n -c 1000 host 10.0.0.5 and port 443
tcpdump -i any -n -s 0 -w /var/tmp/cap.pcap net 192.168.10.0/24
tcpdump -r cap.pcap -nn -A 'tcp[tcpflags] & (tcp-syn|tcp-fin) != 0'
tcpdump -i eth0 -nn -e 'vlan 100 and udp port 53'
Первая команда показывает обмен конкретного узла по HTTPS, вторая снимает дамп целой подсети, третья выковыривает из готового файла одни лишь рукопожатия TCP - быстрый способ понять, на каком этапе рвётся соединение. Четвёртая ловит запросы к DNS внутри тегированного VLAN и заодно выводит физические адреса. Битовая проверка tcp[13] & 2 != 0 отбирает пакеты с выставленным флагом SYN, а конструкция tcp[13] & 4 != 0 - сбросы RST, по которым часто ищут молчаливые отказы межсетевых экранов. Длительная охота за плавающей проблемой превращается в рутину связкой -C и -W: вариант -C 100 -W 10 ведёт кольцевой буфер из десяти файлов по сто мегабайт, ключ -U сбрасывает буфер на диск после каждого пакета, что помогает наблюдать процесс практически в реальном времени.
Чтение дампов в Wireshark и tshark без лишнего шума
Готовый pcap удобнее всего разбирать в Wireshark: цветовая разметка, дерево протоколов, автоматические метки повторных передач, подтверждений и сбросов, потоковые диаграммы. То, что глазами в текстовой простыне отыскать трудно, здесь видно сразу. Для серверов без графики существует консольный близнец tshark с тем же движком разбора пакетов.
Здесь стоит с первого дня различать два вида фильтров. Capture filter в стиле BPF отбрасывает пакеты ещё на этапе захвата и экономит диск, память и процессор. Display filter с полными именами полей уточняет уже собранное: он знает тысячи полей всех протоколов и находит аномалии вроде повторных передач или окон нулевого размера.
tshark -i eth0 -f 'tcp port 443' -Y 'http.request or dns' -T fields -e ip.src -e dns.qry.name
tshark -r cap.pcap -q -z conv,tcp -z io,phs
tshark -r cap.pcap -Y 'tcp.analysis.retransmission' | head -n 20
capinfos /var/tmp/cap.pcap
Первая команда ведёт живой сбор адресов и запрошенных имён, отсекая всё лишнее ещё в ядре. Вторая строит по дампу таблицу TCP-сессий и сводку по протоколам: io,phs за секунды показывает, чем вообще был занят канал, а conv,tcp называет самых болтливых собеседников с точными объёмами. Третья вычленяет повторные передачи, четвёртая выдаёт сводку о файле - длительность, число пакетов, средняя скорость. Для многодневной записи на нагруженных узлах используют dumpcap с кольцевым буфером: он потребляет минимум ресурсов и не тянет лишних зависимостей. Когда нужно увидеть диалог целиком, в графическом анализаторе вызывается режим отслеживания потока из контекстного меню, а в консоли работает опция -z follow,tcp,ascii.
Оценка нагрузки на интерфейсах средствами iftop и nload
Когда нужен ответ на вопрос, куда уходит канал прямо сейчас, в дело идут наглядные мониторы. iftop рисует таблицу пар адресов с текущей, средней и пиковой скоростью по каждой связи. Ключ -n привычно отключает DNS, -P добавляет порты, горячие клавиши внутри программы переключают сортировку по направлениям, подсвечивают отдельные соединения и разворачивают накопленные итоги. nload выглядит скромнее: две диаграммы входящего и исходящего потока с настраиваемым интервалом обновления, идеальный вариант для беглой оценки с ноутбука дежурного инженера.
iftop -i eth0 -n -P
nload -t 500 eth0
Обе утилиты показывают срез в реальном времени и ничего не сохраняют, поэтому их место - первичный осмотр, а не сбор доказательств. Отдельный нюанс: всплеск на экране может оказаться плановой нормой - резервное копирование или зеркалирование реплик базы дают ровные широкие полосы, и задача инженера - отличить штатную работу от постороннего шума. Суммарные счётчики по направлениям доступны одной клавишей, а свёртка по подсетям помогает увидеть структуру потока на шумной магистрали. Для графика по каждому интерфейсу с окнами истории ставят bmon: он компактен, живёт даже на слабых железках, а рядом с ним уместен bwm-ng с выводом в разных форматах.
Поиск прожорливых процессов через nethogs и статистику ss
Частый вопрос эксплуатации: не кто в сети болтается, а какой локальный процесс грузит интерфейс. nethogs группирует трафик по идентификатору процесса и имени программы, обновляя таблицу каждые несколько секунд, и мгновенно называет виновника. Ключ -v циклически переключает режим отображения между скоростью и накопленным объёмом. Дополняет картину ss из состава iproute2: с ключами -tunap она выдаёт TCP и UDP сокеты с портами, состояниями и владельцами, а -s печатает компактную сводку по протоколам.
nethogs -v 3 eth0
ss -tunap state established '( dport != :22 )'
ss -s
Фильтр state established оставляет только живые сессии, условие в скобках отсеивает служебные подключения администратора. По сокету проверяется и обратное: если сервис не отвечает, ss -tlnp покажет раньше любых логов, слушает ли он порт вообще. Скопление сокетов в ожидании закрытия сигнализирует о несимметричном завершении соединений на стороне приложения, а колонки очередей приёма и отправки в той же таблице выдают затыки раньше, чем приложение пожалуется на таймауты.
Отдельного упоминания заслуживает lsof: вызов с ключом -i даёт ту же связку процесс-сокет, но удобнее для скриптов и выборки по шаблону порта или узла. В окружениях с отдельными сетевыми пространствами имён, например в контейнерах, сокеты процесса ищут внутри его пространства - средства контейнерной платформы позволяют заглянуть туда без ручной сборки. Для сравнения нагрузок нескольких узлов nethogs не годится - он видит только локальные процессы, а на шлюзах с трансляцией адресов чужие пакеты приписываются службе трансляции.
Долгосрочный учёт трафика в vnstat и iptraf
Разовые замеры отвечают на вопрос о настоящем моменте, но для квот, тарифов и планирования мощностей нужна история. vnstat работает как лёгкая фоновая служба: он периодически опрашивает счётчики интерфейсов и складывает показания в базу. Отчёты выводятся за день, месяц и год, ключи -m и -d рисуют наглядные столбики, -t показывает рекордные дни по объёму. Показания ведутся по каждому интерфейсу отдельно, а вызов без -i печатает сводку по всем сразу - удобно для шлюзов с несколькими аплинками. Файлы истории переносятся между машинами простым копированием, поэтому переезд шлюза не обнуляет накопленное. Служба почти не потребляет ресурсов, переживает перезагрузки и подходит даже домашним роутерам.
vnstat -i eth0 -m
vnstat -i eth0 -t
iptraf-ng -i eth0
iptraf-ng ближе к tcpdump по духу: интерактивное меню собирает статистику по интерфейсам, протоколам, размерам пакетов и отдельным узлам в реальном времени. Его ценят за мгновенную разбивку трафика по портам и монитор станций локальной сети, однако результаты он не хранит между сеансами. В связке инструменты дополняют друг друга: vnstat копит историю, iptraf-ng раскрывает разрезы текущего потока.
Если в системе уже живёт пакет системной статистики, ретроспективу интерфейсов даёт sar: он с постоянным шагом пишет счётчики пакетов, ошибок и скорости на диск, и даже без специальной настройки мониторинга из этих записей собирается картина за недели.
Практические сценарии диагностики на реальных инцидентах
Инструменты раскрывают силу только в связке. Порядок разбора жалобы на медленный канал обычно выглядит так:
- посмотреть счётчики ошибок и отброшенных пакетов на интерфейсах;
- оценить текущую картину наглядным монитором и найти самых активных собеседников;
- связать подозрительные соединения с процессами по владельцам сокетов;
- снять короткий дамп по узкому фильтру и сохранить его для офлайн-разбора;
- разобрать файл в анализаторе, сопоставив повторные передачи и тайминги с логами приложения.
Классический пример: пользователи жалуются на дрожание голосовой связи, при этом каналы выглядят свободными. Короткий дамп по паре хостов выявляет десятки повторных передач и обрывы сессий каждые пятьдесят секунд. Оказывается, за трансляцией адресов молча перезапускается шлюз, и каждый его перезапуск убивает долгоживущие соединения - резерв настроен, но приоритеты в анонсах маршрутов перепутаны, и раз в минуту трафик на секунду уходит в пустоту.
Второй типовой случай - ночной всплеск исходящего трафика: монитор процессов вместе со списком владельцев сокетов за минуту приводит к забытому заданию резервного копирования, которое мирно уходит на внешний сервер в чужой рабочий день. Третий сценарий коварнее: мелкие запросы пролетают мгновенно, а страницы с крупными ответами виснут. Дамп показывает, что большие сегменты уходят без единого подтверждения - так выглядит чёрная дыра обнаружения пути, когда обратные сообщения о необходимой фрагментации фильтруются где-то по дороге.
Централизованный сбор метрик и переход к наблюдаемости
Ручной режим хорош до определённого масштаба. Когда серверов десятки, точечные замеры дополняет постоянный сбор: с интерфейсов снимаются счётчики, с маршрутизаторов экспортируются агрегированные описания потоков в форматах NetFlow и sFlow, на хостах работают экспортёры метрик для хранилищ временных рядов. Дашборды складывают скорость интерфейсов, число соединений, ошибки и повторные передачи в одну картину, а правила алертинга будят дежурного раньше, чем уйдут пользователи. Для снятия трафика мимо сервера на коммутаторах настраивают зеркалирование портов, и тогда захват вообще не влияет на измеряемый узел. На загруженных магистралях для описаний потоков настраивают выборку, когда наружу отдаётся лишь часть событий, и сводки остаются достоверными при незаметной нагрузке.
Отдельное направление - перехват и фильтрация в ядре на базе подсистемы eBPF: современные утилиты показывают, какой процесс инициировал конкретный пакет или сетевое событие, почти без накладных расходов. Это смыкает сетевой мониторинг с трассировкой приложений: вместо догадок по дампу видна цепочка от системного вызова до провода.
Аппаратный уровень при этом не отменяется: отброшенные кадры на сетевой карте не попадают в экспортёры общего назначения, и именно они объясняют потери, которых нет на графах. Проверка очередей и счётчиков драйвера остаётся частью ежедневной рутины.
tc -s qdisc show dev eth0
ethtool -S eth0 | grep -iE 'drop|err'
Отдельного разговора заслуживают дампы как носитель чувствительной информации: в них попадают содержимое запросов, токены и персональные сведения, поэтому хранение ограничивают по срокам, доступ выдают точечно, а маскирование включают уже на этапе записи там, где инструмент это умеет.
Готовность быстро переключиться с дашборда на tcpdump остаётся маркером зрелой эксплуатации: агрегаты указывают, где искать, точечный захват доказывает, что происходит на проводе, а накопленная история превращает разовый инцидент в знание о поведении всей системы. Инструменты давно разделились по уровням, но работают как единый конвейер - от мигания светодиодов на порту до сводных диаграмм на большом экране.