Контейнер выглядит как отдельная машина со своим IP и портами, но под этой вывеской работает связка из сетевого namespace, пары veth, программного моста и правил netfilter. Когда под не видит соседа, а внешний клиент ловит таймаут на опубликованном порту, быстрее всего до причины добирается тот инженер, который помнит эту цепочку наизусть. Ниже разберём путь пакета от контейнера наружу, устройство overlay-сетей, логику CNI и команды, которые выручают в разборе инцидентов.
Изоляция сетевого стека через namespaces и пары veth
Базовая единица сетевой изоляции в Linux - network namespace. Внутри живут собственные интерфейсы, таблица маршрутов, правила фильтрации и таблицы сокетов. Свежий контейнер получает пустой namespace с единственным интерфейсом lo, всё остальное окружение доставляется туда при создании, и доставщик - пара veth, виртуальный кабель из двух концов: байт, отправленный в один, немедленно появляется в другом. Docker переносит один конец в namespace контейнера и переименовывает его в eth0, второй остаётся на хосте и прицепляется к мосту. Режим --net=host отменяет всю эту конструкцию и оставляет контейнеру хостовый стек, а --net=none вовсе убирает сеть, что удобно при отладке.
Воспроизвести механизм руками полезно хотя бы раз:
ip netns add demo
ip link add veth-h type veth peer name veth-c
ip link set veth-c netns demo
ip netns exec demo ip link set lo up
ip netns exec demo ip addr add 10.200.0.2/24 dev veth-c
ip netns exec demo ip route add default via 10.200.0.1
После этих команд namespace demo живёт как самостоятельный узел со шлюзом 10.200.0.1. Отличие контейнерного eth0 от физической карты только в отсутствии железа: пакеты идут через память ядра, задержки минимальны, пропускная способность veth на современных ядрах сопоставима с реальными интерфейсами. Узким местом чаще оказывается не сам кабель, а мост и правила, которые этот трафик обрабатывают. Перечислить все сетевые namespace узла можно одной строкой:
lsns -t net
В Kubernetes все контейнеры одного пода делят один network namespace: служебный контейнер pause создаёт его первым, остальные присоединяются режимом --net=container, поэтому процессы внутри пода видят друг друга на localhost. Заглянуть в любой namespace можно с хоста, не заходя в сам контейнер:
nsenter -t 1234 -n ip -br addr
nsenter -t 1234 -n ss -tlnp
Мост docker0 и правила iptables для трафика контейнеров
Мост docker0 - обычный Linux bridge с подсетью 172.17.0.0/16 по умолчанию; шлюзовой IP 172.17.0.1 сидит на хостовом конце. Каждая пользовательская bridge-сеть получает собственный мост и подсеть из стандартного пула - 172.18.0.0/16, 172.19.0.0/16 и далее. На уровне L2 мост переключает фреймы по MAC-таблице, контейнеры находят шлюз обычным ARP-запросом, а разные мосты изолированы друг от друга цепочками DOCKER-ISOLATION, поэтому контейнер из сети apps не достучится до контейнера из сети db без явного разрешения.
Внутри пользовательских сетей работает встроенный DNS на 127.0.0.11: имена соседей резолвятся сами, без legacy-механизма link, и это главная причина предпочитать такие сети дефолтному мосту, где имён нет вовсе. Минус тоже есть: при десятках сетей пул подсетей расходуется быстро, а после удаления сети Docker не всегда освобождает блок сразу.
Пользовательские сети гибче и в остальном: настраиваются подсеть, шлюз и диапазоны IPAM, а флаг --internal полностью отрезает исходящий NAT - хороший выбор для баз данных, куда не должно быть дороги наружу. За петлевой трафик отвечает режим hairpin на порту моста: без него контейнер не достучится до опубликованного порта соседа через внешний IP хоста.
ip -br addr show docker0
docker network create --driver bridge --subnet 10.30.0.0/24 apps
docker network inspect apps
NAT исходящих соединений и публикация портов наружу
Исходящий трафик уходит с приватным IP, который снаружи не маршрутизируется, поэтому хост переписывает источник правилом MASQUERADE в цепочке POSTROUTING. Таблица conntrack запоминает трансляцию для каждого соединения, и в этом кроется классическая ловушка: после правки правил старые соединения продолжают жить по прежним записям, пока не завершатся. Если после изменения конфигурации поведение не поменялось, сначала смотрите conntrack, потом уже правила.
Размер таблицы конечен, при заполнении ядро начинает молча выбрасывать новые соединения, поэтому оба параметра стоит держать под мониторингом:
sysctl net.netfilter.nf_conntrack_max
sysctl net.netfilter.nf_conntrack_count
Время жизни записей различается по протоколам: установленная TCP-сессия сидит в таблице долго, UDP-записи заметно короче, и долгоживущий UDP-поток после простоя иногда ломается именно поэтому - запись истекла, ответ пришёл уже по новой трансляции. Сверх этого блокировка ICMP на пути ломает path MTU discovery: отправитель не узнаёт о тесном MTU и молча теряет крупные пакеты, так что сообщения type 3 code 4 фильтровать не следует.
Публикация порта -p 8080:80 создаёт DNAT-правило в цепочке DOCKER, куда смотрит PREROUTING: входящие пакеты на порт 8080 переписываются на внутренний IP контейнера. Источник при этом сохраняется, поэтому сервер видит настоящий IP клиента - ценное свойство DNAT перед любыми прокси-схемами. Рядом работает userland-процесс docker-proxy, разгребающий петлевые соединения с самого хоста на собственный опубликованный порт. Свои фильтры размещают в цепочке DOCKER-USER: она обрабатывается раньше служебных правил и переживает перезапуск службы, в отличие от всего, что написано напрямую в DOCKER.
iptables -t nat -S POSTROUTING | grep -i masq
iptables -t nat -S DOCKER
conntrack -L -s 172.17.0.0/16
Модуль bridge netfilter и неожиданная фильтрация между контейнерами
Модуль br_netfilter с включённым параметром net.bridge.bridge-nf-call-iptables пропускает мостовой трафик сквозь iptables, будто он маршрутизируется. Docker и Kubernetes ожидают единицу в этом параметре, иначе ломаются NAT и правила Service. Побочный эффект внезапен для многих: правила хостового файрвола начинают применяться к трафику между контейнерами одного моста, ведь с точки зрения iptables эти пакеты проходят через FORWARD. Инженер ставит на FORWARD политику DROP - и поды на одном узле перестают общаться, хотя маршруты в порядке. Диагноз быстро ставится по счётчикам цепочки: они растут на конкретном правиле и сразу показывают виновника.
Требование Kubernetes здесь простое: kube-proxy шейпит трафик подов, а поды живут за мостом, поэтому без bridge-nf-call-iptables правила Service просто не увидят часть пакетов. Для IPv6 существует зеркальный параметр net.bridge.bridge-nf-call-ip6tables, и dual-stack узлы требуют оба значения.
Две строки экономят час чтения документации:
sysctl net.bridge.bridge-nf-call-iptables
sysctl -w net.bridge.bridge-nf-call-iptables=1
iptables -L FORWARD -nv --line-numbers
Overlay сети на VXLAN для кластеров из нескольких узлов
Мост связывает контейнеры одного хоста, но между узлами нужен другой механизм. Стандартный выбор - VXLAN: Ethernet-фреймы заворачиваются в UDP-пакеты с портом 4789 и летят между хостами по обычной IP-сети. Инкапсуляция добавляет около 50 байт служебных данных, поэтому MTU внутри overlay уменьшают примерно до 1450, иначе большие запросы фрагментируются и потери усиливаются. Хороший диагностический симптом: мелкие пакеты проходят, крупные подвисают.
В VXLAN-мире живут свои термины: VTEP - endpoint инкапсуляции на каждом узле, VNI - номер сегмента, аналог VLAN id. Таблицы FDB на VTEP сопоставляют MAC-адреса подов с IP соседних узлов, а подавление ARP позволяет отвечать на запросы прямо с data plane, без рассылки по всему сегменту. flannel умеет и второй backend, host-gw: он прописывает маршруты до подсетей соседних узлов напрямую и экономит накладные расходы, но требует единой L2-среды между узлами, чего облака обычно не дают. Calico при недоступном BGP-пиринге переключается на IPIP-инкапсуляцию, у которой свои требования: промежуточные фильтры должны пропускать IP-пакеты с протоколом номер 4.
Docker Swarm строит overlay-сеть собственным драйвером: менеджеры обмениваются данными о членах сети через gossip, а пользовательский трафик идёт по VXLAN, при желании шифруется через IPsec. Kubernetes чаще живёт на связке CNI-плагинов: flannel поднимает тот же VXLAN и нарезает кластерную подсеть, например 10.244.0.0/16, по /24 на узел, Calico маршрутизирует поды через BGP без инкапсуляции, Cilium переносит часть обработки в eBPF. Отдельный слой - kube-proxy: в режиме iptables он программирует DNAT для ClusterIP, который существует только как набор правил, без единого интерфейса. Режим IPVS держит большие таблицы Service аккуратнее.
docker network create -d overlay --attachable --opt encrypted prod-net
docker network inspect prod-net --format '{{json .IPAM.Config}}'
ip -d link show flannel.1
Частые причины боли в overlay: закрытый между узлами порт 4789, рассинхрон MTU на разных сегментах и асимметрия маршрутов, из-за которой conntrack отбрасывает ответные пакеты. Проверка туннеля тривиальна: ping между внутренними IP соседних узлов и короткий сниф UDP-4789 на аплинке сразу показывают, где обрыв.
Интерфейс CNI и плагины для Kubernetes
CNI - это спецификация плюс набор плагинов. Kubelet читает конфигурацию из каталога /etc/cni/net.d и вызывает бинарники из /opt/cni/bin, передавая команду ADD, DEL или CHECK и путь к сетевому namespace нового контейнера. Плагины выстраиваются в цепочку: основной создаёт интерфейс - bridge, ptp, macvlan или ipvlan, затем IPAM-плагин вроде host-local выдаёт IP, а метаплагины portmap, bandwidth и firewall добавляют проброс портов и лимиты трафика. Возврат ошибки на шаге ADD откатывает уже сделанное, поэтому частично сконфигурированных подов не остаётся.
Типовой цепочечный конфиг выглядит компактно:
{
"name": "mynet",
"cniVersion": "1.0.0",
"plugins": [
{ "type": "bridge", "bridge": "cni0", "ipam": { "type": "host-local", "subnet": "10.40.0.0/24" } },
{ "type": "portmap", "capabilities": { "portMappings": true } }
]
}
ls /opt/cni/bin
cat /etc/cni/net.d/10-flannel.conflist
Вызов плагина аскетичен: kubelet передаёт переменные CNI_COMMAND, CNI_CONTAINERID и CNI_NETNS, а конфигурацию сети подаёт на вход через stdin в формате JSON. Первым в каждом поде всегда отрабатывает loopback, поднимающий lo, дальше идут плагины из списка. Типовая причина зависших в NotReady узлов - пустой каталог конфигурации: kubelet не находит ни одного файла и не может подключить сеть ни одному поду. Бинарники попадают на узел по-разному: кто-то ставит пакет из дистрибутива, кто-то раскатывает их daemonset'ом, главное - чтобы версии соответствовали спецификации из конфига.
Отдельного внимания заслуживает macvlan: контейнер получает собственный MAC в физическом сегменте и общается с внешним миром, минуя хостовой стек, - задержки минимальны. Ограничение: по умолчанию контейнер не разговаривает с собственным хостом, а часть гипервизоров и облачных платформ режет promiscuous mode, так что перед внедрением стоит проверить среду. Ipvlan решает проблему дефицита MAC, когда коммутатор ограничивает их количество на порт.
Диагностика сетевых проблем в контейнерных средах
Хороший набор инструментов компактный: nsenter, ip netns, lsns, bridge, conntrack, tcpdump и счётчики iptables. Разбор инцидента обычно идёт по одной схеме:
- Найти сетевой namespace процесса через lsns -t net или чтение ссылки /proc/PID/ns/net;
- Войти внутрь командой nsenter -t PID -n и сверить IP и маршруты с ожидаемыми;
- Проверить таблицу соседей и шлюз внутри namespace, затем маршруты на хосте и на соседних узлах;
- Снять дампы tcpdump на конкретной veth и на аплинке, чтобы найти точку, где пакет исчезает;
- Посмотреть записи conntrack и счётчики правил, потому что пакеты чаще режут фильтры, чем маршруты;
- Сверить MTU на всех участках пути, если мелкие запросы проходят, а большие подвисают.
Каждый шаг сужает область поиска, и через несколько итераций остаётся одно конкретное место: правило, интерфейс или настройки соседнего узла.
Классика жанра повторяется из проекта в проект: заполненный conntrack пишет в журнал строку о table full и отбрасывает новые соединения, внешне это выглядит как внезапные таймауты после долгой нормальной работы; исчерпание портов для SNAT при большом объёме исходящих сессий даёт ту же картину и лечится расширением пула или разносом источников. В минимальных образах нет ни tcpdump, ни curl, поэтому дамп снимают с хостовой стороны на конкретной veth, а не внутри контейнера.
Сетевой стек контейнеров собирается из простых деталей: namespace, veth, мост, netfilter, инкапсуляция. Сложность рождается из комбинаций и из того, что разные слои одновременно управляют одними и теми же таблицами. Перед продакшеном полезно прогнать короткий чек-лист: согласовать MTU по всему пути, решить, где живут правила для подов - в DOCKER-USER или в политике кластера, ограничить пул подсетей и зафиксировать его в документации, поставить на мониторинг размер таблицы conntrack и освобождать место в ней до исчерпания. Инженер, который видит путь пакета целиком, чинит подобные инциденты за минуты, а не за вечер.