Когда инженер запускает cat /etc/hostname, ядро за несколько микросекунд разбирает путь на компоненты, проверяет кэш имён, перескакивает через границы монтирований и находит inode. Эта кухня живёт в слое, который называется виртуальной файловой системой: VFS не хранит ни байта пользовательских данных, но без неё ext4, tmpfs и сетевой NFS не выглядели бы для программы одинаковым деревом каталогов. Разберём опорные структуры, путь поиска имени, монтирование, кэши и боевую диагностику.
Единый слой абстракции поверх десятков несовместимых файловых систем
На живом сервере /proc/filesystems выдаёт сорок строк и больше: ext4, xfs и btrfs пишут на блочные устройства, tmpfs живёт в памяти, procfs и sysfs не хранят данные в привычном смысле, FUSE отвечает из пользовательского процесса, NFS гоняет запросы по сети. Для программы всё неразличимо: один и тот же open, read и stat работают везде.
Идею общего слоя принесла Sun со своим vnode, а в Linux VFS давно стала одним из самых нагруженных участков кода ядра. Контракт прост: единое дерево имён, у каждого имени inode с метаданными, файл - байтовый поток с позицией и правами. Конкретная система подставляет то, что умеет: у procfs нет записи на диск, у tmpfs нет блоков.
Префикс nodev помечает виртуальные системы без устройства за спиной, а служебные монтирования видны рядом: cgroup2 в /sys/fs/cgroup, debugfs в /sys/kernel/debug. Получается универсальный переходник: сверху стабильные системные вызовы, снизу произвольные носители и протоколы.
Четыре опорные структуры от superblock до struct file
Ядро описывает смонтированную систему четырьмя структурами. struct super_block - система целиком: тип, размер блока, сигнатура 0xEF53 у ext4, корневой dentry, приватные данные реализации. Один superblock на раздел или на каждый tmpfs.
struct inode - метаданные одного файла: режим, владелец, размер, времена, счётчик ссылок i_nlink, номер i_ino. Имя inode не нужно: O_TMPFILE создаёт файл без имени, пока его не привяжет linkat.
struct dentry связывает компонент имени с inode. dentry на диске не хранится, ядро строит его на лету и складывает в кэш. Запись может не иметь inode вовсе, если файла нет; такие отрицательные dentry кэшируются, чтобы повторные неудачные поиски не долбили носитель.
struct file - состояние открытого файла у процесса: смещение f_pos, режим f_mode, таблица операций f_op. Inode один, процессов десятки, у каждого свой struct file, а пользователь видит лишь дескриптор.
struct super_block {
struct file_system_type *s_type;
struct dentry *s_root; /* корневой dentry */
unsigned long s_magic; /* 0xEF53 у ext4 */
void *s_fs_info; /* приватные данные ФС */
};
struct dentry {
struct dentry *d_parent;
struct qstr d_name;
struct inode *d_inode;
const struct dentry_operations *d_op;
};
struct file {
struct path f_path; /* vfsmount + dentry */
const struct file_operations *f_op;
loff_t f_pos;
void *private_data;
};
Фабрика типов - struct file_system_type, паспорт системы, который модуль регистрирует вызовом register_filesystem:
static struct file_system_type ext4_fs_type = {
.name = "ext4",
.init_fs_context = ext4_init_fs_context,
.kill_sb = kill_block_super,
};
Вызов mount проходит через do_new_mount: находит тип по имени, выделяет superblock (sget и fill_super) и получает корневой dentry. Чистку при размонтировании ведают kill_block_super и kill_litter_super у tmpfs.
Обход пути имени через dcache и отрицательные записи
Куда уходит запрос openat("/etc/nginx/nginx.conf")? Ядро режет путь на компоненты и для каждого зовёт d_lookup, поиск в хеш-таблице кэша имён. Попадание стоит копейки, промах запускает lookup_slow: вызов lookup, чтение каталога, создание dentry. Кто застал старые исходники, помнит path_walk; сегодня это link_path_walk и помощники. С ядра 2.6.38 горячий обход работает в режиме rcu-walk: тысячи потоков читают пути без блокировок, при сомнениях слой откатывается в режим со счётчиками ссылок.
Сетевым и виртуальным системам верить на слово нельзя: NFS, FUSE, autofs и overlayfs подставляют d_revalidate, и ядро перепроверяет, что запись ещё жива. Отсюда правило: если путь тормозит, виноват не всегда диск. Неудачные поиски тоже кэшируются: отрицательные записи спасают приложения, проверяющие десятки несуществующих конфигов, и съедают память там, где генерируют миллионы случайных имён.
Ограничения полезно помнить наизусть: имя не длиннее 255 байт (NAME_MAX), путь не длиннее 4096 символов (PATH_MAX), не больше 40 символических ссылок в одном разборе, дальше ELOOP.
$ strace -e trace=%file cat /etc/hostname 2>&1 | tail -2
openat(AT_FDCWD, "/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3
openat(AT_FDCWD, "/etc/hostname", O_RDONLY|O_CLOEXEC) = 3
Два openat ради семи байт: кэш имён превращает трафик в пару проверок в памяти. Отдельная история - защита обхода. Классический openat бессилен перед ссылками вроде /proc/self/fd/3, поэтому с ядра 5.6 есть openat2 с флагами RESOLVE_BENEATH (не выходить выше стартового каталога), RESOLVE_NO_MAGICLINKS (отсечь /proc/self/fd) и RESOLVE_NO_XDEV (не пересекать точки монтирования).
Точки монтирования дерево vfsmount и расшифровка mountinfo
Единое дерево собирается из кусков, и склейкой ведает слой монтирования. Каждое монтирование - структура mount (историческое имя vfsmount осталось её частью) с указателем на superblock и корневой dentry; перешагнув границу, VFS переключается на другое монтирование.
mount -t tmpfs -o size=512M,mode=1777 tmpfs /mnt/ram
mount --bind /var/log /mnt/logview
mount -o remount,rw,noatime /srv
umount -l /mnt/logview
Bind-монтирование показывает одно поддерево под другим адресом, remount меняет флаги на лету, ленивое размонтирование отвязывает имя немедленно. Правила распространения: shared:1 означает, что новое монтирование продублируется во все пространства имён группы, master:1 - что точка подчинённая, unbindable запрещает клонировать её.
Разбирать состояние лучше по /proc/self/mountinfo, а не по /etc/mtab (это ссылка на /proc/self/mounts) и не по /proc/mounts с его fstab-форматом: в mountinfo есть родитель, путь внутри файловой системы и пара major:minor.
$ grep " /srv " /proc/self/mountinfo
36 26 8:2 /srv /srv rw,noatime master:1 - ext4 /dev/sdb1 rw,commit=60
Слева направо: идентификатор монтирования 36, родителя 26, пара 8:2, путь внутри файловой системы, точка монтирования, флаги, тег распространения, после разделителя тип, источник и опции superblock. Пара major:minor - улика: сверив её со st_dev из stat, узнаешь, где лежит файл.
Механика из ядра 5.2 уходит к файловым дескрипторам: fsopen создаёт контекст конфигурации, fsconfig передаёт параметры, fsmount превращает его в дескриптор, move_mount вплетает в дерево; idmapped-монтирования из 5.12 переписывают uid и gid на входе в поддерево. С ядра 2.6.30 действует relatime: время чтения обновляется не чаще раза в сутки, базам и почтовым хранилищам обычно ставят noatime.
Операции над файлами и разделение труда между слоями
open превращается в vfs_open: она берёт inode, смотрит его i_fop и вешает таблицу операций на свежий struct file. Дальше каждый read идёт прямо в read_iter конкретной системы. Типовой буферизованный путь - generic_file_read_iter: страницы ищутся в address_space, то есть в кэше страниц, при промахе запрашивается чтение вперёд (по умолчанию 128 КиБ, параметр /sys/class/bdi/8:0/read_ahead_kb). Запись копирует данные в кэш и помечает страницы грязными, writeback сбрасывает их позже, fsync у журналируемых фиксирует журнал, O_DIRECT идёт на носитель напрямую.
const struct file_operations ext4_file_operations = {
.llseek = ext4_llseek,
.read_iter = ext4_file_read_iter, /* буферно и O_DIRECT */
.write_iter = ext4_file_write_iter,
.mmap = ext4_file_mmap,
.fsync = ext4_sync_file,
.fallocate = ext4_fallocate,
};
/* у каталогов отдельная таблица с iterate_shared для getdents64 */
VFS проверяет права по inode, разворачивает ссылки через get_link, унифицирует коды ошибок; раскладка блоков и журналирование остаются на совести системы. getdents64 уходит в iterate_shared, stat в getattr, statx из ядра 4.11 добавляет время рождения файла. syncfs сбрасывает систему одним вызовом, copy_file_range и splice прокачивают байты внутри ядра.
Проверим соответствие:
$ stat -c 'inode=%i nlink=%h size=%s mode=%A dev=%d' /etc/hostname
inode=131074 nlink=1 size=7 mode=-rw-r--r-- dev=2049
$ stat -f -c 'type=%T blocks=%b free=%f' /srv
type=ext2/ext3 blocks=104857600 free=52428800
dev=2049 распаковывается в major 8 и minor 1, в mountinfo эта же пара записана как 8:1. Тип ext2/ext3 в выводе stat -f не опечатка: statfs возвращает сигнатуру 0xEF53, унаследованную от ext2. Каждая система публикует счётчики: /proc/fs/ext4/sdb1/options перечисляет действующие параметры, /proc/fs/xfs/stat - подробную статистику.
Кэш имён под давлением reclaim и vfs_cache_pressure
Память под структуры VFS живёт в slab: 192 байта на запись имени, около килобайта на ext4-inode, миллион файлов - примерно гигабайт. Состояние кэшей выдаёт sysctl:
$ sysctl fs.dentry-state fs.file-nr
fs.dentry-state = 312847 190231 45 0 89412 0
fs.file-nr = 2816 0 2097152
В dentry-state: общее число записей (счётчик приблизительный, собирается с процессоров), неиспользуемые, age_limit в секундах, want_pages и число отрицательных записей, шестое поле не используется. В file-nr: выделено, свободно, лимит file-max. Лимиты дескрипторов: ulimit -n по умолчанию даёт 1024, systemd поднимает hard-лимит до 524288, потолок на процесс задаёт /proc/sys/fs/nr_open со значением 1048576.
Когда памяти не хватает, ядро выметает и страницы кэша, и холодные dentry с inode. Пропорцией ведает vm.vfs_cache_pressure: 100 - ровный баланс, 0 - держать структуры любой ценой, 200 и выше - выбрасывать агрессивнее, спасает при всплесках отрицательных записей. Разовый сброс:
sync && echo 3 > /proc/sys/vm/drop_caches
Цифра 3 чистит и кэш страниц, и кэши структур; это приём для замеров, а не гигиена: кэш соберётся заново за счёт диска.
Классическая ловушка - не имена, а inode. Их количество фиксируется при создании файловой системы:
$ df -i /srv
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/sdb1 6553600 6553600 0 100% /srv
$ df -h /srv | tail -1
/dev/sdb1 50G 12G 38G 24% /srv
df показывает 24 процента занятого места, а create отвечает No space left on device: inode кончились. ext4 нарезает их при mkfs по коэффициенту байт на inode (обычно 16 КиБ), лечится пересозданием с mkfs.ext4 -i 8192.
Слои overlayfs и приёмы живой диагностики монтирований
Поверх всех слоёв в контейнерном мире работает ещё один. Overlayfs складывает несколько каталогов в один вид: нижние слои только читаются, верхний принимает изменения. Первая запись в файл из нижнего слоя вызывает copy-up: файл переносится наверх и правится уже там, а удаление лишь помечает место служебной записью, поэтому образы остаются неизменными:
mount -t overlay overlay -o lowerdir=/layer1:/layer2,upperdir=/upper,workdir=/work /mnt/merged
Внутри контейнера /proc/self/mountinfo показывает многослойность: в lowerdir десятки путей из /var/lib/docker/overlay2. Верхний слой и workdir обязаны жить на одной файловой системе, NFS в роли верхнего слоя - головная боль. В чужое пространство имён заглядывают через nsenter -t 1234 -m sh, список пространств даёт lsns.
Теперь боевая сценка: umount /srv/data отвечает target is busy, а ls показывает пустой каталог. Распутывается по шагам:
- проверяем, что смонтировано в точке, командой findmnt -T /srv/data, поверх старой системы может жить новая;
- смотрим, кто держит файлы, через fuser -vm /srv/data и lsof /srv/data;
- ищем процессы с удалёнными, но открытыми файлами по метке (deleted) в /proc/*/fd;
- сверяем слои в /proc/self/mountinfo, пара major:minor укажет забытую bind-точку;
- виновнику отправляем корректное завершение, в крайнем случае отвязываем точку через umount -l и перепроверяем mountinfo.
Кстати о /proc/PID/fd: там видны имена вроде pipe:[12345] и socket:[67890]. Настоящих файлов с такими именами нет, dentry строит на лету d_dname, и это ловушка для скриптов, уверенных, что всё в /proc - регулярные файлы.
Замыкает набор механика попроще: name_to_handle_at и open_by_handle_at упаковывают ссылку на файл в непрозрачный дескриптор и открывают позже, на этом держатся экспорт NFS и часть бэкапов; inotify и fanotify дают подписку на события.
Смысл слоя прост: контракт VFS десятилетиями почти не менялся, а под ним сменилось несколько поколений носителей и протоколов. Инженер, который знает четыре структуры и умеет читать mountinfo, перестаёт гадать и начинает измерять.