В четыре утра дежурный инженер смотрит на консоль сервера с сорока терабайтами: после скачка питания том не смонтировался, и исход зависит от того, что записано в суперблоке, журнале и деревьях метаданных. ext4, XFS и Btrfs решают одну задачу - надёжно хранить файлы, - но конструкции на диске у них принципиально разные: журналирование метаданных у первого, независимые группы размещения у второго, сквозное копирование при записи у третьего. Эта разница определяет, что произойдёт с данными, когда свет снова мигнёт.
Журнал ext4 как страховка метаданных на самом деле работает
ext4 вошёл в мейнлайн с ядром 2.6.28 в конце 2008 года как прямой наследник ext3, и главная идея досталась ему целиком - журнал. Журналом занимается подсистема JBD2, общий код для ext4 и ocfs2, со служебным числом 0xC03B3998 в каждом блоке. Сам журнал - скрытый файл внутри файловой системы, обычно с номером inode 8, и первые 68 байт этого inode продублированы в суперблоке.
Транзакция устроена просто: descriptor block со списком тегов - куда какой блок должен попасть, - за ним сами блоки метаданных, в конце commit block с контрольной суммой и отметкой времени h_commit_sec. Пока commit-записи нет, при воспроизведении транзакция отбрасывается; есть - блоки переписываются в финальные места. Так достигается атомарность: система либо доехала до конца операции, либо откатилась к согласованному состоянию. Таймер сброса по умолчанию - пять секунд, меняется опцией монтирования commit=15.
Режимов журналирования три. data=journal гонит через журнал и данные, и метаданные - надёжно и заметно медленно. data=writeback сбрасывает метаданные, не дожидаясь данных, - быстро, но после сбоя файл может оказаться с мусором внутри. data=ordered по умолчанию держит баланс: данные выталкиваются до записи метаданных, поэтому файл либо появляется целиком, либо не появляется вовсе. Именно ordered вместе с отложенным размещением закрыл эпоху файлов нулевой длины после сбоя питания.
Целостность структур обеспечивает metadata_csum: CRC32c получает каждая структура на диске, журнальные блоки - собственные суммы формата csum v3, а с e2fsprogs 1.43 это значение по умолчанию. Ограничения объёмов жёсткие: том до 1 ЭиБ (возможность 64bit с 48-битными адресами блоков), файл до 16 ТиБ при блоках по 4 КиБ. Быстрее восстанавливаться помогает fast_commit (ядро 5.10), пишущий в журнал минимальную дельту - теги вроде EXT4_FC_TAG_ADD_RANGE вместо целых блоков метаданных, а orphan_file (ядро 5.15, e2fsprogs 1.47.0) ускоряет очистку списка брошенных файлов. Всё это видно штатными средствами:
$ dumpe2fs -h /dev/vg0/data | egrep -i 'features|block size|inode|checksum'
Filesystem features: has_journal extent 64bit flex_bg
dir_nlink extra_isize metadata_csum
Block size: 4096
Inode size: 256
Journal inode: 8
Checksum type: crc32c
Экстенты, отложенное размещение и многоблочный аллокатор ext4
Формат хранения файлов радикально отличает ext4 от предков. ext2 и ext3 описывали файл цепочкой косвенных блоков: 12 прямых указателей, затем уровни косвенности, и для терабайтного файла выходили миллионы обращений к метаданным ради одного последовательного диапазона. ext4 заменил косвенность на экстенты: в inode под дерево экстентов выделено 60 байт, один экстент описывает до 32768 смежных блоков - при блоке 4 КиБ это 128 МиБ подряд. Дерево углубляется, только когда экстенты перестают влезать в inode.
Второе нововведение - отложенное размещение: write() лишь помечает страницы в page cache грязными, а реальные блоки назначаются на этапе writeback. К этому моменту ядро видит запрос целиком и может отвести под файл один длинный экстент. За распределение отвечает многоблочный аллокатор mballoc: он стартует от блока рядом с предыдущим выделением inode и ищет лучшее окно в buddy-битмапах группы. Живая картина свободных экстентов доступна в /proc/fs/ext4/<dev>/mb_groups:
$ head -3 /proc/fs/ext4/sdb1/mb_groups
#group free frags first 2^0 2^1 2^2 2^3 2^4 ... 2^13
0 29032 217 0 1 2 0 0 1 ... 0
Третья прослойка - группы блоков: том нарезается на куски по 32768 блоков, в каждом живут битмапы, таблица inode и статистика, а flex_bg собирает метаданные нескольких групп в один кластер. Умолчания mke2fs разумные: inode по 256 байт, один inode на 16 КиБ данных, 5% блоков в резерве под root. Под видеоархив параметры пересматривают:
# mkfs.ext4 -L data -m 1 -i 4194304 -E lazy_itable_init=0 \
-O metadata_csum,64bit,extents /dev/sdb1
# tune2fs -c 0 -i 0 -m 1 /dev/sdb1
# mount -o noatime,commit=15 /dev/sdb1 /data
Ключ -i снижает плотность inode до одного на 4 МиБ, -m 1 урезает резерв, -c 0 и -i 0 отменяют принудительную проверку по счётчику монтирований и по времени: на сорокатерабайтном томе внезапный e2fsck при загрузке оборачивается часами простоя. Нехватка inode маскируется под нехватку места, поэтому df -i смотрят рядом с df -h; на особый случай существует bigalloc с кластерами по 2^n блоков (mkfs.ext4 -O bigalloc -C 65536).
Группы размещения XFS и журнал в оперативной памяти
XFS пришёл из IRIX компании SGI и в Linux попал в начале 2000-х как файловая система для гигантских томов. Его главный приём - шардинг метаданных: том делится на группы размещения (allocation groups) размером от 16 МиБ до почти 1 ТиБ, и внутри группы метаданные живут своей жизнью. У каждой AG собственные B+деревья: bnobt индексирует свободные экстенты по адресу, cntbt - по длине, inobt хранит индекс занятых inode, finobt - свободных. Аллокаторы разных групп работают параллельно, поэтому сотня потоков, пишущих сотню файлов, почти не дерётся за блокировки.
Количество групп задаётся при создании, попутно подсказывается геометрия RAID-массива:
# mkfs.xfs -f -L data1 -d agcount=32,su=256k,sw=8 -l size=256m \
-m reflink=1 /dev/nvme0n1p1
# mount -o noatime,logbsize=256k /dev/nvme0n1p1 /data
Ключи su и sw описывают полосу страйда, чтобы аллокатор выравнивал экстенты по границам полос. Итоговая геометрия читается одной командой:
# xfs_info /data
meta-data=/dev/nvme0n1p1 isize=512 agcount=32, agsize=786432 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=1, sparse=1, rmapbt=0
= reflink=1 bigtime=1 inobtcount=1
data = bsize=4096 blocks=25165824, imaxpct=5
= sunit=512 swidth=4096 blks
log =internal log bsize=4096 blocks=65536, version=2
Строка crc=1 означает формат v5 (ядро 3.15): CRC32c во всей метаданных и самописные структуры, которые инструмент опознаёт даже посреди повреждённого блока; старый формат v4 будет удалён из upstream в 2030 году. imaxpct ограничивает долю тома под inode - на больших томах по умолчанию всего 5%, поднимается ключом xfs_growfs -m. Инод по умолчанию 512 байт и вмещает короткий каталог, список экстентов или xattr прямо внутри себя.
Журнал XFS пишет только метаданные, а с ядра 2.6.39 работает в режиме отложенного журналирования: изменения копятся в памяти в списке CIL (commit item list) и уходят на диск одним большим коммитом. Раньше каждая транзакция попадала в лог сразу, и на метаданных-интенсивных нагрузках журнал становился узким местом; внутренний журнал выбирается автоматически и не растёт выше 2 ГиБ. reflink разрешает разделять физические экстенты между файлами: cp --reflink копирует терабайт мгновенно, а запись в общий блок уезжает в новое место со счётчиком ссылок в дереве refcountbt. Из эксплуатации запомните одно: XFS умеет только расти - xfs_growfs расширяет том на лету, уменьшение не поддерживается вовсе.
Btrfs копирование при записи как основа всей архитектуры
Btrfs вошёл в ядро 2.6.29 в 2009 году с идеей, противоположной классике: на месте не переписывается вообще ничего. Любая модификация блока - данные или метаданные - порождает новую копию в свободном месте, обновляет указатель в родительском узле и лишь потом освобождает старый блок. Пока живы указатели, старая версия дерева доступна целиком, поэтому снимки почти бесплатны, а транзакции атомарны по построению.
Каркас - лес B-деревьев. Суперблок указывает на корень дерева деревьев, а оно - на специализированные деревья: chunk tree хранит трансляцию логического адреса в физический, extent tree учитывает экстенты, checksum tree - суммы данных, fs tree - содержимое каждого подтома, free space tree - карту свободного места (в ядре с 4.5, а по умолчанию при mkfs.btrfs с btrfs-progs 5.15). Логическое пространство нарезано на чанки типа Data, Metadata или System, каждый со своим профилем избыточности: single, DUP, RAID1, RAID10; на одиночном устройстве метаданные по умолчанию дублируются, а размер узла дерева равен 16 КиБ.
Контрольные суммы пишутся для каждого блока, и это не опция, а основа. По умолчанию CRC32C - с аппаратной поддержкой порядка 470 циклов на 4 КиБ; с ядра 5.5 доступны xxhash64, sha256 и blake2b, где xxhash примерно вдвое дороже, а криптостойкие алгоритмы - на порядок. Выбор делается при создании (mkfs.btrfs --csum xxhash), действующий алгоритм виден в /sys/fs/btrfs/<FSID>/checksum. Суммы метаданных живут инлайн в заголовке узла, суммы данных - отдельным деревом. Сжатие вплетено в тот же путь записи: zlib, lzo и zstd с уровнями от 1 до 15 - на текстовых данных это одновременно и экономия, и меньше запись на SSD.
# mkfs.btrfs -L pool -m dup -d single /dev/sde1
# mount -o compress=zstd:3,noatime /dev/sde1 /pool
# btrfs filesystem df /pool
Data, single: total=100.00GiB, used=88.42GiB
System, DUP: total=16.00MiB, used=16.00KiB
Metadata, DUP: total=2.00GiB, used=1.31GiB
GlobalReserve, single: total=512.00MiB, used=0.00B
GlobalReserve - аварийный запас метаданных на случай, когда новое место для дерева найти не удаётся. Ловушек у CoW две. Первая - случайные перезаписи внутри большого файла: дисковые образы виртуальных машин и базы дробят экстенты, лечится отключением CoW для данных (chattr +C или nodatacow), вместе с ним уходят и суммы данных. Вторая - swapfile: он требует nodatacow, отсутствия сжатия и свободы от снимков, поддержка появилась в ядре 5.0. RAID5/6 - самая осторожная зона: write hole при сбое питания лечился годами, режим долго числился экспериментальным, и в продакшене его обычно обходят.
Подтома, снимки и перенос данных средствами Btrfs
Подтом - не раздел и не каталог, а отдельный корень в общем лесу деревьев, со своим fs tree и своими номерами inode. Снаружи он выглядит каталогом, но между файловыми системами обычным mv не переносится - для этого есть send/receive. Снимок - новый подтом, дерево которого указывает на те же экстенты: копируются только корневые метаданные, и терабайтная файловая система снимается за доли секунды.
# btrfs subvolume snapshot -r /pool/vm /pool/snaps/vm-20261113
Create a readonly snapshot of '/pool/vm' in '/pool/snaps/vm-20261113'
С флагом -r снимок становится read-only, и его можно отправить потоком send: механизм, появившийся в ядре 3.6, сериализует разницу между двумя подтомами в бинарный поток, который приёмник воспроизводит на другой файловой системе. Инкрементальная передача идёт только по изменённым экстентам.
# btrfs send -p /pool/snaps/vm-20261112 /pool/snaps/vm-20261113 \
| ssh backup btrfs receive /backup/pool
Обслуживание сводится к трём привычкам. Скраб проверяет все блоки по суммам и при избыточности чинит сбойные копии на лету. Счётчики устройства после сбоя диска смотрят первыми - там видны и ошибки ввода-вывода, и найденные расхождения сумм. Баланс переразмещает экстенты и лечит знаменитые ENOSPC, когда место свободно, а метаданные кончились.
# btrfs scrub start -B /pool
scrub done for 1fa3a0aa-c7de-4c11-9e0b-6f2a91b7d3e1: 0 errors
# btrfs device stats /pool
[/dev/sde1].write_io_errs 0
[/dev/sde1].read_io_errs 0
[/dev/sde1].corruption_errs 0
Квоты qgroup считают потребление по подтомам иерархически, с учётом разделяемых экстентов, но заметно замедляют операции с метаданными - включают их осознанно.
Команды диагностики, которые должны быть под рукой у инженера
Внутреннее устройство приносит пользу, только если им можно пользоваться в терминале под давлением. Для ext4 это dumpe2fs с картой групп блоков, tune2fs -l с суперблоком и e2fsck -fn - проверка без единой правки, обязательный прогон перед настоящим ремонтом; debugfs умеет вытащить файл, минуя ядро. Для XFS: xfs_info показывает геометрию, xfs_db -r открывает суперблок в режиме чтения, xfs_repair -n только проверяет, xfs_fsr дефрагментирует смонтированный том. Для Btrfs: btrfs filesystem df и usage показывают распределение чанков, а /sys/fs/btrfs/<FSID>/allocation отражает выделение по типам в реальном времени.
# e2fsck -fn /dev/vg0/data | tail -1
/dev/vg0/data: 123456/1073741824 files (0.4% non-contiguous),
12345678/1073741824 blocks
# xfs_repair -n /dev/nvme0n1p1 | grep -E '^Phase'
Phase 1 - find and verify superblock...
Phase 7 - verify link counts...
# btrfs filesystem df -h /pool
Перед ремонтом больших томов снимайте копию метаданных: xfs_metadump для XFS и e2image для ext4 дают компактный дамп структур, с которым можно работать уже не на живом диске.
Сбой питания, восстановление и выбор системы под задачу
В аварийном сценарии поведение систем различается. ext4 при монтировании находит в журнале последний commit-блок и переигрывает транзакции поверх диска; недописанные отбрасываются автоматически. Если повреждён сам журнал, следуют e2image, e2fsck -p, правящий безопасные ошибки, и лишь потом интерактивный e2fsck -f -y под контролем человека. У XFS восстановление журнала тоже происходит при монтировании; повреждения, найденные xfs_repair -n, правит полный прогон xfs_repair, а ключ -L с обнулением журнала - крайняя мера. Btrfs после сбоя монтирует последнее согласованное состояние: старое дерево просто осталось на месте, в тяжёлых случаях выручают mount -o ro,usebackuproot и btrfs rescue super-recover.
Выбор системы - инженерия под профиль нагрузки, а не список фанатов. Практика сводит его к короткому набору правил:
- Генеральные тома, корень системы, /var, смешанные нагрузки мелких и крупных файлов - ext4: предсказуемые задержки, зрелая диагностика, инструменты ремонта в любом rescue-образе;
- Огромные тома, параллельный ввод-вывод, NFS-экспорты, видеоархивы - XFS: группы размещения масштабируют аллокатор горизонтально, но размеры планируйте заранее, сжать том он не умеет;
- Снимки, сжатие, инкрементальные бэкапы через send/receive, рабочие станции и NAS - Btrfs: возможности оправдывают обслуживание балансами и скрабами;
- Дисковые образы виртуальных машин и СУБД - ext4 или XFS без лишних CoW-слоёв: база сама знает, когда ей чекпоинтить, а nodatacow в Btrfs существует именно на этот случай;
- /boot и другие крошечные тома - ext4: минимум метаданных и мгновенный ремонт старыми инструментами.
Внутренности превращают панику в последовательность шагов: суперблок, журнал, деревья, экстенты - конкретные структуры с конкретными адресами, и почти всё видно из работающей системы через /proc/fs/ext4, /proc/fs/xfs и /sys/fs/btrfs. Выбор - не навсегда: btrfs-convert переносит ext4 без потери данных, xfs_growfs растит том на лету. Файловая система в Linux - не чёрный ящик, а код с открытыми исходниками и документированным форматом на диске. Разобранный в четыре утра суперблок стоит дороже любого дашборда.