Каждый раз, когда администратор набирает cryptsetup open и в /dev/mapper появляется новый том, за кадром успевает отработать целый этаж ядра: реестр алгоритмов, векторные реализации AES, хранилище ключей и device-mapper. Подсистема разрослась настолько, что свежий вывод /proc/crypto удивит даже ветерана: там полтора десятка генераторов случайных чисел и драйверы вроде xts-aes-aesni-avx. Статья ведёт снизу вверх: общая шина crypto API, /proc/crypto, ускорение AES-NI, сокет AF_ALG, история одного тома LUKS2, kernel keyring и файловое шифрование. По пути - реальные команды, честные цифры с живого сервера и грабли, на которые наступают почти все.
Crypto API как общий транспорт для всех шифров ядра
Любой шифр в ядре живёт в виде трансформации - объекта с единым интерфейсом. Регистрирует его код через crypto_register_alg(), заполняя struct crypto_alg: каноническое имя в cra_name (например, "aes"), имя конкретного кода в cra_driver_name (например, "aesni-intel") и приоритет в cra_priority. Приоритет здесь - главная идея. Одна и та же операция может выполняться медленным generic-кодом на чистом C, векторной версией на AES-NI из arch/x86/crypto и железом из drivers/crypto вроде NXP CAAM или Intel QAT. Ядро всегда берёт реализацию с максимальным приоритетом из тех, что подходят под запрос: клиент просит асинхронность - получает аппаратный путь с колбэком.
Слои собираются в стеки через шаблоны: xts(aes), cbc(aes), gcm(aes), hctr2(polyval(aes)). Шаблон работает как матрёшка: внутренняя трансформация даёт блочный шифр, внешняя наворачивает режим. Поэтому имена в /proc/crypto выглядят как вложенные скобки, а rfc4106(gcm(aes)) - это тот же GCM с 8-байтовым IV, заточенный под ESP IPsec.
Синхронные и асинхронные трансформации живут бок о бок. Аппаратный ускоритель отвечает не сразу, результат приносит колбэк, назначенный через skcipher_request_set_callback(). Модули cryptd и pcrypt оборачивают синхронный шифр в асинхронный враппер и раскидывают блоки по ядрам процессора.
Клиентов у шины много: dm-crypt и fscrypt, ESP, mac80211 с CCMP и GCMP в Wi-Fi, dm-verity, dm-integrity, krb5enc для Kerberos. Даже генератор случайных чисел DRBG зарегистрирован как обычная трансформация типа rng под именем stdrng. Загрузили модуль - алгоритм появился в реестре, выгрузили - исчез. Общая шина, где любой потребитель находит любой шифр по имени.
Читаем /proc/crypto драйверы, приоритеты и самотесты
Файл /proc/crypto - главный прибор осмотра реестра. Фрагмент с живого сервера:
name : xts(aes)
driver : xts-aes-aesni-avx
module : aesni_intel
priority : 500
refcnt : 1
selftest : passed
internal : no
type : skcipher
async : no
blocksize : 16
min keysize : 32
max keysize : 64
ivsize : 16
walksize : 32
Разбирать поля можно как карточку пациента. name - запрошенное имя, driver - конкретный исполняемый код. min keysize 32 и max keysize 64 для XTS означают два ключа по 16 или по 32 байта: половину ест шифрование данных, половину - твик сектора. refcnt показывает, сколько объектов держит трансформацию: закрыли том - счётчик падает. selftest passed - результат проверки, которую ядро прогоняет при загрузке модуля по известным тест-векторам; провал не даёт алгоритму зарегистрироваться, а в FIPS-режиме, включаемом параметром загрузки fips=1, за этим следит /proc/sys/crypto/fips_enabled.
Реестр заполняется лениво. dm-crypt впервые запросил xts(aes) - ядро увидело алиас crypto-xts(aes) в modules.alias, подгрузило модули, и запись всплыла в /proc/crypto. modinfo aesni_intel подтверждает механику алиасом crypto-aes. Внутренние (internal : yes) трансформации в свободный поиск не попадают - это помощники для других алгоритмов.
Один сервер - один реестр: на тестовой машине grep -c '^name' /proc/crypto вернул 66. Из них 18 - варианты stdrng, по паре экземпляров xts(aes), gcm(aes) и ctr(aes) (векторная и generic версии), семейства sha2 и sha3, rsa, pkcs1(rsa,sha256), md5 и sha1 на дожитие. Красивый разрез делает awk:
$ awk '/^name/{n=$3} /^type/{print n" -> "$3}' /proc/crypto | sort | uniq -c | sort -rn
18 stdrng -> rng
2 xts(aes) -> skcipher
2 rfc4106(gcm(aes)) -> aead
2 gcm(aes) -> aead
1 xctr(aes) -> skcipher
1 sha512 -> shash
1 sha256 -> shash
Для испытаний скорости есть тестовый модуль tcrypt (список режимов - в drivers/crypto/tcrypt.c), но для повседневной оценки проще cryptsetup benchmark.
Аппаратное ускорение AES-NI и честные цифры скорости
AES-NI пришёл в x86 с Westmere (2010) и перевернул расклад. Описание модуля aesni_intel на тестовом сервере звучит как обещание: "AES cipher and modes, optimized with AES-NI or VAES instructions". Модуль регистрирует россыпь реализаций с приоритетом 500 против 100 у generic-кода: xts-aes-aesni-avx, ctr-aes-aesni-avx, xctr-aes-aesni-avx, gcm(aes) на AVX и rfc4106(gcm(aes)) для ESP, а GHASH ускоряет ghash-pclmulqdqni на инструкции PCLMULQDQ. Рядом в реестре лежит generic-версия каждого алгоритма с приоритетом 100: она нужна CPU без AES-NI и как запасной путь.
Числа даёт cryptsetup benchmark (данные гоняются в памяти, диски не участвуют):
PBKDF2-sha256 983654 iterations per second for 256-bit key
argon2id 4 iterations, 368179 memory, 4 parallel threads (CPUs) for 256-bit key (requested 2000 ms time)
# Algorithm | Key | Encryption | Decryption
aes-cbc 128b 429.4 MiB/s 1443.9 MiB/s
aes-xts 256b 1288.7 MiB/s 1393.5 MiB/s
aes-xts 512b 1051.6 MiB/s 1185.7 MiB/s
serpent-xts 256b 334.8 MiB/s 322.1 MiB/s
twofish-xts 256b 204.2 MiB/s 210.8 MiB/s
Что говорят эти цифры опытному глазу? Шифрование aes-cbc проседает до 429 MiB/s: в этом режиме каждый следующий блок зависит от предыдущего шифротекста, конвейер стоит. Расшифровка CBC параллелится свободно, потому и 1443 MiB/s. XTS симметричен (1288 против 1393) и параллелен по секторам - dm-crypt не зря выбрал его стандартом. Serpent и Twofish без аппаратной поддержки в четыре-шесть раз медленнее AES: на x86 их место в архивах совместимости, а не в продакшене.
Строка argon2id объясняет ощущение "пароль проверяется вечность": утилита целится примерно в 2 секунды на разблокировку и под конкретную машину подбирает параметры - вышло 4 итерации с 368179 КиБ памяти (около 360 МиБ) на 4 потока. На слабом VPS та же цель даст меньше памяти и больше итераций. Сравните с PBKDF2-sha256: 983654 итераций в секунду означают, что попытка перебора занимает микросекунды, и словарь пролетает насквозь. Argon2id с его прожорливостью по памяти оставляет перебор на GPU-фермах не у дел.
AF_ALG шифрование из пользовательского кода без копий данных
С ядра 2.6.38 существует сокетное семейство AF_ALG: приложение создаёт сокет, биндит его с типом ("hash", "skcipher", "aead", "rng") и именем алгоритма, а accept() возвращает дескриптор конкретной операции. Дальше обычные write() и read() для хешей, sendmsg() с управляющими сообщениями для шифров. Код интерфейса лежит в модулях algif_hash, algif_skcipher, algif_aead и algif_rng.
Полностью рабочий пример, посчитавший sha256 руками ядра:
#include <stdio.h>
#include <string.h>
#include <unistd.h>
#include <sys/socket.h>
#include <linux/if_alg.h>
int main(void) {
struct sockaddr_alg sa = {
.salg_family = AF_ALG,
.salg_type = "hash",
.salg_name = "sha256",
};
int fd = socket(AF_ALG, SOCK_SEQPACKET, 0);
if (fd < 0) { perror("socket"); return 1; }
if (bind(fd, (struct sockaddr *)&sa, sizeof(sa)) < 0) {
perror("bind"); return 1;
}
int opfd = accept(fd, NULL, 0);
if (opfd < 0) { perror("accept"); return 1; }
const char *msg = "kernel crypto api";
write(opfd, msg, strlen(msg));
unsigned char digest[32];
ssize_t n = read(opfd, digest, sizeof(digest));
for (ssize_t i = 0; i < n; i++) printf("%02x", digest[i]);
printf("\n");
close(opfd); close(fd);
return 0;
}
Вывод программы и утилиты sha256sum совпадают до последнего байта:
$ ./afalg_sha256
cf5049e68224a90fc671f0fb3e4b4183a1e8f46658e24f9304532328bd9e232e
$ echo -n "kernel crypto api" | sha256sum
cf5049e68224a90fc671f0fb3e4b4183a1e8f46658e24f9304532328bd9e232e -
Для блочного шифра схема чуть длиннее. После bind() и accept() ключ передаётся через setsockopt(opfd, SOL_ALG, ALG_SET_KEY, key, keylen), а команда шифрования едет в sendmsg() как управляющие сообщения: ALG_SET_OP со значением ALG_OP_ENCRYPT и ALG_SET_IV со структурой af_alg_iv. Тонкость с XTS - ключ всегда двойной, минимум 32 байта: вторая половина предназначена твикам, и это ровно те min keysize 32 из /proc/crypto.
Зачем всё это приложению? Первый аргумент - единая точка правды: программа шифрует тем же кодом, что dm-crypt. Второй - ключ может так и не появиться в адресном пространстве процесса в пригодном для дампировки виде. Над AF_ALG строит свой слой библиотека libkcapi; во встраиваемых системах этот путь часто дешевле полной пользовательской криптобиблиотеки.
Та же работа из модуля ядра - три вызова:
tfm = crypto_alloc_sync_skcipher("xts(aes)", 0, 0);
if (IS_ERR(tfm))
return PTR_ERR(tfm);
SYNC_SKCIPHER_REQUEST_ON_STACK(req, tfm);
sg_init_one(&sg, buf, 16);
skcipher_request_set_sync_tfm(req, tfm);
skcipher_request_set_crypt(req, &sg, &sg, 16, iv);
crypto_skcipher_encrypt(req);
skcipher_request_zero(req);
crypto_skcipher_setkey() задаёт ключ, а skcipher_request_zero() стирает его из памяти после работы. Это и есть контракт, на котором стоит весь остальной стек.
dm-crypt и LUKS2 полный путь тома от пароля до секторов
dm-crypt - цель device-mapper, перехватывающая био-запросы блочного уровня и прогоняющая каждый сектор через crypto API. LUKS - формат поверх неё: заголовок с JSON-метаданными в двух копиях, слоты ключей и завернутый ключ тома. Живой цикл на образе 64 МиБ:
$ truncate -s 64M test.img
$ printf 'parole-test-1234' | \
cryptsetup luksFormat --type luks2 --batch-mode --key-file - test.img
$ printf 'parole-test-1234' | \
cryptsetup open --type luks --key-file - test.img testvol
$ ls -l /dev/mapper/testvol
lrwxrwxrwx 1 root root 7 Nov 13 08:32 /dev/mapper/testvol -> ../dm-0
cryptsetup luksDump test.img показывает анатомию:
Version: 2
Metadata area: 16384 [bytes]
Data segments:
0: crypt
offset: 16777216 [bytes]
cipher: aes-xts-plain64
sector: 4096 [bytes]
Keyslots:
0: luks2
Key: 512 bits
PBKDF: argon2id
Time cost: 4
Memory: 349525
Threads: 2
AF stripes: 4000
AF hash: sha256
Digests:
0: pbkdf2
Hash: sha256
Iterations: 73224
Под служебные области том отдал 16 МиБ: data offset ровно 16777216 байт, поэтому маленькие контейнеры толстеют на метаданных. Ключ тома занимает 512 бит - это два ключа XTS по 256: один шифрует данные, второй крутит твик. AF stripes 4000 - антифорензик расслоение ключа на 4000 полос: без пароля шум от секрета в слоте не отличить. Дайджест pbkdf2 с 73224 итерациями хранит проверочную свёртку ключа тома: утилита отсекает неверный пароль ещё до ядра.
При open путь пароля до секторов выглядит так:
- утилита читает заголовок, находит слот и берёт его параметры Argon2id;
- пароль превращается в ключ защиты слота, тем расшифровывается ключ тома и сверяется дайджест pbkdf2;
- ключ тома уходит в kernel keyring как ключ типа logon с описанием cryptsetup:UUID-d0;
- ядро собирает таблицу device-mapper, и /dev/mapper/testvol начинает отдавать прозрачные расшифрованные секторы.
Строка таблицы - доказательство третьего пункта:
# dmsetup table --showkeys
testvol: 0 98304 crypt aes-xts-plain64 :64:logon:cryptsetup:c60da127-a283-481a-b09f-145220f7bc9f-d0 0 7:0 32768 1 sector_size:4096
98304 сектора - это 48 МиБ данных после 16 МиБ заголовка. Вместо hex-ключа в таблице лежит ссылка :64:logon:cryptsetup:...-d0: 64 байта из keyring. Если бы ключ передали напрямую, --showkeys честно напечатал бы его в hex, и любой, кто прочтёт таблицу, унёс бы секрет в кармане. Интеграция с keyring закрывает дыру: cryptsetup close снимает таблицу, и ключ исчезает. Флаг KEYRING в выводе cryptsetup --version (flags: UDEV BLKID KEYRING FIPS KERNEL_CAPI HW_OPAL) как раз об этом.
Из опций, решающих судьбу производительности: --sector-size 4096 уменьшает число обращений к crypto API в восемь раз против сектора 512 (свежий cryptsetup ставит его по умолчанию - видно по строке sector: 4096); --allow-discards пропускает TRIM сквозь шифрование, ускоряя SSD ценой утечки карты занятых блоков; --perf-no_read_workqueue и --perf-no_write_workqueue убирают ядерные очереди и дают прямой путь шифрования; на NVMe бывает заметно.
Отдельная песня - своп: cryptsetup open --type plain -d /dev/urandom /dev/vdb2 swapcrypt && swapon /dev/mapper/swapcrypt. Plain-режим без заголовка и со случайным ключом на каждую загрузку: прежние страницы свопа не расшифровать никогда. Бэкап заголовка cryptsetup luksHeaderBackup /dev/vdb1 --header-backup-file hdr.img занимает секунды, а спасает гигабайты. Обратная крайность - cryptsetup luksErase, стирающий все слоты ключей: данные превращаются в шум навсегда. LUKS2 умеет и онлайн-перешифрование: cryptsetup reencrypt переносит живой том с одного алгоритма на другой и переживает отключение питания.
Kernel keyring место хранения ключей внутри ядра
Первый же keyctl show удивляет: колец в системе уже полно. Хранилище ключей живёт тремя системными вызовами: add_key(2), request_key(2) и keyctl(2), а утилиты пакета keyutils дают к ним человеческий доступ. Типы ключей разные: user - произвольные байты до 32767, big_key - крупнее, keyring - контейнер, logon - служебный ключ для ядра, trusted и encrypted - ключи, завёрнутые в TPM или в мастер-ключ, asymmetric - сертификаты X.509.
Кольца вложены: у потока своё (@t), у процесса (@p), у сессии (@s), у пользователя (@u). Живой транскрипт с сервера:
# keyctl add user demo:pass s3cret @u
648693849
# keyctl show @u
Keyring
207752370 --alswrv 0 65534 keyring: _uid.0
648693849 --alswrv 0 0 \_ user: demo:pass
# keyctl pipe 648693849
s3cret
Строка --alswrv - права доступа: attribute, link, search, write, read, view; первые два тире закрывают группу и прочих. Читается содержимое через keyctl pipe. А вот тип logon устроен иначе: он создаётся так же, как user, но из пользовательского пространства не читается никогда. Попытка на живом сервере закончилась так:
# keyctl pipe <id>
keyctl_read_alloc: Permission denied
Контракт простой: ключ положило ядро - ядро и пользуется. dm-crypt с ключами в keyring и fscrypt используют именно logon. В /proc/keys всё это видно без утилит:
015ac3de I------ 1 perm 1f030000 0 0 asymmetri Build time autogenerated kernel key: 8df598ea...
0640f0fb I--Q--- 4 perm 3f030000 0 0 keyring _ses: 1
Тип здесь обрезан до 15 символов, потому и "asymmetri": сертификат, зашитый в ядро при сборке для проверки подписи модулей. Флаг I - ключ создан и заполнен, Q - он занимает квоту пользователя.
Системный вызов request_key(2) делает ещё одну хитрую вещь: если ключа нет, ядро вызывает /sbin/request-key, тот сверяется с /etc/request-key.conf и может достать ключ по сети - так работают cifs.spnego и dns_resolver для CIFS. systemd-cryptenroll умеет завернуть ключ тома в токен LUKS2 - TPM2, FIDO2 или PKCS#11, - и при загрузке ключ появляется в keyring без участия человека. Секреты, которые ядро должно использовать и не должно отдавать, живут здесь.
fscrypt и ecryptfs шифрование файлов поверх файловых систем
Не всё шифруется на блочном уровне. fscrypt - файловое шифрование в ext4 (с ядра 4.1), f2fs и ubifs: содержимое и имена файлов шифруются инодами, а два поколения формата policy отличаются адресацией ключей. Нужна поддержка в суперблоке: mkfs.ext4 -O encrypt /dev/vdb1, затем монтирование и работа с каталогами:
$ fscrypt encrypt /mnt/secret
$ fscrypt status /mnt/secret
Утилита fscrypt (или минимальный fscryptctl) создаёт протектор - пароль, raw key или связку с pam_passphrase - и policy v2 (ядра 5.4 и новее). Мастер-ключ длиной 64 байта уходит в kernel keyring как logon-ключ с именем fscrypt:<идентификатор из 16 байт>, а файловая система хранит не ключ, а только идентификатор. Содержимое файлов шифруется AES-256-XTS, имена - AES-256-CTS-C (ciphertext stealing), а для слабых CPU без AES-NI есть adiantum на chacha с широким блоком. После ls каталог выглядит как нечитаемый base64.
Честности ради: fscrypt не скрывает размеры файлов, временные метки, количество inode и квоты. Root видит структуру каталогов, но не содержимое, пока ключ не в keyring. Отсюда граница применения: изоляция пользователей и служб друг от друга на работающей машине, а не защита выключенного диска.
ecryptfs - предшественник и стековая файловая система поверх существующей, известная с ядра 2.6.19. Типичное применение - шифрование домашнего каталога: каталог ~/.Private, служебные файлы в ~/.ecryptfs и файл wrapped-passphrase. Каждый файл несёт собственный заголовок со своим ключом FEK, завернутым пассфразой, поэтому файлы переносятся пофайлово. Цена - лишний слой в пути каждого блока и капризность на граничных случаях; дистрибутивы давно ушли от него к LUKS и fscrypt, но в старых домашних каталогах он встречается до сих пор, и при переезде содержимое переносят после unmount.
Как выбирать? dm-crypt скрывает всё: файловую систему, метаданные, свободное место, - но защищает том целиком и только когда ключ введён, для всех сразу. fscrypt даёт изоляцию на живой системе, каталоги отдельных пользователей шифруются независимо, но метаданные открыты. На практике их комбинируют: LUKS для корня и свопа, fscrypt для /home и общих каталогов данных. Узким CPU без AES-NI поможет adiantum вместо AES, многоядерным машинам - крупные секторы и отключение лишних очередей. И раз в полгода стоит просто открыть /proc/crypto: реестр живой, алгоритмы приходят и уходят вместе с модулями, а понимать, что именно крутится в вашем ядре, - профессиональная гигиена.