Debian-Kernelpaket 6.1.0-55: ext4-Oops und Rollback

Am Sonntag, dem 15. November 2026, bin ich um 19:48 Uhr italienischer Zeit (18:48 UTC) nach dem Alarm der Überwachung bei einigen der von mir betreuten Server eingeschritten. Das Problem hatte höchstwahrscheinlich schon einige Minuten früher begonnen. Der gemeinsame Nenner war das Update auf das Debian-Kernelpaket 6.1.0-55, das wenige Stunden zuvor installiert worden war; ich habe auf den vorherigen Kernel zurückgerollt. Der Fehler ist tückisch, deshalb dokumentiere ich ihn genau: was ich beobachtet habe, was die Quellen sagen und was ich noch nicht weiß.

Schema des Debian-Kernelpaket 6.1.0-55: ext4-Oops und Rollback

Ablauf: der Einsatz um 19:48 Uhr

Der Kernel war von der Serie 6.1.0-54 auf 6.1.0-55 gewechselt. Die betroffenen Pakete sind linux-image-6.1.0-55-amd64 und linux-image-6.1.0-55-arm64, Debian-Version 6.1.192-1 (Upstream-Kernel 6.1.192), die aus dem Repository bookworm-security von Debian 12 kam. Bevor ich ein Update ausrolle, teste ich es auf einem Überwachungs-Host, den ich genau dafür nutze. Dort hat der neue Kernel keinerlei Probleme verursacht, auch nicht bei den Stresstests.

Es war kein klarer Absturz, sondern ein Leistungsabfall: eine fortschreitende Verlangsamung bis zum Stillstand des Systems. Währenddessen funktionierte die TCP-Schicht weiter: Ping antwortete, und die Ports nahmen Verbindungen an. Solange die Überwachung auf Anwendungsebene nicht ausgelöst hatte, ließ sich nicht sagen, ob ein Server ausgefallen war; erst der Verbindungsaufbau zu den einzelnen Ports zeigte den Timeout. Deshalb ist 19:48 Uhr der Zeitpunkt des Eingriffs und nicht der genaue Beginn des Problems.

Die betroffenen Server sind wenige, aber von zwei Architekturen: amd64 und arm64. Zunächst dachte ich an ein Speicherproblem oder an eine einzelne Festplatte. Dasselbe Symptom auf zwei verschiedenen Architekturen schloss die Hardware-Ursache rasch aus.

Das Problem trat dann auch auf den anderen Servern auf. Ich habe die Kernel-Logs auf jeder Maschine geprüft: Überall war ein Oops zu finden, also ein Fehler, den der Kernel in einer seiner Funktionen erkennt und mit einer Ablaufspur protokolliert. Ich habe mich daher zum Zurückgehen entschieden und um 20:08 Uhr (19:08 UTC) die Kernel-Updates zurückgerollt, womit die Server wieder auf 6.1.0-54 liefen.

Zeitlicher Ablauf des Vorfalls

Zeiten von Sonntag, dem 15. November 2026, in italienischer Zeit (MEZ) und in UTC. Italien liegt bei UTC+1.

  • Kritische Phase, 19:48-20:08 Uhr (18:48-19:08 UTC): Eingreifen nach dem Anwendungsalarm, wobei die Verschlechterung einige Minuten früher begonnen hatte. Die Server werden langsamer bis zum Stillstand; ich analysiere die Logs, finde den Oops und beschließe das Rollback.
  • Beobachtung, mittleres Risiko, 20:08-24:00 Uhr (19:08-23:00 UTC): Auf den Servern, die wieder auf 6.1.0-54 laufen, prüfe ich, dass keine weiteren Probleme aufgetreten sind.
  • Abschluss, um 01:00 Uhr am 16. November (00:00 UTC): Prüfungen und Überwachung enden, und der Einsatz ist abgeschlossen.

Ein tückischer Fehler: warum die Tests ihn nicht gesehen haben

Das ist der Aspekt, der mich am meisten beeindruckt hat: Das Debian-Kernelpaket 6.1.0-55 hat keinen sofortigen, flächendeckenden Ausfall verursacht. Auf Servern mit geringer Festplattenlast gab es keinerlei Probleme. Der Überwachungs-Host, mit dem ich Updates vor dem Ausrollen teste, hat die Stresstests ohne Fehler oder Alarme bestanden.

Soweit ich es verstehe, hängt der Fehler nicht allein vom Kernel ab, sondern von einer Bedingung: Die Seite mit der Blockkarte muss aus dem Speicher verdrängt worden sein. Ein Server mit wenigen Schreib- und Freigabevorgängen kann tagelang auskommen, ohne darauf zu stoßen, und ein Stresstest, der CPU oder Netzwerk belastet, berührt sie nicht. Es braucht Festplattenverkehr mit dem Anlegen und Löschen von Dateien sowie Speicher unter Druck.

Daraus ziehe ich eine praktische Lehre: Ein „alles grün“ auf einer wenig belasteten Maschine sagt bei einem Fehler dieser Art wenig aus. Das sage ich offen.

Es gibt einen weiteren Grund, warum er tückisch ist: Er zeigt sich nicht als Ausfall. Das System wird langsamer, aber Ping und Ports antworten weiterhin, sodass eine reine Netzwerkprüfung meldet, alles sei in Ordnung. Nur eine Prüfung, die den Dienst tatsächlich nutzt, bemerkt es.

Was der Oops sagt

Ein Oops wirkt unlesbar, doch drei Angaben genügen zur Deutung: die Art des Fehlers, die Funktion, in der er auftritt, und die Aufrufkette, die dorthin führt.

  • Art des Fehlers: Auf amd64 ein NULL pointer dereference, das heißt, der Kernel hat eine ungültige Adresse gelesen. Auf arm64 ist das Bild dasselbe, mit einer Spur, die vom Entfernen eines Verzeichnisses ausgeht.
  • Funktion: ext4_mb_load_buddy_gfp, mit Offset +0xbc auf amd64. Es ist auf beiden Architekturen dieselbe Funktion.
  • Aufrufkette (amd64): Das Schließen einer Datei (close()) führt zu ext4_release_file, dann zu ext4_discard_preallocations und schließlich zur genannten Funktion. Auf arm64 geht die Spur stattdessen von vfs_rmdir aus.

Kurz gesagt: Der Absturz stammt weder von einer Anwendung noch von einem Treiber, sondern vom ext4-Code, der die Blockzuweisung auf der Festplatte verwaltet, einem Teil des Kernels, den praktisch alle Maschinen mit diesem Dateisystem nutzen. Das Dateisystem der Server war ext4, in einem Fall mit aktivierten journalisierten Quotas. Offen bleibt, ob die Festplattenlast der einzige Faktor ist oder ob auch RAM und Quotas eine Rolle spielen.

Der Buddy-Cache von mballoc in Kürze

ext4 weist Blöcke nicht zufällig zu. Sein Allokator, mballoc genannt, führt für jede Blockgruppe eine Karte der freien Blöcke, organisiert nach dem Buddy-System. Diese Karten liegen in Speicherseiten, dem sogenannten Buddy-Cache.

Wenn Blöcke zugewiesen oder freigegeben werden müssen, lädt ext4_mb_load_buddy_gfp die Karte der betroffenen Gruppe. Ist die Seite bereits im Speicher, nimmt es sie sofort. Wurde sie verworfen, etwa weil der Speicher knapp ist, liest es sie erneut von der Festplatte.

Der Fall, dass die Seite nicht mehr im Speicher ist, ist der Punkt, an dem sich die beiden Codepfade trennen, und dort liegt laut den Quellen das Problem.

Was die Quellen zum Debian-Kernelpaket 6.1.0-55 sagen

Zuerst das Wichtige: Das Problem ist bereits im Debian-Bugtracker gemeldet. #1154101 (Systemstillstand nach dem Update) stammt vom 15. November 2026, #1154108 (NULL pointer dereference in ext4_mb_load_buddy_gfp, „regression from 6.1.190-1“) vom 15. November um 23:09 UTC, #1154119 vom 16. November. Alle nennen die Version 6.1.192-1 als diejenige, in der es auftritt. Sie kamen nach meinem Vorfall: Die erste, #1154101, ist etwa drei Stunden später. Einen CVE habe ich nicht gefunden.

Das Bild, das sich ergibt, ist dieses: Der Kernel 6.1.191, veröffentlicht am 30. Oktober 2026, brachte in den Zweig 6.1 die Umstellung des Buddy-Caches und der Bitmap von mballoc von den alten „Pages“ auf „Folios“. Nachzulesen im ChangeLog-6.1.191. Es ist der Code, in dem der von mir beobachtete Oops auftritt.

Dann gibt es den Pull Request 13 des Projekts sporevm/kernels, gemergt am 11. November 2026. Die Autoren berichten von einem identischen Oops in derselben Funktion auf ihrem Kernel 6.1.191. Ihre Erklärung lautet: Im Backport prüft der Code das Ergebnis von __filemap_get_folio() mit IS_ERR(), aber in 6.1 liefert diese Funktion, wenn sie die Seite nicht findet, NULL zurück. Die Prüfung greift nicht, und der NULL-Zeiger wird danach verwendet. Das Problem tritt auf, wenn die Seiten des Buddy-Caches verworfen werden, wegen Speichermangels oder mit drop_caches. Mit 6.1.155 beobachten sie es nicht, mit 6.1.191 schon. Sie schreiben, dass die Korrektur für den Zweig 6.1 in der Warteschlange ist und dass 6.1.192 sie nicht enthält.

Das ChangeLog-6.1.192 liefert eine indirekte Bestätigung: Die Korrektur war nicht enthalten. Es enthält drei Commits, alle zu Xen-Treibern und keiner zu ext4. 6.1.192, auf der das Debian-Paket 6.1.0-55 basiert, erschien also ohne die Korrektur, ein Umstand, der zu dem passt, was ich auf den Servern beobachtet habe.

Was bestätigt ist und was Hypothese

  • Durch meine Logs bestätigt: Oops in ext4_mb_load_buddy_gfp mit dem Kernel 6.1.0-55 auf amd64 und arm64, während 6.1.0-54 stabil ist.
  • Durch die Changelogs bestätigt: 6.1.191 enthält die Umstellung von mballoc auf Folio, und 6.1.192 hat nichts zu ext4, also keine Korrektur.
  • Hypothese, von externen Quellen berichtet: Die Ursache ist die IS_ERR()-Prüfung bei einem Wert, der in 6.1 NULL sein kann. Der Pull Request von sporevm und die Meldung #1154108 nennen sie; in Letzterer steht außerdem, dass eine Korrektur für 6.1.193 in der Warteschlange ist. Das sind Aussagen der Melder, und ich habe sie nicht am Quellcode überprüft.
  • Nicht verfügbar: ein korrigiertes Paket. Am 16. November 2026 zeigt der Debian Package Tracker 6.1.192-1 als aktuellste Version von bookworm-security. Den Quellcode des Debian-Kernels habe ich nicht Zeile für Zeile analysiert.

Die Hypothese ist plausibel, weil sie alle Symptome erklärt: dieselbe Funktion, beide Architekturen, ein NULL dereference und der Zusammenhang mit Speicherdruck. Sie bleibt dennoch eine Hypothese.

Warum close() und rmdir

Zwei verschiedene Wege führen zur selben Funktion. Beim Schließen einer Datei gibt ext4 die reservierten Block-Vorabzuweisungen frei. Das Entfernen eines Verzeichnisses gibt echte Blöcke frei. In beiden Fällen wird die Karte der Blockgruppe benötigt, also der Buddy-Cache.

Deshalb wirkt der Absturz zufällig: Er tritt nur auf, wenn die Seite der Karte in diesem Moment nicht im Speicher ist. Eine Maschine mit viel freiem RAM kann lange durchhalten, eine mit Speicher unter Druck oder mit häufig geleertem Cache gelangt früher dorthin.

Das Rollback vom Debian-Kernelpaket 6.1.0-55, Schritt für Schritt

Die Methode besteht darin, zum vorherigen Kernel zurückzukehren, ohne etwas zu löschen, und zu verhindern, dass sich der neue von selbst wieder installiert. Die Befehle unten sind ein Beispiel: Passen Sie sie an Ihre Paketnamen an und führen Sie sie nicht auf einer Produktivmaschine aus, ohne ihre Wirkung zu kennen. Für eine falsche Anwendung übernehme ich keine Haftung.

Zuerst prüfe ich, welcher Kernel läuft und welche installiert sind:

uname -r
dpkg -l "linux-image-*" | grep ^ii

Dann setze ich den vorherigen Kernel in GRUB als Standard-Booteintrag. Alternativ lässt sich das neue Paket nach dem Neustart entfernen; ich lasse es installiert, aber inaktiv:

# vedo le voci disponibili
grep -E "menuentry |submenu " /boot/grub/grub.cfg | cut -d"'" -f2
# scelgo il kernel 6.1.0-54 come predefinito (adatta la stringa)
sudo grub-set-default "Advanced options for Debian GNU/Linux>Debian GNU/Linux, with Linux 6.1.0-54-amd64"
sudo update-grub
sudo reboot

Nach dem Neustart prüfe ich, dass der richtige Kernel läuft, und sperre dann die Aktualisierung der Kernel-Pakete. Der Befehl apt-mark hold verhindert, dass apt sie aktualisiert, bis ich ihn aufhebe:

uname -r
sudo apt-mark hold linux-image-amd64 linux-image-6.1.0-55-amd64   # amd64
sudo apt-mark hold linux-image-arm64 linux-image-6.1.0-55-arm64   # arm64 (6.1.192-1)
apt-mark showhold

Auf arm64-Servern heißt das Paket linux-image-6.1.0-55-arm64, ebenfalls in der Version 6.1.192-1. Die Sperre ist vorübergehend: Sobald Debian eine korrigierte Version veröffentlicht, hebe ich sie mit apt-mark unhold auf. Zu beachten ist, dass ein Hold auf den Kernel auch für Sicherheitsupdates desselben Pakets gilt und daher so bald wie möglich aufgehoben werden sollte.

Prüfen Sie immer mit apt-mark showhold, ob die Sperre aktiv ist: Der Befehl muss linux-image-amd64 (oder linux-image-arm64) auflisten. Eine Simulation mit apt-get -s upgrade reicht nicht: apt-get upgrade installiert keine neuen Pakete und hält das Metapaket auch ohne Hold zurück, während apt upgrade es installieren würde. Für eine verlässliche Prüfung verwenden Sie apt -s upgrade | grep -i linux-image und stellen Sie sicher, dass keine Zeile Inst linux-image erscheint.

Woran man erkennt, ob ein Server betroffen ist

Besondere Werkzeuge sind nicht nötig: Drei Prüfungen auf der Maschine genügen.

# versione del kernel in esecuzione
uname -r
# Oops recenti nei log del kernel
journalctl -k -b -1 --no-pager | grep -i -E "ext4_mb_load_buddy|Oops|BUG:" | head
# memoria e cache
free -h

Wenn das Debian-Kernelpaket 6.1.0-55 im Einsatz ist und das Dateisystem ext4 ist, sind Sie betroffen. Das Risiko steigt, wenn die Maschine mit wenig freiem Speicher arbeitet. Erscheint ext4_mb_load_buddy_gfp in den Logs des vorherigen Starts, ist es dasselbe Problem.

Eine weitere Vorsichtsmaßnahme: Wenn Ihre Cronjobs ein periodisches drop_caches enthalten, entfernen Sie es, solange Sie diesen Kernel nutzen, denn das Leeren des Caches ist laut den Quellen genau der Vorgang, der den Fehler auslöst. Das ist kein allgemeiner Rat: Normalerweise braucht man drop_caches nicht.

Was ich im Blick behalte

Bevor ich das Debian-Kernelpaket 6.1.0-55 wieder in Produktion nehme, prüfe ich den Debian Package Tracker auf eine neue Version des Pakets linux und lese dessen Changelog, insbesondere auf einen Eintrag zu ext4 und mballoc. Wenn einer auftaucht, teste ich sie auf einer einzigen Maschine, bevor ich die anderen freigebe, und diesmal mit echter Festplattenlast. Die Beobachtung von Kernel-Problemen habe ich bereits behandelt, zum Beispiel im Artikel über die TCP-Schwachstelle von Ende Oktober: Das war eine Sicherheitslücke, dies ist eine Stabilitätsregression, aber die Methode ist dieselbe.

Ich werde diesen Artikel aktualisieren, sobald Debian die Korrektur veröffentlicht.

Quellen

Debian ist eine eingetragene Marke von Software in the Public Interest, Inc. Linux ist eine Marke von Linus Torvalds. Die Befehle werden nur zur Information gezeigt, ohne Gewähr.

Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

WordPress Cookie Hinweis von Real Cookie Banner