Proxmox-Freeze ohne Logeintrag: Fehlersuche auf einem ThinkCentre M920q
Für mein Homelab mit Home Assistant und ein paar kleinen Diensten habe ich mir im Oktober einen gebrauchten Lenovo ThinkCentre M920q gekauft (i5-9500T, 16 GB RAM, 256-GB-NVMe): halbwegs günstig, für den Dauerbetrieb gebaut und klein. Vor der Inbetriebnahme lief brav memtest86+, danach Proxmox VE 9 mit einer Home-Assistant-VM und ein paar LXC-Containern. Kurz darauf fror er immer wieder ein, allein in den ersten drei Tagen fünfmal. Jedes Mal war er nicht mehr erreichbar, und im Journal stand nichts, was das erklärt hätte. Die Geschichte hat nur ein halbes Happy End: Die Ursache habe ich nie gefunden, aber ein baugleiches Austauschgerät läuft seitdem fehlerfrei.
Ich bin kein Infrastruktur-Profi, früher habe ich das Thema eher gemieden (aber hey, inzwischen schreibe ich eine Serie über NixOS). Bei der Fehlersuche habe ich deshalb vieles erst mit Kagi nachgeschlagen, und was ich dabei gefunden und ausprobiert habe, steht hier.
journalctl, mein neuer bester Freund
Den ersten Freeze gab es am 8. Oktober, nur ein Reset am Gerät half. Danach wollte ich wissen, was vorher passiert war, und so lernte ich journalctl kennen. Die Kernel-Meldungen, die dmesg zeigt, sind nach einem Reset weg. Das Journal von systemd hebt dagegen auch die Meldungen früherer Starts auf, und genau die brauchte ich. Bei meiner Proxmox-Installation war das von Haus aus so. Zeigt journalctl --list-boots nur einen Eintrag, liegt das Journal im Arbeitsspeicher. Dann hilft es, das Verzeichnis /var/log/journal anzulegen und den Dienst mit systemctl restart systemd-journald neu zu starten.
journalctl -b -1 -e zeigt das Ende des vorherigen Starts (-b -1 ist der Boot davor und -e springt ans Ende). Bei mir hörte das Log einfach mitten im normalen Betrieb auf, ohne eine Warnung oder einen Fehler davor.
Die nächsten Freezes kamen mal nach einer Stunde, mal nach 35 Stunden, ohne erkennbares Muster.
Die üblichen Verdächtigen
Als Erstes habe ich das BIOS aktualisiert, was leider nichts gebracht hat. Danach habe ich mir zwei Fehler aus dem Kernel-Log vorgenommen, einen der Netzwerkkarte und einen der NVMe, und zu beiden fand ich schnell Threads mit immer demselben Rat. Die Netzwerkkarte (e1000e) hatte am 7. Oktober einen „Hardware Unit Hang“ gemeldet:
journalctl -k | grep -i "hardware unit hang"Die übliche Abhilfe ist, Offloading abzuschalten, bei dem die Netzwerkkarte der CPU Arbeit wie das Zerlegen großer Pakete abnimmt. Dauerhaft geht das in /etc/network/interfaces, und zwar bei der physischen Karte (ip link zeigt den Namen, beim M920q meist eno1), nicht bei der Bridge vmbr0, an der bei Proxmox die VMs hängen. post-up führt den Befehl jedes Mal aus, wenn die Karte hochfährt:
iface eno1 inet manual
post-up /sbin/ethtool -K eno1 \
tso off gso off gro offKurz vor dem ersten Freeze stand außerdem ein PCIe-Fehler der NVMe im Log (AER, RxErr, zu finden mit journalctl -k | grep -i aer). Das ist ein korrigierter Fehler, den die Hardware selbst behoben hat, und für sich genommen oft harmlos. Trotzdem lautete der Rat in den Threads, ASPM abzuschalten, die Stromsparfunktion der PCIe-Verbindung. Das geht mit dem Kernel-Parameter pcie_aspm=off, einer Option, die der Bootloader dem Kernel beim Start mitgibt. Proxmox nutzt je nach Installation GRUB oder systemd-boot. Welcher es ist, zeigt proxmox-boot-tool status. Bei GRUB hängt man den Parameter in /etc/default/grub hinten an diese Zeile an:
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off"Dann update-grub und neu starten. Ob der Parameter aktiv ist, zeigt cat /proc/cmdline. Bei systemd-boot stehen die Parameter stattdessen in /etc/kernel/cmdline, und der Befehl heißt proxmox-boot-tool refresh. Details stehen in der Proxmox-Doku zum Bootloader.
Irgendwann fiel mir auf, dass das Gehäuse warm war. Die CPU lief im Leerlauf mit 3,5 GHz bei 43 bis 59 °C, weil der Governor, der den Takt regelt, auf performance stand. Umstellen lässt er sich pro Kern unter /sys. Dieser Befehl macht das für alle auf einmal, bis zum nächsten Neustart:
echo powersave | tee \
/sys/devices/system/cpu/cpu*/cpufreq/scaling_governorMit Offloading und ASPM aus waren beide Fehlermeldungen weg, und mit powersave war die CPU im Leerlauf mit 34 bis 36 °C deutlich kühler. Der Host fror trotzdem weiter ein. Ob die beiden Fehler überhaupt etwas mit den Freezes zu tun hatten, weiß ich bis heute nicht.
Temperatur-Log und ein falscher Verdacht
Ob es nicht doch an der Hitze lag, wollte ich genauer wissen, vor allem, wie warm der Rechner in den Minuten vor einem Freeze war. Also habe ich ein kleines Skript geschrieben, das die höchste Temperatur aller Sensoren unter /sys/class/thermal/ ausliest (der Kernel liefert sie in Tausendstel Grad), dazu den durchschnittlichen Takt aus /proc/cpuinfo und die Last der letzten Minute aus /proc/loadavg. logger -t templog schreibt das als eine Zeile ins Journal, wo sie den Freeze überlebt. Das Skript liegt bei mir unter /usr/local/bin/templog.sh:
#!/bin/sh
t=$(cat /sys/class/thermal/thermal_zone*/temp \
| sort -n | tail -1)
f=$(awk '/MHz/ {s+=$4; n++} \
END {printf "%.0f", s/n}' /proc/cpuinfo)
l=$(cut -d ' ' -f 1 /proc/loadavg)
logger -t templog "temp=$((t/1000))C freq=${f}MHz load=$l"Mit chmod +x wird es ausführbar, und nach einem Testlauf von Hand zeigt journalctl -t templog -n 1, ob die Zeile ankommt. Damit es regelmäßig läuft, kommt es in die Crontab von Root. crontab -e öffnet sie im Editor. Für den Anfang habe ich es jede Minute loggen lassen:
* * * * * /usr/local/bin/templog.shDie Zeile im Journal sieht dann etwa so aus: temp=36C freq=800MHz load=0.12. Nach einem Freeze zeigt journalctl -b -1 -t templog | tail die letzten Minuten. Bei den nächsten Freezes blieb die Temperatur bis zuletzt bei 34 bis 36 °C, an der Hitze lag es also nicht.
Wer lange genug auf Logs starrt, fängt irgendwann an, Muster zu sehen. Bei mir war es so weit, als mir auffiel, dass drei der ersten vier Freezes in genau der Sekunde endeten, in der ein Container einen Heartbeat an mein Uptime Kuma schickte. Das konnte doch kein Zufall sein. Also habe ich den Heartbeat um zwei Minuten verschoben, um zu sehen, ob der Freeze mitwandert. Beim nächsten Freeze wanderte er nicht mit, es war also doch Zufall. Spätestens wenn man das eigene Monitoring verdächtigt, ist vielleicht eine Pause fällig.
Die Lockup-Panic
Irgendwann habe ich die Suche umgedreht und gefragt, wie ich bei einem Freeze überhaupt an eine Fehlermeldung komme. So bin ich auf hardlockup_panic und softlockup_panic gestoßen. Der Kernel prüft mit einem Watchdog regelmäßig, ob jeder CPU-Kern noch reagiert. Hängt einer, ist das ein Lockup, und normalerweise gibt es dazu nur eine Warnung im Log. Mit diesen beiden Einstellungen löst der Kernel stattdessen eine Panic aus und sichert die Meldung.
Solche Kernel-Einstellungen heißen sysctl und kommen dauerhaft in eine Datei unter /etc/sysctl.d/, bei mir 99-lockup.conf. kernel.panic = 10 startet den Rechner zehn Sekunden nach der Panic neu, statt ihn stehen zu lassen:
kernel.hardlockup_panic = 1
kernel.softlockup_panic = 1
kernel.panic = 10sysctl --system lädt sie sofort, und sysctl kernel.hardlockup_panic zeigt, ob es geklappt hat.
Wohin er die Meldung sichert, ist der Trick an der Sache. Bei einer Panic kann der Kernel nicht mehr auf die Platte schreiben, das Journal bekommt also nichts mehr ab. In den pstore kann er aber noch schreiben, auf UEFI-Rechnern meist ein kleiner Speicher der Firmware, und was dort steht, überlebt den Neustart. Danach holt systemd-pstore die Meldungen aus der Firmware und legt sie unter /var/lib/systemd/pstore/ ab, für jede Panic ein eigener Ordner mit den letzten Kernel-Meldungen vor dem Absturz.
Ob die ganze Kette funktioniert, lässt sich testen. Der erste Befehl zeigt, ob der NMI-Watchdog läuft, ohne den der Kernel keinen Hardlockup erkennt. Der zweite löst absichtlich eine Panic aus. Das ist ein harter Absturz, deshalb vorher alle VMs und Container herunterfahren. Mit kernel.panic = 10 startet der Rechner nach zehn Sekunden neu, ohne die Einstellung bleibt er stehen:
cat /proc/sys/kernel/nmi_watchdog # sollte 1 sein
echo c > /proc/sysrq-triggerLiegt danach ein Ordner unter /var/lib/systemd/pstore/, funktioniert der pstore.
Beim nächsten Freeze startete der Rechner nicht neu, und im pstore landete auch nichts. Das war der aufschlussreichste Fehlschlag der ganzen Serie, auch wenn ich das erst nach einigem Lesen verstanden habe. Vor allem der fehlende Neustart sagt etwas, denn ob der pstore bei mir überhaupt aktiv war, weiß ich nicht. Der Watchdog hat den Stillstand nicht bemerkt. Wenn er lief, hing also nicht bloß ein Kern, sondern die ganze Maschine. Das spricht eher für die Hardware als für einen Container, der Unsinn macht. Bis dahin hatte ich, ohne es zu merken, angenommen, dass der Kernel lebt und nur etwas falsch macht.
C-States: die letzte Software-Idee
Eine Erklärung ohne Hardwaredefekt fand ich dann doch noch. Im Proxmox-Forum gibt es einige Berichte über Hosts, die genau so ohne Logeintrag einfrieren. Der Verdacht dort: Ein CPU-Kern bleibt in einem tiefen Schlafzustand (C-State) hängen und wacht nicht mehr auf. Je höher die Zahl, desto tiefer schläft der Kern und desto mehr Strom spart er. Bei Intel-CPUs steuert das der Treiber intel_idle, und welche Zustände er auf dem eigenen Rechner nutzt, zeigt:
cat /sys/devices/system/cpu/cpu0/cpuidle/state*/nameBei mir ging es bis C10. Der Parameter intel_idle.max_cstate=1 erlaubt nur noch C1, den leichtesten Schlaf. Er kommt auf demselben Weg dazu wie vorher pcie_aspm=off:
GRUB_CMDLINE_LINUX_DEFAULT="quiet pcie_aspm=off intel_idle.max_cstate=1"Ob er greift, zeigt cat /sys/module/intel_idle/parameters/max_cstate (Ausgabe: 1). Zur Sicherheit habe ich die C-States zusätzlich im BIOS abgeschaltet. Ich hatte große Hoffnung, mir damit die Rücksendung zu sparen. Geholfen hat es nicht, auch so fror der Host ein, genauso still wie vorher. Ein anderes Netzteil änderte ebenfalls nichts.
Das Austauschgerät
Der Rechner war noch in der Rückgabefrist, also ging er zurück. Das Ersatzgerät ist ein baugleicher M920q mit derselben Proxmox-Installation und denselben Gästen, aber ohne pcie_aspm=off, ohne max_cstate=1, mit Standard-Governor und aktivem Offloading, und es läuft seit einem Monat ohne Freeze.
Beim alten Gerät lagen zwischen den ersten Freezes höchstens 35 Stunden, ein Monat ohne Freeze ist da ziemlich eindeutig. Es lag also an genau diesem Exemplar. Woran genau, weiß ich nicht, das Netzteil war es jedenfalls nicht. Ich vermute die Platine.
Was ich heute zuerst prüfen würde
Nicht jeder kann ein Gerät zurückgeben. Bevor ihr Ersatz kauft, würde ich das hier abarbeiten:
memtest86+laufen lassen, immer als Erstes, am besten schon vor der Inbetriebnahme. Es liegt bei Proxmox schon im Bootmenü. Das dauert. Lange. Sehr lange. Ist es aber wert.- Das BIOS auf den neuesten Stand bringen und das Paket
intel-microcodeinstallieren, das Updates für die CPU mitbringt. Es liegt in der Paketquellenon-free-firmware, die dafür aktiviert sein muss. Proxmox empfiehlt beides. Ob der Microcode bei mir aktuell war, weiß ich nicht mehr. - Die Lockup-Panic gleich nach dem ersten Freeze aktivieren und mit dem Panic-Test von oben prüfen, ob sie funktioniert. Bleibt beim nächsten Freeze trotzdem alles still, würde ich nur noch die C-States probieren und dann die Hardware verdächtigen.
- Das Netzteil tauschen. Bei mir hat das nichts geändert, aber bei Mini-PCs mit externem Netzteil ist es der billigste Test.
- C-States im BIOS abschalten, statt sie nur per Kernel-Parameter zu begrenzen. Auch das hat bei mir nicht geholfen, ist aber schnell ausprobiert.
Eigentlich hatte ich die Hardware von Anfang an im Verdacht. Ausprobiert habe ich trotzdem alles, was ich finden konnte, weil es auch irgendwie spannend ist, und ehrlich gesagt würde ich es wieder so machen. Nur die einfachen Hardwaretests würde ich vorziehen.
Mein journalctl-Spickzettel
Inzwischen kenne ich journalctl deutlich besser. Diese Befehle habe ich mir für mein zukünftiges Ich aufgeschrieben:
# alle Starts mit erstem und letztem Eintrag
journalctl --list-boots
# Ende des vorherigen Starts
journalctl -b -1 -e
# nur Kernel-Meldungen
journalctl -b -1 -k
# nur Fehler und Schlimmeres
journalctl -b -1 -p err
# Zeitraum eingrenzen
journalctl --since "2026-10-08 10:00" --until "2026-10-08 11:00"
# nach Text suchen, ohne grep
journalctl -k -g "hardware unit hang"
# ein Dienst, z. B. die Proxmox-Weboberfläche
journalctl -u pveproxy
# nur Einträge mit eigenem Tag (logger -t)
journalctl -t templog
# live mitlesen
journalctl -f