my HP Proliant ML10v2 is booting only with kernel 4.9.0-18. Booting with kernel 4.19.0-21 fails due a missing rootfs. I use LVM with a mdadm based PV.
Now I observe the same when I try to boot the older kernel 4.19.0-20. As the system was running with 4.19.0-20 before updating to 4.19.0-21 the issue is probably caused by an other update (the uptime was 40 days). I’ve suspected errata 1266 as it probably caused the update of the initrd of kernel 4.19.0-20. But I wasn’t able to mitigate the issue via restoring the initrd from a backup.
Hello @SirTux!
After the latest kernel update, my ESXI installation on a ProLiant G7 fails upon boot with:
“failed to connect to lvmetad” and drops to shell.
The strange thing is: I can’t select an older kernel in the UCS provided grub.
Is this a similar - or the problem you are encountering?
I made the decision to restart the VM on Sunday to avoid interruptions at work.
And here I am now, stuck at the office…
Doesn’t boot with the old kernel either. The same error appears. Regardless of which option.
My full VM backups go back to one day after I did the fatal errata update. Typical Murphy’s law…
Checked again for /boot and found… that the correct kernel is missing?
Something really bad must have happened here. I didn’t see this, because with the new GUI-Updater the progress isnot shown anymore (grayed out, not scrolling) after a “successful” update:
(I have to do this with screenshots, because there’s no clipboard exchange from the remote VM Screen. Sorry.)
Starting univention-upgrade. Current UCS version is 4.4-9 errata1262
Checking for local repository: none
Checking for package updates: found
The following packages will be upgraded:
libpam-systemd,libudev1,udev,libsystemd0,systemd,systemd-sysv,xxd,vim,vim-tiny,vim-runtime,vim-common,libsndfile1,univention-errata-level
Starting dist-update at Wed Jul 6 16:47:20 2022...
Starting package upgrade Paketlisten werden gelesen...
Abhängigkeitsbaum wird aufgebaut....
Statusinformationen werden eingelesen....
Paketaktualisierung (Upgrade) wird berechnet...
Die folgenden Pakete werden aktualisiert (Upgrade):
libpam-systemd libsndfile1 libsystemd0 libudev1 systemd systemd-sysv udev
univention-errata-level vim vim-common vim-runtime vim-tiny xxd
13 aktualisiert, 0 neu installiert, 0 zu entfernen und 0 nicht aktualisiert.
Es müssen 11,7 MB an Archiven heruntergeladen werden.
Nach dieser Operation werden 6.144 B Plattenplatz zusätzlich benutzt.
Holen:1 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ libpam-systemd 232-25+deb9u14A~4.4.9.202207040803 [189 kB]
Holen:2 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ libudev1 232-25+deb9u14A~4.4.9.202207040803 [127 kB]
Holen:3 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ udev 232-25+deb9u14A~4.4.9.202207040803 [1.118 kB]
Holen:4 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ libsystemd0 232-25+deb9u14A~4.4.9.202207040803 [282 kB]
Holen:5 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ systemd 232-25+deb9u14A~4.4.9.202207040803 [2.471 kB]
Holen:6 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ systemd-sysv 232-25+deb9u14A~4.4.9.202207040803 [83,0 kB]
Holen:7 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ xxd 2:8.0.0197-4+deb9u7 [133 kB]
Holen:8 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ vim 2:8.0.0197-4+deb9u7 [1.035 kB]
Holen:9 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ vim-tiny 2:8.0.0197-4+deb9u7 [446 kB]
Holen:10 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/all/ vim-runtime 2:8.0.0197-4+deb9u7 [5.411 kB]
Holen:11 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/all/ vim-common 2:8.0.0197-4+deb9u7 [160 kB]
Holen:12 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ libsndfile1 1.0.27-3+deb9u3 [248 kB]
Holen:13 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/all/ univention-errata-level 4.4.9-1267 [1.996 B]
Es wurden 11,7 MB in 2 s geholt (5.595 kB/s).
(Lese Datenbank ... 142614 Dateien und Verzeichnisse sind derzeit installiert.)
Vorbereitung zum Entpacken von .../libpam-systemd_232-25+deb9u14A~4.4.9.202207040803_amd64.deb ...
Entpacken von libpam-systemd:amd64 (232-25+deb9u14A~4.4.9.202207040803) über (232-25+deb9u13A~4.4.8.202107221144) ...
Vorbereitung zum Entpacken von .../libudev1_232-25+deb9u14A~4.4.9.202207040803_amd64.deb ...
Entpacken von libudev1:amd64 (232-25+deb9u14A~4.4.9.202207040803) über (232-25+deb9u13A~4.4.8.202107221144) ...
libudev1:amd64 (232-25+deb9u14A~4.4.9.202207040803) wird eingerichtet ...
(Lese Datenbank ... 142614 Dateien und Verzeichnisse sind derzeit installiert.)
Vorbereitung zum Entpacken von .../udev_232-25+deb9u14A~4.4.9.202207040803_amd64.deb ...
Entpacken von udev (232-25+deb9u14A~4.4.9.202207040803) über (232-25+deb9u13A~4.4.8.202107221144) ...
Vorbereitung zum Entpacken von .../libsystemd0_232-25+deb9u14A~4.4.9.202207040803_amd64.deb ...
Entpacken von libsystemd0:amd64 (232-25+deb9u14A~4.4.9.202207040803) über (232-25+deb9u13A~4.4.8.202107221144) ...
libsystemd0:amd64 (232-25+deb9u14A~4.4.9.202207040803) wird eingerichtet ...
(Lese Datenbank ... 142614 Dateien und Verzeichnisse sind derzeit installiert.)
Vorbereitung zum Entpacken von .../systemd_232-25+deb9u14A~4.4.9.202207040803_amd64.deb ...
Entpacken von systemd (232-25+deb9u14A~4.4.9.202207040803) über (232-25+deb9u13A~4.4.8.202107221144) ...
systemd (232-25+deb9u14A~4.4.9.202207040803) wird eingerichtet ...
addgroup: Die Gruppe »systemd-journal« existiert bereits als Systemgruppe. Programmende.
Cannot set file attribute for '/var/log/journal', value=0x00800000, mask=0x00800000: Operation not supported
Cannot set file attribute for '/var/log/journal/6cb35246e7660073ed3bfe164d3c0dfb', value=0x00800000, mask=0x00800000: Operation not supported
(Lese Datenbank ... 142614 Dateien und Verzeichnisse sind derzeit installiert.)
Vorbereitung zum Entpacken von .../systemd-sysv_232-25+deb9u14A~4.4.9.202207040803_amd64.deb ...
Entpacken von systemd-sysv (232-25+deb9u14A~4.4.9.202207040803) über (232-25+deb9u13A~4.4.8.202107221144) ...
systemd-sysv (232-25+deb9u14A~4.4.9.202207040803) wird eingerichtet ...
(Lese Datenbank ... 142614 Dateien und Verzeichnisse sind derzeit installiert.)
Vorbereitung zum Entpacken von .../0-xxd_2%3a8.0.0197-4+deb9u7_amd64.deb ...
Entpacken von xxd (2:8.0.0197-4+deb9u7) über (2:8.0.0197-4+deb9u6) ...
Vorbereitung zum Entpacken von .../1-vim_2%3a8.0.0197-4+deb9u7_amd64.deb ...
Entpacken von vim (2:8.0.0197-4+deb9u7) über (2:8.0.0197-4+deb9u6) ...
Vorbereitung zum Entpacken von .../2-vim-tiny_2%3a8.0.0197-4+deb9u7_amd64.deb ...
Entpacken von vim-tiny (2:8.0.0197-4+deb9u7) über (2:8.0.0197-4+deb9u6) ...
Vorbereitung zum Entpacken von .../3-vim-runtime_2%3a8.0.0197-4+deb9u7_all.deb ...
Entpacken von vim-runtime (2:8.0.0197-4+deb9u7) über (2:8.0.0197-4+deb9u6) ...
Vorbereitung zum Entpacken von .../4-vim-common_2%3a8.0.0197-4+deb9u7_all.deb ...
Entpacken von vim-common (2:8.0.0197-4+deb9u7) über (2:8.0.0197-4+deb9u6) ...
Vorbereitung zum Entpacken von .../5-libsndfile1_1.0.27-3+deb9u3_amd64.deb ...
Entpacken von libsndfile1:amd64 (1.0.27-3+deb9u3) über (1.0.27-3+deb9u2) ...
Vorbereitung zum Entpacken von .../6-univention-errata-level_4.4.9-1267_all.deb ...
Entpacken von univention-errata-level (4.4.9-1267) über (4.4.9-1262) ...
libpam-systemd:amd64 (232-25+deb9u14A~4.4.9.202207040803) wird eingerichtet ...
pam-auth-update: Local modifications to /etc/pam.d/common-*, not updating.
pam-auth-update: Run pam-auth-update --force to override.
univention-errata-level (4.4.9-1267) wird eingerichtet ...
Setting version/erratalevel
File: /etc/lsb-release
File: /etc/apt/apt.conf.d/55user_agent
Trigger für mime-support (3.60) werden verarbeitet ...
xxd (2:8.0.0197-4+deb9u7) wird eingerichtet ...
libsndfile1:amd64 (1.0.27-3+deb9u3) wird eingerichtet ...
Trigger für libc-bin (2.24-11+deb9u4) werden verarbeitet ...
udev (232-25+deb9u14A~4.4.9.202207040803) wird eingerichtet ...
addgroup: Die Gruppe »input« existiert bereits als Systemgruppe. Programmende.
update-initramfs: deferring update (trigger activated)
vim-common (2:8.0.0197-4+deb9u7) wird eingerichtet ...
Trigger für man-db (2.7.6.1-2) werden verarbeitet ...
vim-runtime (2:8.0.0197-4+deb9u7) wird eingerichtet ...
Trigger für dbus (1.10.32-0+deb9u1) werden verarbeitet ...
Trigger für hicolor-icon-theme (0.15-1) werden verarbeitet ...
vim-tiny (2:8.0.0197-4+deb9u7) wird eingerichtet ...
vim (2:8.0.0197-4+deb9u7) wird eingerichtet ...
Trigger für initramfs-tools (0.130) werden verarbeitet ...
update-initramfs: Generating /boot/initrd.img-4.19.0-20-amd64
I: The initramfs will attempt to resume from /dev/dm-8
I: (UUID=a59e5064-558d-46f4-ada7-728caee0bf2a)
I: Set the RESUME variable to override this.
Reading package lists... Done
Building dependency tree
Reading state information... Done
W: --force-yes is deprecated, use one of the options starting with --allow instead.
dist-update finished at Wed Jul 6 16:52:39 2022...
done
Starting univention-upgrade. Current UCS version is 4.4-9 errata1267
Starting univention-upgrade. Current UCS version is 4.4-9 errata1267
Checking for local repository: none
Checking for package updates: found
The following packages will be installed:
linux-image-4.19.0-21-amd64,linux-image-4.19.0-21-amd64-signed
The following packages will be upgraded:
linux-libc-dev,univention-errata-level,univention-kernel-image
Checking for app updates: none
Checking for release updates: 2022-07-14 23:05:10,557 ERROR:updater.Updater:Missing component cool-solutions
none
Starting univention-upgrade. Current UCS version is 4.4-9 errata1267
Checking for local repository: none
Checking for package updates: found
The following packages will be installed:
linux-image-4.19.0-21-amd64,linux-image-4.19.0-21-amd64-signed
The following packages will be upgraded:
linux-libc-dev,univention-errata-level,univention-kernel-image
Starting univention-upgrade. Current UCS version is 4.4-9 errata1267
Starting dist-update at Thu Jul 14 23:09:30 2022...
Starting package upgrade Paketlisten werden gelesen...
Abhängigkeitsbaum wird aufgebaut....
Statusinformationen werden eingelesen....
Paketaktualisierung (Upgrade) wird berechnet...
Die folgenden NEUEN Pakete werden installiert:
linux-image-4.19.0-21-amd64 linux-image-4.19.0-21-amd64-signed
Die folgenden Pakete werden aktualisiert (Upgrade):
linux-libc-dev univention-errata-level univention-kernel-image
3 aktualisiert, 2 neu installiert, 0 zu entfernen und 0 nicht aktualisiert.
Es müssen 55,2 MB an Archiven heruntergeladen werden.
Nach dieser Operation werden 276 MB Plattenplatz zusätzlich benutzt.
Holen:1 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ linux-image-4.19.0-21-amd64 4.19.249-2 [48,5 MB]
Holen:2 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ linux-image-4.19.0-21-amd64-signed 5.0.0-22A~4.4.0.202207120923 [5.101 kB]
Holen:3 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ linux-libc-dev 4.19.249-2 [1.530 kB]
Holen:4 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/all/ univention-errata-level 4.4.9-1272 [1.996 B]
Holen:5 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ univention-kernel-image 12.0.0-13A~4.4.0.202207120932 [7.406 B]
Es wurden 55,2 MB in 9 s geholt (6.098 kB/s).
Vormals nicht ausgewähltes Paket linux-image-4.19.0-21-amd64 wird gewählt.
(Lese Datenbank ... 142614 Dateien und Verzeichnisse sind derzeit installiert.)
Vorbereitung zum Entpacken von .../linux-image-4.19.0-21-amd64_4.19.249-2_amd64.deb ...
Entpacken von linux-image-4.19.0-21-amd64 (4.19.249-2) ...
Vormals nicht ausgewähltes Paket linux-image-4.19.0-21-amd64-signed wird gewählt.
Vorbereitung zum Entpacken von .../linux-image-4.19.0-21-amd64-signed_5.0.0-22A~4.4.0.202207120923_amd64.deb ...
Entpacken von linux-image-4.19.0-21-amd64-signed (5.0.0-22A~4.4.0.202207120923) ...
Vorbereitung zum Entpacken von .../linux-libc-dev_4.19.249-2_amd64.deb ...
Entpacken von linux-libc-dev:amd64 (4.19.249-2) über (4.19.235-1) ...
Vorbereitung zum Entpacken von .../univention-errata-level_4.4.9-1272_all.deb ...
Entpacken von univention-errata-level (4.4.9-1272) über (4.4.9-1267) ...
Vorbereitung zum Entpacken von .../univention-kernel-image_12.0.0-13A~4.4.0.202207120932_amd64.deb ...
Entpacken von univention-kernel-image (12.0.0-13A~4.4.0.202207120932) über (12.0.0-12A~4.4.0.202203281007) ...
univention-errata-level (4.4.9-1272) wird eingerichtet ...
Setting version/erratalevel
File: /etc/lsb-release
File: /etc/apt/apt.conf.d/55user_agent
linux-libc-dev:amd64 (4.19.249-2) wird eingerichtet ...
linux-image-4.19.0-21-amd64 (4.19.249-2) wird eingerichtet ...
/etc/kernel-img.conf:12: W: ignoring unknown parameter do_bootfloppy
/etc/kernel-img.conf:13: W: ignoring unknown parameter silent_loader
I: /vmlinuz.old is now a symlink to boot/vmlinuz-4.19.0-20-amd64
I: /initrd.img.old is now a symlink to boot/initrd.img-4.19.0-20-amd64
I: /vmlinuz is now a symlink to boot/vmlinuz-4.19.0-21-amd64
I: /initrd.img is now a symlink to boot/initrd.img-4.19.0-21-amd64
/etc/kernel/postinst.d/initramfs-tools:
update-initramfs: Generating /boot/initrd.img-4.19.0-21-amd64
I: The initramfs will attempt to resume from /dev/dm-8
I: (UUID=a59e5064-558d-46f4-ada7-728caee0bf2a)
I: Set the RESUME variable to override this.
/etc/kernel/postinst.d/ucs-reboot-required:
Create update/reboot/required
/etc/kernel/postinst.d/zz-update-grub:
Generating grub configuration file ...
Found background: /boot/grub/uniboot.png
Found background image: /boot/grub/uniboot.png
Found linux image: /boot/vmlinuz-4.19.0-21-amd64
Found initrd image: /boot/initrd.img-4.19.0-21-amd64
Found linux image: /boot/vmlinuz-4.19.0-20-amd64
Found initrd image: /boot/initrd.img-4.19.0-20-amd64
Found linux image: /boot/vmlinuz-4.9.0-18-amd64
Found initrd image: /boot/initrd.img-4.9.0-18-amd64
Found memtest86+ image: /memtest86+.bin
done
linux-image-4.19.0-21-amd64-signed (5.0.0-22A~4.4.0.202207120923) wird eingerichtet ...
univention-kernel-image (12.0.0-13A~4.4.0.202207120932) wird eingerichtet ...
Setting update/reboot/required
Reading package lists... Done
Building dependency tree
Reading state information... Done
W: --force-yes is deprecated, use one of the options starting with --allow instead.
dist-update finished at Thu Jul 14 23:12:21 2022...
done
UCS Support was able to restore the kernel with a VM mounted live-boot-ISO in a chroot enviroment.
OpenVMtools seem to be to blame for the broken kernel build.
The Server boots again an we have some functionality restored.
Sadly DHCP does not work and the UCS server itself seems to have no internet connection (the other devices in our net have).
Open VM tools seem to be to blame for the broken kernel build.
My issue had probably the same cause as described here:
The issue was resolved by a later update (maybe a microcode or firmware update). I faced the issue again during the upgrade to UCS 5 when I rebooted after the upgrade to UCS 5.0-1 (or 5.0-0). After the upgrade to UCS 5.0-3 errata 609 the issue was resolved again.
