UCS 4 not booting with kernel 4.19.0-21

UCS - Univention Corporate Server
, , , ,
#1

Hi,

my HP Proliant ML10v2 is booting only with kernel 4.9.0-18. Booting with kernel 4.19.0-21 fails due a missing rootfs. I use LVM with a mdadm based PV.

Now I observe the same when I try to boot the older kernel 4.19.0-20. As the system was running with 4.19.0-20 before updating to 4.19.0-21 the issue is probably caused by an other update (the uptime was 40 days). I’ve suspected errata 1266 as it probably caused the update of the initrd of kernel 4.19.0-20. But I wasn’t able to mitigate the issue via restoring the initrd from a backup.

Best,
Stefan

#2

Hello @SirTux!
After the latest kernel update, my ESXI installation on a ProLiant G7 fails upon boot with:
“failed to connect to lvmetad” and drops to shell.
The strange thing is: I can’t select an older kernel in the UCS provided grub.

Is this a similar - or the problem you are encountering?

I made the decision to restart the VM on Sunday to avoid interruptions at work.
And here I am now, stuck at the office… :roll_eyes:

Best regards
TP

#3

2022_07_24 12_41 Office Lens

Since everything - including internet - is unavailable now, I had to take a picture of the screen… Sorry

#4

Yes that seems to the same issue indeed

1 Like
#5

Ok, I made a hotspot with my Smartphone…

Thanks for the fast reply!
But you where able to boot the old kernel? How?
The “advanced” section of UCS grub doesn’t help:

GRUB UCS

#6

Yes via advanced settings. The 4.1 kernel shown in your screenshot seems to be quite old. Interesting would be a table of contents of /boot

1 Like
#7

Doesn’t boot with the old kernel either. The same error appears. Regardless of which option.
My full VM backups go back to one day after I did the fatal errata update. Typical Murphy’s law…

I’m definitely doing somthing wrong here:
ls -l

I thought “-l” should display /boot?

#8

That’s the content of the intiramfs. You have to use a live boot system and mount the filesystems manually

1 Like
#9

Done. But “boot” is empty. :grimacing:

boot empty

#10

This is located on an extra partition I assume (compare etc/fstab on the mounted partition).

Btw. you don’t use any software raid right?

1 Like
#11

No software RAID, correct.

Checked again for /boot and found… that the correct kernel is missing?
no boot fstab

Something really bad must have happened here. I didn’t see this, because with the new GUI-Updater the progress isnot shown anymore (grayed out, not scrolling) after a “successful” update:

Error Log 1

Error Log 2

Error Log 3

(I have to do this with screenshots, because there’s no clipboard exchange from the remote VM Screen. Sorry.)

#12

The upgrade log on my system was inconspicuous:

Starting univention-upgrade. Current UCS version is 4.4-9 errata1262

Checking for local repository:                          none
Checking for package updates:                           found

The following packages will be upgraded:
 libpam-systemd,libudev1,udev,libsystemd0,systemd,systemd-sysv,xxd,vim,vim-tiny,vim-runtime,vim-common,libsndfile1,univention-errata-level
Starting dist-update at Wed Jul  6 16:47:20 2022...
Starting package upgrade                                Paketlisten werden gelesen...
Abhängigkeitsbaum wird aufgebaut....
Statusinformationen werden eingelesen....
Paketaktualisierung (Upgrade) wird berechnet...
Die folgenden Pakete werden aktualisiert (Upgrade):
  libpam-systemd libsndfile1 libsystemd0 libudev1 systemd systemd-sysv udev
  univention-errata-level vim vim-common vim-runtime vim-tiny xxd
13 aktualisiert, 0 neu installiert, 0 zu entfernen und 0 nicht aktualisiert.
Es müssen 11,7 MB an Archiven heruntergeladen werden.
Nach dieser Operation werden 6.144 B Plattenplatz zusätzlich benutzt.
Holen:1 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ libpam-systemd 232-25+deb9u14A~4.4.9.202207040803 [189 kB]
Holen:2 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ libudev1 232-25+deb9u14A~4.4.9.202207040803 [127 kB]
Holen:3 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ udev 232-25+deb9u14A~4.4.9.202207040803 [1.118 kB]
Holen:4 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ libsystemd0 232-25+deb9u14A~4.4.9.202207040803 [282 kB]
Holen:5 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ systemd 232-25+deb9u14A~4.4.9.202207040803 [2.471 kB]
Holen:6 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ systemd-sysv 232-25+deb9u14A~4.4.9.202207040803 [83,0 kB]
Holen:7 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ xxd 2:8.0.0197-4+deb9u7 [133 kB]
Holen:8 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ vim 2:8.0.0197-4+deb9u7 [1.035 kB]
Holen:9 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ vim-tiny 2:8.0.0197-4+deb9u7 [446 kB]
Holen:10 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/all/ vim-runtime 2:8.0.0197-4+deb9u7 [5.411 kB]
Holen:11 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/all/ vim-common 2:8.0.0197-4+deb9u7 [160 kB]
Holen:12 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ libsndfile1 1.0.27-3+deb9u3 [248 kB]
Holen:13 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/all/ univention-errata-level 4.4.9-1267 [1.996 B]
Es wurden 11,7 MB in 2 s geholt (5.595 kB/s).
(Lese Datenbank ... 142614 Dateien und Verzeichnisse sind derzeit installiert.)
Vorbereitung zum Entpacken von .../libpam-systemd_232-25+deb9u14A~4.4.9.202207040803_amd64.deb ...
Entpacken von libpam-systemd:amd64 (232-25+deb9u14A~4.4.9.202207040803) über (232-25+deb9u13A~4.4.8.202107221144) ...
Vorbereitung zum Entpacken von .../libudev1_232-25+deb9u14A~4.4.9.202207040803_amd64.deb ...
Entpacken von libudev1:amd64 (232-25+deb9u14A~4.4.9.202207040803) über (232-25+deb9u13A~4.4.8.202107221144) ...
libudev1:amd64 (232-25+deb9u14A~4.4.9.202207040803) wird eingerichtet ...
(Lese Datenbank ... 142614 Dateien und Verzeichnisse sind derzeit installiert.)
Vorbereitung zum Entpacken von .../udev_232-25+deb9u14A~4.4.9.202207040803_amd64.deb ...
Entpacken von udev (232-25+deb9u14A~4.4.9.202207040803) über (232-25+deb9u13A~4.4.8.202107221144) ...
Vorbereitung zum Entpacken von .../libsystemd0_232-25+deb9u14A~4.4.9.202207040803_amd64.deb ...
Entpacken von libsystemd0:amd64 (232-25+deb9u14A~4.4.9.202207040803) über (232-25+deb9u13A~4.4.8.202107221144) ...
libsystemd0:amd64 (232-25+deb9u14A~4.4.9.202207040803) wird eingerichtet ...
(Lese Datenbank ... 142614 Dateien und Verzeichnisse sind derzeit installiert.)
Vorbereitung zum Entpacken von .../systemd_232-25+deb9u14A~4.4.9.202207040803_amd64.deb ...
Entpacken von systemd (232-25+deb9u14A~4.4.9.202207040803) über (232-25+deb9u13A~4.4.8.202107221144) ...
systemd (232-25+deb9u14A~4.4.9.202207040803) wird eingerichtet ...
addgroup: Die Gruppe »systemd-journal« existiert bereits als Systemgruppe. Programmende.
Cannot set file attribute for '/var/log/journal', value=0x00800000, mask=0x00800000: Operation not supported
Cannot set file attribute for '/var/log/journal/6cb35246e7660073ed3bfe164d3c0dfb', value=0x00800000, mask=0x00800000: Operation not supported
(Lese Datenbank ... 142614 Dateien und Verzeichnisse sind derzeit installiert.)
Vorbereitung zum Entpacken von .../systemd-sysv_232-25+deb9u14A~4.4.9.202207040803_amd64.deb ...
Entpacken von systemd-sysv (232-25+deb9u14A~4.4.9.202207040803) über (232-25+deb9u13A~4.4.8.202107221144) ...
systemd-sysv (232-25+deb9u14A~4.4.9.202207040803) wird eingerichtet ...
(Lese Datenbank ... 142614 Dateien und Verzeichnisse sind derzeit installiert.)
Vorbereitung zum Entpacken von .../0-xxd_2%3a8.0.0197-4+deb9u7_amd64.deb ...
Entpacken von xxd (2:8.0.0197-4+deb9u7) über (2:8.0.0197-4+deb9u6) ...
Vorbereitung zum Entpacken von .../1-vim_2%3a8.0.0197-4+deb9u7_amd64.deb ...
Entpacken von vim (2:8.0.0197-4+deb9u7) über (2:8.0.0197-4+deb9u6) ...
Vorbereitung zum Entpacken von .../2-vim-tiny_2%3a8.0.0197-4+deb9u7_amd64.deb ...
Entpacken von vim-tiny (2:8.0.0197-4+deb9u7) über (2:8.0.0197-4+deb9u6) ...
Vorbereitung zum Entpacken von .../3-vim-runtime_2%3a8.0.0197-4+deb9u7_all.deb ...
Entpacken von vim-runtime (2:8.0.0197-4+deb9u7) über (2:8.0.0197-4+deb9u6) ...
Vorbereitung zum Entpacken von .../4-vim-common_2%3a8.0.0197-4+deb9u7_all.deb ...
Entpacken von vim-common (2:8.0.0197-4+deb9u7) über (2:8.0.0197-4+deb9u6) ...
Vorbereitung zum Entpacken von .../5-libsndfile1_1.0.27-3+deb9u3_amd64.deb ...
Entpacken von libsndfile1:amd64 (1.0.27-3+deb9u3) über (1.0.27-3+deb9u2) ...
Vorbereitung zum Entpacken von .../6-univention-errata-level_4.4.9-1267_all.deb ...
Entpacken von univention-errata-level (4.4.9-1267) über (4.4.9-1262) ...
libpam-systemd:amd64 (232-25+deb9u14A~4.4.9.202207040803) wird eingerichtet ...

pam-auth-update: Local modifications to /etc/pam.d/common-*, not updating.
pam-auth-update: Run pam-auth-update --force to override.

univention-errata-level (4.4.9-1267) wird eingerichtet ...
Setting version/erratalevel
File: /etc/lsb-release
File: /etc/apt/apt.conf.d/55user_agent
Trigger für mime-support (3.60) werden verarbeitet ...
xxd (2:8.0.0197-4+deb9u7) wird eingerichtet ...
libsndfile1:amd64 (1.0.27-3+deb9u3) wird eingerichtet ...
Trigger für libc-bin (2.24-11+deb9u4) werden verarbeitet ...
udev (232-25+deb9u14A~4.4.9.202207040803) wird eingerichtet ...
addgroup: Die Gruppe »input« existiert bereits als Systemgruppe. Programmende.
update-initramfs: deferring update (trigger activated)
vim-common (2:8.0.0197-4+deb9u7) wird eingerichtet ...
Trigger für man-db (2.7.6.1-2) werden verarbeitet ...
vim-runtime (2:8.0.0197-4+deb9u7) wird eingerichtet ...
Trigger für dbus (1.10.32-0+deb9u1) werden verarbeitet ...
Trigger für hicolor-icon-theme (0.15-1) werden verarbeitet ...
vim-tiny (2:8.0.0197-4+deb9u7) wird eingerichtet ...
vim (2:8.0.0197-4+deb9u7) wird eingerichtet ...
Trigger für initramfs-tools (0.130) werden verarbeitet ...
update-initramfs: Generating /boot/initrd.img-4.19.0-20-amd64
I: The initramfs will attempt to resume from /dev/dm-8
I: (UUID=a59e5064-558d-46f4-ada7-728caee0bf2a)
I: Set the RESUME variable to override this.
Reading package lists... Done
Building dependency tree       
Reading state information... Done
W: --force-yes is deprecated, use one of the options starting with --allow instead.
dist-update finished at Wed Jul  6 16:52:39 2022...
done

Starting univention-upgrade. Current UCS version is 4.4-9 errata1267
Starting univention-upgrade. Current UCS version is 4.4-9 errata1267

Checking for local repository:                          none
Checking for package updates:                           found

The following packages will be installed:
 linux-image-4.19.0-21-amd64,linux-image-4.19.0-21-amd64-signed
The following packages will be upgraded:
 linux-libc-dev,univention-errata-level,univention-kernel-image
Checking for app updates:                               none
Checking for release updates:                           2022-07-14 23:05:10,557 ERROR:updater.Updater:Missing component cool-solutions
none

Starting univention-upgrade. Current UCS version is 4.4-9 errata1267

Checking for local repository:                          none
Checking for package updates:                           found

The following packages will be installed:
 linux-image-4.19.0-21-amd64,linux-image-4.19.0-21-amd64-signed
The following packages will be upgraded:
 linux-libc-dev,univention-errata-level,univention-kernel-image

Starting univention-upgrade. Current UCS version is 4.4-9 errata1267

Starting dist-update at Thu Jul 14 23:09:30 2022...
Starting package upgrade                                Paketlisten werden gelesen...
Abhängigkeitsbaum wird aufgebaut....
Statusinformationen werden eingelesen....
Paketaktualisierung (Upgrade) wird berechnet...
Die folgenden NEUEN Pakete werden installiert:
  linux-image-4.19.0-21-amd64 linux-image-4.19.0-21-amd64-signed
Die folgenden Pakete werden aktualisiert (Upgrade):
  linux-libc-dev univention-errata-level univention-kernel-image
3 aktualisiert, 2 neu installiert, 0 zu entfernen und 0 nicht aktualisiert.
Es müssen 55,2 MB an Archiven heruntergeladen werden.
Nach dieser Operation werden 276 MB Plattenplatz zusätzlich benutzt.
Holen:1 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ linux-image-4.19.0-21-amd64 4.19.249-2 [48,5 MB]
Holen:2 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ linux-image-4.19.0-21-amd64-signed 5.0.0-22A~4.4.0.202207120923 [5.101 kB]
Holen:3 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ linux-libc-dev 4.19.249-2 [1.530 kB]
Holen:4 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/all/ univention-errata-level 4.4.9-1272 [1.996 B]
Holen:5 https://updates.software-univention.de/4.4/maintained/component 4.4-9-errata/amd64/ univention-kernel-image 12.0.0-13A~4.4.0.202207120932 [7.406 B]
Es wurden 55,2 MB in 9 s geholt (6.098 kB/s).
Vormals nicht ausgewähltes Paket linux-image-4.19.0-21-amd64 wird gewählt.
(Lese Datenbank ... 142614 Dateien und Verzeichnisse sind derzeit installiert.)
Vorbereitung zum Entpacken von .../linux-image-4.19.0-21-amd64_4.19.249-2_amd64.deb ...
Entpacken von linux-image-4.19.0-21-amd64 (4.19.249-2) ...
Vormals nicht ausgewähltes Paket linux-image-4.19.0-21-amd64-signed wird gewählt.
Vorbereitung zum Entpacken von .../linux-image-4.19.0-21-amd64-signed_5.0.0-22A~4.4.0.202207120923_amd64.deb ...
Entpacken von linux-image-4.19.0-21-amd64-signed (5.0.0-22A~4.4.0.202207120923) ...
Vorbereitung zum Entpacken von .../linux-libc-dev_4.19.249-2_amd64.deb ...
Entpacken von linux-libc-dev:amd64 (4.19.249-2) über (4.19.235-1) ...
Vorbereitung zum Entpacken von .../univention-errata-level_4.4.9-1272_all.deb ...
Entpacken von univention-errata-level (4.4.9-1272) über (4.4.9-1267) ...
Vorbereitung zum Entpacken von .../univention-kernel-image_12.0.0-13A~4.4.0.202207120932_amd64.deb ...
Entpacken von univention-kernel-image (12.0.0-13A~4.4.0.202207120932) über (12.0.0-12A~4.4.0.202203281007) ...
univention-errata-level (4.4.9-1272) wird eingerichtet ...
Setting version/erratalevel
File: /etc/lsb-release
File: /etc/apt/apt.conf.d/55user_agent
linux-libc-dev:amd64 (4.19.249-2) wird eingerichtet ...
linux-image-4.19.0-21-amd64 (4.19.249-2) wird eingerichtet ...
/etc/kernel-img.conf:12: W: ignoring unknown parameter do_bootfloppy
/etc/kernel-img.conf:13: W: ignoring unknown parameter silent_loader
I: /vmlinuz.old is now a symlink to boot/vmlinuz-4.19.0-20-amd64
I: /initrd.img.old is now a symlink to boot/initrd.img-4.19.0-20-amd64
I: /vmlinuz is now a symlink to boot/vmlinuz-4.19.0-21-amd64
I: /initrd.img is now a symlink to boot/initrd.img-4.19.0-21-amd64
/etc/kernel/postinst.d/initramfs-tools:
update-initramfs: Generating /boot/initrd.img-4.19.0-21-amd64
I: The initramfs will attempt to resume from /dev/dm-8
I: (UUID=a59e5064-558d-46f4-ada7-728caee0bf2a)
I: Set the RESUME variable to override this.
/etc/kernel/postinst.d/ucs-reboot-required:
Create update/reboot/required
/etc/kernel/postinst.d/zz-update-grub:
Generating grub configuration file ...
Found background: /boot/grub/uniboot.png
Found background image: /boot/grub/uniboot.png
Found linux image: /boot/vmlinuz-4.19.0-21-amd64
Found initrd image: /boot/initrd.img-4.19.0-21-amd64
Found linux image: /boot/vmlinuz-4.19.0-20-amd64
Found initrd image: /boot/initrd.img-4.19.0-20-amd64
Found linux image: /boot/vmlinuz-4.9.0-18-amd64
Found initrd image: /boot/initrd.img-4.9.0-18-amd64
Found memtest86+ image: /memtest86+.bin
done
linux-image-4.19.0-21-amd64-signed (5.0.0-22A~4.4.0.202207120923) wird eingerichtet ...
univention-kernel-image (12.0.0-13A~4.4.0.202207120932) wird eingerichtet ...
Setting update/reboot/required
Reading package lists... Done
Building dependency tree       
Reading state information... Done
W: --force-yes is deprecated, use one of the options starting with --allow instead.
dist-update finished at Thu Jul 14 23:12:21 2022...
done
#13

Ok actually this is the dovecot volume

1 Like
#14

Yes there is no 4.19 kernel. Your UCS version is 4.4-9

1 Like
#15

Hello,

UCS Support was able to restore the kernel with a VM mounted live-boot-ISO in a chroot enviroment.
OpenVMtools seem to be to blame for the broken kernel build.

The Server boots again an we have some functionality restored.

Sadly DHCP does not work and the UCS server itself seems to have no internet connection (the other devices in our net have).

Open VM tools seem to be to blame for the broken kernel build.

Thanks - I will start THIS new thread with the next steps!

TP

#16

My issue had probably the same cause as described here:

The issue was resolved by a later update (maybe a microcode or firmware update). I faced the issue again during the upgrade to UCS 5 when I rebooted after the upgrade to UCS 5.0-1 (or 5.0-0). After the upgrade to UCS 5.0-3 errata 609 the issue was resolved again.

1 Like
UCS Server startet nach Update auf Version 5 nicht mehr
Mastodon