Weil ich gerade das gleiche Problem zu lösen hatte, und auch keine wirklich befriedigende Lösung finden konnte, hier mal kurz mein “vorläufiges Endergebnis”, vielleicht hilft es ja künftig noch jemandem weiter:
Samba prüft im AD Modus (server role = ACTIVE DIRECTORY DOMAIN CONTROLLER) zunächst den Client (PC), bevor es die Zugangsdaten des Benutzers prüft (auch die Entscheidung Gast ja/nein), so wie ich das in der Doku rausgelesen habe.
Das hat dann zur Folge, dass bei negativer Prüfung (PC kein Domänenmitglied) immer nach Zugangsdaten gefragt wird. Ist der PC hingegen Domänenmitglied, und nur der User (für das Share) unbekannt, kann offensichtlich ein Gaszugang erfolgen.
Soll ein “echter” Gastzugang eingerichtet werden, wo sowohl PC als Benutzer unbekannt sind und keine Zugangsdaten abgefragt werden, ist dies anscheinend nur mit der Rolle “Standalone” ohne AD möglich.
Siehe dazu Samba FAQ: https://wiki.samba.org/index.php/FAQ
“How Do I Enable Guest Access to a Share on a Samba AD DC?
On non-AD DCs, you can set the map to guest parameter in the smb.conf file to bad user to enable guest access. However, guest access is based on the guest account parameter, that is not implemented in the Samba AD mode.”
Das heißt nach meinem Verständnis, die ganzen “Guest” Parameter haben im AD Modus gar keine Auswirkung, egal was man einstellt.
Da aber im Standalone Modus ein großer Teil der Funktionalität von UCS nicht verfügbar ist, wird man in der Regel auf den AD Modus nicht verzichten wollen. Weil es in gewissen Konstellationen zu umständlich, oder auch gar nicht möglich ist, alles PCs in die Domäne aufzunehmen (“echte” Gäste, die mal eben vom Laptop was auf den Server kopieren sollen), ist aus meiner Sicht der sinnvollste Weg, ein Gastkonto im AD anzulegen, das außer Zugriff auf das spezielle Share sonst nichts darf.
So habe ich es im aktuellen Fall dann am Ende auch gelöst. Dann muss sich der Gast halt einmalig mit “gast” / “gast” authentifizieren, das ist wohl zu verkraften. Und wenn der Gast den Haken zum Speichern der Anmeldedaten setzt, muss er das auch später nie wieder.
Ich bin absolut kein Experte für Samba. Wer sich besser auskennt, darf gerne ergänzen / korrigieren 
Mein Beitrag ist nur als kleine Erfahrungssammlung mit Stand von heute zu verstehen, und vielleicht hilft es dem einen oder anderen, das Problem nicht länger bei sich selbst zu suchen 
Grüße Thorger