IMAPSYNC soll nur Unterschiede übertragen

pixel · January 21, 2018, 1:54pm

Hallo zusammen,

ist keine UCS spezifische Frage aber ebtentull kann einer der Experten doch einen Tipp dazu geben. Ich bin gerade an einer IMAP-Migration (Kolab -> Kopano). Diese Migrationen sind bei großen Mail-Beständen immer sehr zeitintensiv.
Zur eigentlichen Migration benutze ich immer “kopano-migration-imap” was ja auf IMAPSYNC basiert. Mein Befehls-Aufruf sieht wie folgt aus:

kopano-migration-imap --noauthmd5 --host1 kolab.intern.lan --user1 mmustermann --password1 geheim --sep2 / --prefix2 "" --host2 kopano.intern.lan --user2 max.mustermann --password2 geheim --exclude 'Shared*' --exclude 'Calendar' --exclude 'Configuration' --exclude 'Contacts' --exclude 'Files' --exclude 'Freebusy' --exclude 'Journal'

Das klappt auch soweit alles. Nur nicht immer reicht die Zeit und ich werde nicht fertig an einem Wochenende. Dann muss ich jedes mal von vorna anfangen.

Ich habe auch schon probiert den gleichen Befehl einfach nochmal aufzurufen aber dann habe ich auf dem Zielsystem alles Mails doppelt

Gibt es eine Möglichkeit bei einem zweiten-Aufruf nur noch Änderungen (ähnlich RSYNC) zu übertragen? Ich habe mal den Befehl mit --help aufgerufen aber da hat sich mir keine Option erschlossen die auf eine derartige Funktion hindeutet.

Viele Grüße
Sven

fbartels · January 21, 2018, 7:35pm

vielleicht hilft ja https://github.com/imapsync/imapsync/blob/master/FAQ.d/FAQ.Duplicates.txt

pixel · January 24, 2018, 10:20am

In einer “kleinen” Testumgebung:

Kolab-Server mit User und ca. 200 Mails und einige Unterordner.
Frisch installierter Kopano (aktuelle UCS-Version)
3 Stunden-Abend-Programm

Ergebnis: Egal welche der genannten Vorgehensweise und Optionen ich teste. Beim zweiten Aufruf sind alle Mails doppelt.

mkromer · October 17, 2018, 9:22pm

Hi @pixel,

Die Lösung ist: --useheader Message-ID

pixel · October 18, 2018, 9:54am

Einfach als Option mitgeben und er überträgt nur was nicht schon übertragen ist?

Werde ich beim nächsten mal testen

fbartels · October 18, 2018, 11:47am

das von mir verlinkte Dokument erklärt dies im Detail:

A second solution, better if R2 works (see R2 below), is to build
the cache before using --useuid

First sync:

imapsync … --useheader “Message-Id” --addheader --usecache

Next syncs:

imapsync … --useuid
imapsync … --useuid
…

pixel · October 23, 2018, 8:51am

Ich habe das gerade mal getestet aber die Migration bricht mit den zusätlichen Parametern ab. Mein gesamter Aufruf:

kopano-migration-imap --useheader “Message-Id” --addheader --usecache --noauthmd5 --host1 192.168.100.9 --user1 mstricker --password1 geheim1 --sep2 / --prefix2 "" --host2 192.168.100.8 --user2 monika.stricker --password2 '#geheim2' --exclude 'Calendar' --exclude 'Configuration' --exclude 'Contacts' --exclude 'Files' --exclude 'Freebusy' --exclude 'Journal' --exclude 'Notes' --exclude 'Tasks' --exclude 'Junk' --exclude 'Archive'--automap

Führt zu:

++++ Listing 19 errors encountered during the sync ( avoid this listing with --noerrorsdump ).
Err 1/19: - msg Sent/247 {15459742} couldn't append  (Subject:[Re: WG: =?windows-1252?Q?Regen=FCberlaufbecken_=22B=FChler_S?=]) to folder Sent Items: 300 NO APPEND error saving message
Err 2/19: - msg Sent/248 {11101515} couldn't append  (Subject:[Neubau Betriebswohnungen mit =?UTF-8?B?QsO8cm9mbMOkY2hlbg==?=]) to folder Sent Items: 301 NO APPEND error saving message
Err 3/19: - msg Sent/249 {11101515} couldn't append  (Subject:[Neubau Betriebswohnungen mit =?UTF-8?B?QsO8cm9mbMOkY2hlbg==?=]) to folder Sent Items: 302 NO APPEND error saving message
Err 4/19: - msg Sent/250 {11101515} couldn't append  (Subject:[Neubau Betriebswohnungen mit =?UTF-8?B?QsO8cm9mbMOkY2hlbg==?=]) to folder Sent Items: 303 NO APPEND error saving message
Err 5/19: - msg Sent/251 {642014} couldn't append  (Subject:[=?UTF-8?B?UHLDpHF1YWxpZmlrYXRpb24=?=]) to folder Sent Items: 304 NO APPEND error saving message
Err 6/19: - msg Sent/252 {2442969} couldn't append  (Subject:[Re: Erneuerung der Lwl-Luftkabelanlage bei Bad Herrenalb-]) to folder Sent Items: 305 NO APPEND error saving message
Err 7/19: - msg Sent/253 {661691} couldn't append  (Subject:[Re: LV 1 -2014/2016-]) to folder Sent Items: 306 NO APPEND error saving message
Err 8/19: - msg Sent/254 {1347527} couldn't append  (Subject:[Aufgrabgenehmigung =?UTF-8?B?SMO2ZmVuLCBXaWxkYmFkZXIgU3RyYcOfZSAy?=]) to folder Sent Items: 307 NO APPEND error saving message
Err 9/19: - msg Sent/255 {90008} couldn't append  (Subject:[Fwd: AW: AW: AW: Fwd: Fehlermeldung "California Pro"]) to folder Sent Items: 308 NO APPEND error saving message
Err 10/19: - msg Sent/256 {72374} couldn't append  (Subject:[Fwd: AW: AW: Fwd: Fehlermeldung "California Pro"]) to folder Sent Items: socket closed while reading data from server; 310 NO LOGIN wrong us$
Err 11/19: - msg Sent/257 {878336} couldn't append  (Subject:[=?UTF-8?B?QXVmZ3JhYmdlbmVobWlndW5nIExhbmdlbnN0ZWluYmFjaCwgUGZvcno=?=]) to folder Sent Items: 312 NO APPEND error no session
Err 12/19: - msg Sent/258 {267525} couldn't append  (Subject:[Liste der Fahrzeuge]) to folder Sent Items: 313 NO APPEND error no session
Err 13/19: - msg Sent/259 {838} couldn't append  (Subject:[GVP-Positionen sind in HA und HL eingegeben.]) to folder Sent Items: 314 NO APPEND error no session
Err 14/19: - msg Sent/260 {2373} couldn't append  (Subject:[=?UTF-8?B?QmVzdGFuZHNwbMOkbmUgSMO2ZmVuLCBXaWxkYmFkZXIgU3RyYcOfZSA=?=]) to folder Sent Items: 315 NO APPEND error no session
Err 15/19: - msg Sent/261 {1062530} couldn't append  (Subject:[Antrag =?UTF-8?B?ZsO8ciB2ZXJrZWhyc3JlY2h0bGljaGUgQW5vcmRudW5nIEFy?=]) to folder Sent Items: 316 NO APPEND error no session
Err 16/19: - msg Sent/262 {2299398} couldn't append  (Subject:[Antrag =?UTF-8?B?ZsO8ciB2ZXJrZWhyc3JlY2h0bGljaGUgQW5vcmRudW5nZW4g?=]) to folder Sent Items: 317 NO APPEND error no session
Err 17/19: - msg Sent/263 {1610830} couldn't append  (Subject:[Antrag auf verkehrsrechtliche Anordnungen]) to folder Sent Items: 318 NO APPEND error no session
Err 18/19: - msg Sent/264 {1799837} couldn't append  (Subject:[Re: =?windows-1252?Q?Eigenerkl=E4rung_zur_Eignung?=]) to folder Sent Items: socket closed while reading data from server
Exiting with return value 111
Log file is LOG_kopano-migration-imap/2018_10_23_11_15_02_monika.stricker.txt ( to change it, use --logfile filepath ; or use --nolog to turn off logging )

Entfene ich dann die:

--useheader “Message-Id” --addheader --usecache

läuft die Migration weiter.

Moritz_Bunkus · October 23, 2018, 9:06am

Meine Vermutung ist, dass es hier ein Copy-&-Paste-Problem gibt. Felix hat aus einer anderen Doku copy-pastet, und dabei kamen dann typographische Anführungszeichen “Message-Id” anstelle der regulären Anführungszeichen "Message-ID" heraus. Die regulären Anführungszeichen würden von der Shell interpretiert, sodass imapsync nur das Wort Message-Id ohne jegliche Anführungszeichen sähe. Die typographischen haben hingegen für die Shell keine besondere Bedeutung, sodass sie mit an imapsync übergeben werden und imapsync dort wortwörtlich “Message-Id” als Wert sieht.

Beim Hinzufügen eines Headers würde dann imapsync vermutlich das ebenfalls wortwörtlich in den E-Mail-Header so hineinschreiben, sodass da z.B. etwas wie folgt drin stünde:

From: Ab Sender <ab@send.er>
Subject: Wirklich wichtig
“Message-Id”: 90187239875t098120938i098@myhostname

Da das keine RFC2822-konforme Mail ist, lehnt der Ziel-IMAP-Server diese ab.

Ich vermute das Ganze deshalb, weil Sven ebenfalls die typographischen Anführungszeichen gepostet hat.

Einfache Lösung: die normalen Anführungszeichen nutzen (oder schlicht weglassen, weil in Message-Id eh nichts ist, was eine Shell als Sonderzeichen interpretieren würde und mit Anführungszeichen außer Kraft gesetzt werden müsste).

Gruß
mosu

pixel · October 24, 2018, 12:22pm

Ok, funktioniert. Zumindest der Erst-Sync. Ob anschließend nur noch geänderte und Neue Mails übertragen werden muss ich testen. Dazu muss ich aber eine kleine Testumgebung einrichten. Das mach ich besser nicht mit Arbeitsdaten. Ich werde berichten.

Danke für die Hilfe!