Univention Bugzilla – Bug 29484
"ucr filter" sehr langsam
Last modified: 2019-01-03 07:24:05 CET
Aus Bug 29418, Comment 11: > Hinweis: ucr filter ist in meinen Testfällen sehr langsam und hat 50K Benutzer > mit 10K Gruppen nach einigen Stunden noch nicht abgearbeitet. Also besser mit > sed arbeiten. ucr filter scheint sehr langsam für große Textdateien zu sein. In diesem Fall war die Datei (slapcat-Ausgabe) ca. 130MB groß. Kann das sein?
(In reply to comment #0) > Aus Bug 29418, Comment 11: > > Hinweis: ucr filter ist in meinen Testfällen sehr langsam und hat 50K Benutzer > > mit 10K Gruppen nach einigen Stunden noch nicht abgearbeitet. Also besser mit > > sed arbeiten. > > ucr filter scheint sehr langsam für große Textdateien zu sein. In diesem Fall > war die Datei (slapcat-Ausgabe) ca. 130MB groß. Kann das sein? Ja, sie Implementierung von branches/ucs-3.1/ucs/base/univention-config-registry/python/univention/config_registry/handler.py#run_filter; sie ist weit entfernt von optimal: 1. In beiden Schleifen wird nach jeder Ersetzung wieder von vom Anfang des Strings an nach den Token gesucht, obwohl man ja weiß, daß dort nicht sein kann. 2. Für jeden Python-Aschnitt wird ein eigener Python-Subprozeß geforkt.
Created attachment 4855 [details] Patch für UCR run_filter() (In reply to comment #1) > Ja, sie Implementierung von > branches/ucs-3.1/ucs/base/univention-config-registry/python/univention/config_registry/handler.py#run_filter; > sie ist weit entfernt von optimal: > 1. In beiden Schleifen wird nach jeder Ersetzung wieder von vom Anfang des > Strings an nach den Token gesucht, obwohl man ja weiß, daß dort nicht sein > kann. > 2. Für jeden Python-Aschnitt wird ein eigener Python-Subprozeß geforkt. Au ja, das stimmt, dann liegt es daran :/ . Anbei ein möglicher Patch dafür.
Dadurch ändert sich das Verhalten in den Python Dateien. Deshalb eher zum Minor Release.
Bei API-Änderungen bitte auch Bug #22427 beachten.
(In reply to comment #4) > Bei API-Änderungen bitte auch Bug #22427 beachten. Der angehängte Patch hier würde auch das Problem in Bug 22427 beheben.
*** Bug 22427 has been marked as a duplicate of this bug. ***
This issue has been filled against UCS 4.1. The maintenance with bug and security fixes for UCS 4.1 has ended on 5st of April 2018. Customers still on UCS 4.1 are encouraged to update to UCS 4.3. Please contact your partner or Univention for any questions. If this issue still occurs in newer UCS versions, please use "Clone this bug" or simply reopen the issue. In this case please provide detailed information on how this issue is affecting you.