Guten Morgen liebes Forum,
Ich habe folgendes Problem:
Ausgangssituation:
Mein Plugin importiert mittels CLI Command ca. 20.000 Kundendatensätze und verwendet dazu die REST Resourcen "customer" und "address". Das ganze läuft auf Debian 8, MySQL DB auf einem getrennten Host.
Das Problem:
Beim Start des Importvorgangs wird die CPU bei einem Core zu 100% ausgelastet, was bei dem Prozess via CLI IMO absolut ok ist. Speicher wird auch sauber belegt (kein swappen). Das Interessante dabei: Mit fortlaufender Dauer wird der Importvorgang exponentiell langsamer. Die ersten 1000 Kunden werden binnen einer Stunde importiert, für die nächsten 4000 hat das System bereits 12 Stunden gebraucht. Aktuell benötigt er für einen Kundendatensatz zwischen 5 und 10 Sekunden.
Serverseitig sieht alles wie zu Beginn aus: 100% CPU Load, normale Speicherauslastung. Nachdem sich der benötigte Plattenplatz auch nicht ändert schließe ich ein Caching-Problem eigentlich ebenfalls aus.
Hatte jemand von Euch schon mal ein ähnliches Problem? Oder noch eine Idee?
Danke & LG