Symfony - ORM Flush - optymalizacja

Question

hej,

Sytuacja wyglada tak:

Mam CSV 57 tysiecy rekordów, które wrzucam do bazy jeden po drugim.

Do około 15000 szło całkiem sprawnie. Po tej liczbie program strasznie zwolnił.
Flush wykonuje się około 1.5 sekundy. Wydaje mi się, że jest to na prawde długo biorąc pod uwagę, że obiekty, które umieszczam są bardzo proste. Składają się z 3 pól w tym jedno to relacja do innego tabeli.
Całą operację wykonuje na procesorze i5 - 82XXU.

HTOP pokazuje 98% zużycia na wątku. Jest szansa na zoptymalizowanie takich działań? Przyznam szczerze, że troche mnie to dziwi, że Doctrine potrafi tak zamulać, sądziłem, że jest to szybsze narzędzie.

Answer 1

Korzystasz z... Fpm?

Stawiam że nie robisz clear'a na entity manager'ze i trzyma wszystko w pamięci. A po co. Wykorzystaj Batch processing 

Comments

Tak fpm.

Jeżeli chodzi o czyszczenie to faktycznie nie wywoływałem tej metody ale pamięć oraz swap nie wyglądały na nadwyrężone, były w porządku. Jedyną różnicę widziałem na procesorze, który miał 100% na wątku, który wykonywał ten proces.

Przeglądam link, który podesłałeś i jednej rzeczy nie rozumiem.

<?php
 [...]
    if (($i % $batchSize) === 0) {
        $em->flush();
        $em->clear(); // Detaches all objects from Doctrine!
    }
}
$em->flush(); //Persist objects that did not make up an entire batch
$em->clear();

Czy ten pierwszy clear.

        $em->clear(); // Detaches all objects from Doctrine!
Nie wyczyści czasem wszystkiego co do tej pory znajdowało się w pamięci?

W takim razie metoda:

$em->flush(); //Persist objects that did not make up an entire batch

Nie ma już sensu, bo nie ma czego dodawać. Chyba, że mówimy o sytuacji, w której skrypt omija pętle, a mimo wszystko ma jakiś obiekt do dodania i dlatego je wywoływana mimo to.

 

---

Ustawiasz sobie rozmiar batcha na 50. Tworzysz i perzystujesz 49 obiektów. Po 50 if masz spełniony więc leci flush i zapis wszystkich obiektów do bazy i następnie clear który sprawia że te obiekty znikają z pamięci em.