PHP - Zapisywanie dużych ilości danych pobieranych przez API

Question

Cześć, 

mam do napisania skrypt, który będzie pobierał wszystkie produkty przez API i zapisywał je do pliku JSON (link do dokumentacji: https://b2b-wsparcie.coffeedesk.pl/).

Podczas jednego zapytania mogę pobrać tylko 50 produktów, a wszystkich jest ponad 4000 (Łącznie jakieś 11MB danych).

Problem polega na tym, że podczas pobierania wszystkiego w pętli i zapisywania do tablicy w pewnym momencie dostaję error 500 prawdopodobnie spowodowany przekroczeniem maksymalnego rozmiaru zmiennej. Jeżeli od razu zapiszę do dane do pliku to i tak w podobnym momencie dostaję ten error.

Chciałem sprawdzić jaki jest dokładny komunikat błędu przy pomocy kodu 

ini_set('display_errors', 1);
ini_set('display_startup_errors', 1);
error_reporting(E_ALL);

ale nic to nie daje.

Wiem, że mógłbym użyć ajaxa,ale skrypt ma być w późniejszym czasie wywoływany CRONem, więc ta opcja raczej odpada.

Jest jakieś rozwiązanie przeznaczone do pobierania dużych ilości danych przez API żeby uchronić się przed zbyt dużym rozmiarem zmiennej, zbyt długim czasem wykonywania skryptu lub zbyt dużą ilością przekierowań?

Będę wdzięczny za każdą wskazówkę :)

Comments

Hmm 50 produktów powoduje błąd pamięci. Coś dziwnego.

A czemu nie nadpisujesz pliku JSON za każdym razem obrotu pętli?

Wtedy nie trzymasz 4000 danych w zmiennej.

---

Sprawdziłem logi i okazało się, że błąd to: mod_fcgid: read timeout from pipe

Błąd ten był tylko na xamppie, jak wrzuciłem skrypt na hosting to wszystko działa :)