Wielka zmienna a pamięć

pytanie zadane 19 lutego 2020 w Python przez Pico Obywatel (1,330 p.)

Witam, mam pewien problem. Chodzi o wielką zmienną zapychającą pamięć. Mam program, który tworzy ogromną zmienną na podstawie pewnego tekstu i tekst w tej zmiennej jest około 80% większy niż w oryginale. Problem jest taki, że przy większym tekście program się po prostu zacina i tyle, za to z czymś mniejszym idealnie sobie radzi. Dodam jeszcze, że tekst ten jest potem zapisywany do pliku. Pomoże ktoś w rozwiązaniu tego problemu

komentarz 19 lutego 2020 przez adrian17 Ekspert (345,220 p.)

Jak duża jest "wielka"? Gigabajty?

Mógłbyś proszę pokazać kod i powiedzieć, jakie zmienne i rozmiary masz na myśli?

komentarz 19 lutego 2020 przez Pico Obywatel (1,330 p.)

Jest na tyle duża żeby komputer z 2gb ram se z tym nie poradził. A kodu niestety nie mg udostępnić gdyż cenię sobie jego prywatność do czasu publikacji całego programu. No ale tak jak pisałem. Jej rozmiar zależy od rozmiaru tekstu wejściowego. Jeśli takowy waży 5KB to daje radę, ale jeśli 5MB to nagle czkawka

komentarz 19 lutego 2020 przez mokrowski Mędrzec (156,100 p.)

Mało precyzyjne pytanie... nawet nie wiadomo czy Python 2 czy 3...

1. Jaki jest sys.getsizeof(X) tego obiektu X?

2. Typ bytes i bytearray, stosują protokół bufora. To może tu pomóc.

3. Czy naprawdę trzeba pełne dane wczytać? Nie można tego zrobić etapami/iteratorem ?

komentarz 19 lutego 2020 przez adrian17 Ekspert (345,220 p.)

Jeśli takowy waży 5KB to daje radę, ale jeśli 5MB to nagle czkawka

"5MB" zawartość pliku rosnąca o "około 80%" sama z siebie nie zajmie kilku gigabajtów. Jakbym miał strzelać, to jakieś bardzo słabe struktury danych wybrałeś - ale nic ciekawego nie da się stwierdzić bez znajomości kodu, jak w ogóle wygląda ta "zmienna", jakie są tutaj typy.