Konkretnie - moje pytanie dotyczy głównie tego jak ważna jest możliwość pararelizacji oraz prędkość generatora liczb pseudo losowych (PRNG) w tej dziedzinie?
Generatory PRNG są używanie z tego co wiem głównie w tych dwóch metodach w kontekście AI. Ludzie często potrzebują generować wiele niezależnych strumieni liczb losowych i istnieje szeroka literatura naukowa na temat tego jak to robić za pomocą generatorów, które właściwie zawsze mają wady utrudniające to zadanie:
https://www.sciencedirect.com/science/article/pii/S0378475416300829?via%3Dihub#br000365
https://www.agner.org/random/theory/randomvector.pdf
http://www0.cs.ucl.ac.uk/staff/d.jones/GoodPracticeRNG.pdf
Generalnie dobrych generatorów do spararelizowanych symulacji Monte Carlo jest niedobór. Wszystkie generatory lub metody zastosowań mają pewne problemy. Idealnie - generator powinien być tak szybki jak współczesne najszybsze generatory (PCG, xoroshiro family, czy wyhash), zapewniać podobną, czy nawet lepszą jakość wyników, a do tego pozwalać na generowanie wielu niezależnych strumieni, najlepiej za pomocą kluczy (tak jak robią to szyfry blokowe i strumieniowe).
Czy generatory PRNG, które byłyby powiedzmy 2-krotnie szybsze, a do tego z uwagi na łatwą parametryzację dawałyby się pararelizować bez dodatkowych wymogów, stanowiłyby istotną wartość dodaną dla ludzi, którzy zajmują się cross validation i monte carlo tree search? Czy może jest to sprawa niszowa w branży i generalnie nie spędza programistom w praktyce snu z powiek. Podejrzewam, że w praktyce korzystacie z jakichś wbudowanych bibliotek z generatorami - z wszystkimi ich wadami i zaletami. Ale tym samym używając wolnych lub niewystarczająco jakościowych rozwiązań zapewne często idziecie na kompromis dotyczący jakości i szybkości.
Nie ukrywam, że pytam o to, bo sam pracuję nad takimi generatorami, ale nie znam się na AI. Próbuję ustalić jak to wygląda w praktyce i, czy w ogóle w branży mogłoby być zainteresowanie lepszymi generatorami, czy może jest to raczej sprawa, do której w zasadzie nie przywiązuje się wagi, nie próbuje się optymalizować, a rozwodzą się na ten temat głównie naukowcy w swoich publikacjach, niekoniecznie praktycy.