Sprzęt do odpalania modeli LLM do kodowania lokalnie z 128 GB RAM.

pytanie zadane 29 marca w Sprzęt komputerowy przez Edd Obywatel (1,400 p.)

Ktoś wie co jest najlepsze do odpalania modeli do kodowania lokalnie:

- Apple MAC Studio z 128 GB RAM?

- mini komputery na AMD Strix Halo np 395+ z 128 GB RAM?

- komputery na GX10 jak DGX Spark też z 128 GB RAM?

Co byście wybrali pod LLM do kodowania? (i krótko - dlaczego akurat taki).

1 odpowiedź

odpowiedź 29 marca przez Benek Szeryf (93,850 p.)
wybrane 29 marca przez Edd

Najlepsza

Odpowiem tak przewrotnie, myślę że nic. Jeśli nie jesteś w stanie zakodować czegoś lepiej niż lokalny LLM, to znaczy że Twoje zrozumienie inżynierii oprogramowania wymaga poprawy i lokalny LLM nie dostarczy niczego wartościowego (nie uzupełni tej luki w wiedzy). Jakieś proste przetwarzanie języka tak, ale nie kodowanie.

Jeśli chodzi o agentów AI zintegrowanych z LLM-ami, to w pracy mam dostęp do Copilota i działa to tak średnio. Mocno trzeba go kontrolować, choć na pierwszy rzut oka potrafi przetworzyć prosty prompt i dostarczyć kod natychmiast. Ale jak się bliżej przyjrzeć, to kod jest taki sobie, często trzeba go iteracyjne poprawiać.

Jedynie słyszałem, że Claude od Antrophica naprawdę daje radę w kodowanie, jednak w pracy nie mam do niego dostępu, a z wielu powodów nie chcę płacić za coś, co można wykonać samemu lub z pomocą darmowych narzędzi. Tym bardziej, że subskrypcja do tanich nie należy.

komentarz 29 marca przez Edd Obywatel (1,400 p.)

Słyszałem, że na 128 GB VRAM modele specjalizujące się wyłącznie w kodowaniu dają całkiem niezłe efekty, ale wiem to tylko z reddita czy innych forum. W praktyce nie korzystałem.

komentarz 29 marca przez Benek Szeryf (93,850 p.)

To jest trochę bardziej złożone. Bo generalnie jak masz na myśli LLM-a, który pomaga kodować, to chodzi o agenta/agentów AI zintegrowanych z IDE. Taki agent potrafi skanować zawartość aplikacji, nad którą pracujesz. Szukać powiązań, na przykład dla zadanego kawałka kodu napisać testy. Innymi słowy agent pod maską ma LLM-a/LLM-y, który potrafi dużo więcej niż wyprodukowanie kodu w danym języku.

W moim przypadku to jest któryś z modeli GPT 4. generacji od OpenAI, czyli model na tyle duży, że nie uruchomisz go lokalnie, bo wielokrotnie przekraczasz RAM. I z mojego doświadczenia działa to tak sobie. Uważam więc, że taki lokalny model to będzie jednak słaby pod kodowanie.