"Claude Code" lokalnie (na MAC-u z 128 GB RAM).

pytanie zadane 28 marca w Offtop przez Edd Obywatel (1,400 p.)

Przypadkiem natrafiłem na rozwiązanie o zbliżonych możliwościach do Claude, które działa na sprzęcie Apple z 128 GB+ RAM (czyli wypaśny MacBook Pro lub Mac Studio).

Jeśli płacicie za Claude 800-1000 zł miesięcznie (a to dość typowy koszt) to po około 24-30 miesiącach komputer Apple się zwróci ;)

Tu pod tym linkiem znajduje się projekt:

https://github.com/nicedreamzapp/claude-code-local?tab=readme-ov-file#-benchmarks

Wymagania sprzętowe:

Apple MAC M2/M3/M4/M5 Max

64-128 GB

Large models (122B)

Jak się podoba to co ma się podobać?

Koncepcja posiadania wszystkiego lokalnie nie jest głupia ;)

Edd

komentarz 28 marca przez adrian17 Mentor (354,880 p.)

...ale ludzie od miesięcy/lat odpalają lokalne modele na macach, a customowe uniwersalne agenty/harnessy jak OpenCode (którego readme nawet nie wspomina) zastępują CC.

Sam nie używałem i nie polecam żadnego rozwiązania, ale... w jaki sposób vibe'owy projekt który jakiś gość napisał 3 dni temu w weekend jest rewolucją nad znanymi istniejącymi narzędziami? Jeśli chciałeś odpalać Qwena/Kimi/GLM etc lokalnie to już od dawna mogłeś.

komentarz 28 marca przez Edd Obywatel (1,400 p.)

Tak, to nie jest nowość. Na reddit chwalą natomiast wydajność tego rozwiązania (65 tokenów na sekundę). Mnie zaskoczyło jedno: że w ogóle porównują się do Claude Code!

Przy okazji orientujesz się co jest najlepsze do odpalania takich modeli:

- Apple MAC?

- mini komputery na AMD Strix Halo np 395+ ?

- komputery na GX10 jak DGX Spark?

Zakładając że wszystkie mają 128 GB RAM - które byś(cie) wybrał(li) pod LLM do kodowania?

komentarz 29 marca przez adrian17 Mentor (354,880 p.)

Na reddit chwalą natomiast wydajność tego rozwiązania (65 tokenów na sekundę).

Na oko jedyna osoba która chwali na Reddicie to sam autor. Inni zareagowali podobnie do mnie: https://www.reddit.com/r/ClaudeAI/comments/1s43b8w/running_claude_code_fully_offline_on_a_macbook_no/

Mnie zaskoczyło jedno: że w ogóle porównują się do Claude Code!

Nie, to nic dziwnego. Autor poprosił CC "hej napisz mi kod żebym nie musiał płacić z CC" i Opus zrobił co miał zrobić. Chwalenie się mało skromnymi i często podejrzanymi porównaniami to jedna z regularnych charakterystyk vibe'owanych repo.