siec neuronowa 3D?

Question

Cześć,

Pomyślałem sobie właśnie, czemu sieci AI nie są 3D. Czy nie można by uzyskać, przy mniejszej liczbie neuronów, lepszego rozumienia, a nawet lepszego AI? Niż falowe przewidywanie słów przez chatbota? Wiem, że to kolejna złożoność obliczeniowa, ale mnie to zastanowiło. W sensie 3D, tak: 1 wymiar to warstwa, 2 i 3 to X i Y, a to neurony.

Answer 1

Trochę nie rozumiem tej koncepcji. W każdym razie przewidywanie kolejnych słów jest dość fajnie wyjaśnione w pierwszej minucie tego filmu. Esencją jest złapanie kontekstu w zdaniu, który realizuje się przez manipulowanie wektorami w przestrzeni dużo większej niż 3D.

Answer 2

GPT to nie prosta sieć neuronowa tylko algorytm który po drodze odpala kilka razy obliczenia na neuronach

I służy właśnie do tego, żeby mądrzej wykorzystać moc obliczeniową, nie robisz bezmyślnego dokładania mnóstwa neuronów, tylko starasz się żeby robiły lepszą robote

Comments

Nie powiedziałem iz gpt jest słaby...

---

No tak

Ale kombinujesz jak usprawnić sieć neuronową, zamiast pomyśleć szerzej - co można zrobić żeby sieć neuronowa robiła lepszą robote

GPT to właśnie efekt takiego myślenia, nie kombinowali co zrobić w samej sieci neuronowej (tym ludzie zajmowali się przez ostatnie kilkadziesiąt lat), tylko pomyśleli co można zrobić wokół sieci, żeby dawała lepsze wyniki

Zrobili algorytm który w swoich krokach ma sieci neuronowe, które są dedykowane do swoich rzeczy. Nie zrobili jednej wielkiej sieci, tylko kilka mniejszych.

Tym sposobem przy użyciu takiej samej mocy obliczeniowej, udaje sie mieć dużo bardziej wartościowe wyniki

---

Okej, teraz rozumiem. Zamiast ulepszać sieć neuronową, po prostu użyli zwykłej, ale wokół niej zbudowali coś innego.