Uczenie maszynowe deep learning matematyka

pytanie zadane 27 października 2019 w Algorytmy przez Ziito Obywatel (1,110 p.)

Siemka mam pytanko jakiech działów matematyki muszę się pouczyć aby swobodnie działać w deep learningu i uczeniu maszynowym? Aktualnie przypominam sobie kombinatorykę i algebrę liniową ale w zasadzie nie mam pojęcia co jeszcze muszę umieć. Jeśli ktoś z was pracuje przy uczeniu maszynowym to proszę o jakieś fajne linki, porady lub książki dla początkującego kolegi, był bym bardzo wdzięczny.

1	komentarz 27 października 2019 przez reaktywny Nałogowiec (40,950 p.) Generalnie algebra liniowa, rachunek całkowy i różniczkowy, prawdopodobieństwo i statystyka, ale tak naprawdę z każdego działu matematyki się coś przyda.

komentarz 27 października 2019 przez Ziito Obywatel (1,110 p.)

Dzięki za odpowiedzi, mam jeszcze jedno pytanko tak mniej wiecej na jakim poziomie muszę się znajdować aby ktoś mnie przyjoł do pracy jako junior machine learning? Widziałem kilka ogłoszeń i wymagania są skrajnie różne. U jednych jest napisane że must have machine learning i nice to have numpy, pandas itd, gdzie tego się przecież używa w zasadzie zawsze. Może ktoś mi podpowie jaki projekt mógłbym zrobić aby mieć większe szanse dostać pracę bo nie mam zamiaru robić projektu iris :)

komentarz 27 października 2019 przez reaktywny Nałogowiec (40,950 p.)

Nie mam doświadczenia, nie wiem co podpowiedzieć. Ale ogólnie wymagania w branży IT szybko rosną. Myślę, że trzeba znać caffe lub pytorch lub mxnet lub TF lub scikit lub podobny soft. Pandas / Numpy to za mało IMO.

3 odpowiedzi

odpowiedź 11 listopada 2019 przez mmarszik Mądrala (7,390 p.)

Zależy jak chcesz posługiwać się deep learningiem. Można nic nie umieć i posłużyć się gotowcem, ale doświadczenie jest baaaardzo przydatne i to duże.

Jeśli ktoś chce implementować, to trzeba wedzieć co to jest pochodna, co to jest pochodna cząstkowa, co to jest pochodna po wyjściu, co to jest optymalizacja gradientowa, co to jest optymalizacja kombinatoryczna, minimalizacja kierunkowa, co to jest funkcja blędu i (zazwyczaj) minimalizacja średniokwadratowa, rzut ortogonalny, normalizacja, wektor. Może się przydać statystyczne weryfikowanie hipotez, klasyczna definicja prawdopodobieństwa, twierdzenie bayesa i trzeba dobrze programować w jakimś języku, najlepiej C++ i OpenGL/Cuda. Wzorów się nie wyprowadza, są gotowe w podręcznikach, ale trzeba je rozumieć i umieć na bazie wzorów napisać algorytmy. Do czego rachunek całkowy by mógł się przydać - nie wiem.

W przypadku prostych sieci (nie deep) może przydać się budowa układu równań w postaci normnalnej, rozwiązywanie układu równań metodą eliminacji gaussa.

Pozdrawiam

komentarz 11 listopada 2019 przez reaktywny Nałogowiec (40,950 p.)

Rachunek całkowy nieraz się przydaje, nie jest może bardzo często wykorzystywany, ale jednak czasem tak. Oczywiście zależy wiele od typu sieci, algorytmów, zastosowań, itd. itd.

Choć tak jak pisze @adrian17 - niektórym wystarcza "liżnięcie" matematyki, a później tylko nauka caffe, tf, pytorch czy mxnet i wio koniki... :)

komentarz 11 listopada 2019 przez mmarszik Mądrala (7,390 p.)

Bardzo ciekawy jestem w jakim przypadku przydaje się całkowanie w deep-learningu, bo nigdy do tej pory się nie spotkałem. Czy możesz podać jakiś przykład?

komentarz 12 listopada 2019 przez reaktywny Nałogowiec (40,950 p.)

Nie do opisu sieci, ale do opisu zagadnień liczonych przez te sieci. Widziałem takie obliczenia w jednej z książek dotyczących widzenia maszynowego.

odpowiedź 11 listopada 2019 przez adrian17 Ekspert (344,860 p.)

PS dopiero teraz zauważyłem że to odkopany temat, ups.

(Disclaimer: nie pracuję w MLu, więc tylko mówię co wydaje mi się prawdą.)

swobodnie działać w deep learningu i uczeniu maszynowym

Zależy od tego co konkretnie się robi. Bywają sytuacje gdzie robota sprowadza się do przygotowania danych wejściowych (co często nie jest trywialne), odpalenia uczenia jakiegoś gotowego modelu (tylko wybrać jaki gotowy model) i tyle. Tutaj nie trzeba znać tła matematycznego, wystarczy podstawowe zrozumienie czym jest co i do czego służy. Czasem trzeba optymalizować cechy modelu no i tutaj przyda się bardziej szczegółowa wiedza do czego służą różne części modelu i jak jego parametry wpływają na całość, ale znowu - to jeszcze nie musi być matematyka. Oczywiście im bardziej zaawansowane rzeczy tym bardziej jednak przyda się zaplecze matematyczne do tego.

Do takich kompletnych podstaw od strony matematycznej jest z tego co wiem powszechnie polecany kurs Andrew Ng tutaj: https://www.coursera.org/learn/machine-learning/

Od strony praktycznej nie jestem na bieżąco z listą kursów, ale słyszałem na przykład o https://course.fast.ai/ i że tutoriale scikit-learn dobrze wprowadzają: https://scikit-learn.org/stable/tutorial/index.html

Może ktoś mi podpowie jaki projekt mógłbym zrobić

Jeśli brakuje pomysłów, to zawsze jest https://www.kaggle.com/ , które ma (komercyjne, z nagrodami finansowymi) zadania, ale też gotowe darmowe zestawy danych do zabawy. Mają też zadanie "wprowadzające" https://www.kaggle.com/c/titanic do którego jest sporo poradników jak zacząć (z lewej "tutorials").

komentarz 11 listopada 2019 przez reaktywny Nałogowiec (40,950 p.)

https://course.fast.ai/ jest niezłe, jako ciekawostkę dodam, iż niedawno zaczeli przechodzić z Pythona na Swifta :) Więc zyskali nowych zwolenników (i trochę stracili zatwardziałych Pythoniarzy). Ale strona ta jest dobra, mają ciekawe i dobre merytorycznie kursy.

komentarz 11 listopada 2019 przez adrian17 Ekspert (344,860 p.)

Masz może jakieś przykłady MLowych notebooków w swifcie? Chętnie bym z ciekawości zobaczył jak to wygląda.

komentarz 11 listopada 2019 przez reaktywny Nałogowiec (40,950 p.)

Przykłady są na ich stronie, już część materiału została przerobiona na język Apple. Dla mnie to był niemały szok :) Python ma ugruntowaną silną pozycję w Data Science, a tu.... Swift.

Przykład:

https://course.fast.ai/videos/?lesson=13

Tu tłumaczą wybór:

Swift for TensorFlow (TensorFlow Meets) - YouTube
https://www.youtube.com/watch?v=drSpCwDFwnM
https://www.youtube.com/watch?v=z5M4otA4S3A