kariera Data Engineer

Question

Cześć wszystkim, mam takie pytanko czy ucząc się języka scala, sparka, baz danych SQL oraz NoSQL i podstaw analizy danych czyli między innymi też i matematyki z nią związanej (statystyka, regresja, drzewa decyzyjne itd ) mam szansę znaleść pracę jako Data Engineer tylko ze skończoną szkołą średnią?

Answer 1

tak, tylko musisz na prawdę pouczyć się solidnie. Sporo osób chce iść w tą stronę, ostatnio mam wrażenie, że coraz częściej się z tym spotykam, ale też i jest zapotrzebowanie. Ale niestety czasami okazuje się, że nawet osoby po studiach nie potrafią narysować prostego rozkładu normalnego z analizą dla różnych przypadków czy obliczyć odchylenia, mediany itp.

No i proponowałbym też wejść trochę np. w pythona, który jest dość szeroko wykrozystywany w analizie danych, jest też R lub inne, ale jak poznasz jeden jezyk to w razie czego przełączenie się na inny to no problem. A do pythona wydaje mi się, że chyba jest najwięcej książek, kursów itp. itd.

Comments

Dzięki za odpowiedź. Pythona znam, może nie jakoś perfekcyjnie ale trochę w nim pisałem. Od kilku lat interesuję się programowaniem i ogólnie mówiąc IT ale niedawno dopiero jakoś stwierdziłem w co chciałbym iść. Scala jako język bardzo mi się podoba i jakoś mnie tak "intryguje" python też jest mega fajny bo jest łatwy i jest bardzo dużo książek i bibliotek do niego. Mam kilka książek o data science generalnie to chciałbym pójść w big data/data engineering a potem dopiero stricte w ML/DP bo nie ukrywam że algorytmy sztucznej inteligencji w pytorchu czy tensorflow to mój cel na przyszłość.

---

taka uwaga - analityk danych i inżynier ML to dwie różne profesje... owszem, mocno się przenikają, ale jednak w wielu firmach ML/AI są to osobni ludzie. Ponad to analityk danych wcale nie musi pracować z ML, to także po prostu analiza dużych zbiorów danych statystycznych itp.

Ale jeśli chcesz iść w ML to jak najbardziej warto w miarę dobrze poznać temat analizy danych. Może nie musisz wchodzić zbyt mocno w modyfikacje danych w bazie itp., pobaw się tym aby ogólnie wiedzieć co i jak, umieć zrobić proste i bardziej skomplikowane selecty itp.

I potem możesz wejsć sobie w temat ML, małymi kroczkami... polecam oglądać różne konferencje ML, prezentacje itp. bo tutaj często liczy się nie tylko matma i logiczne myślenie, ale również pomysły... czasami na prawdę dobrym pomysłem na model ML można go istotnie uprościć czy zwiększyć skuteczność :)

Także reasumując, jeśli widzisz siebie jako inżynier ML to bardzo dobrze, że zaczynasz od nauki analizy danych, idź w to dalej, jeśli Ci się spodoba to możesz próbować znaleźć pracę np. jako junior w analizie danych i w międzyczasie douczać się w ML. Z czasem sam ocenisz gdzie byś się bardziej widział.

No i pamiętaj... to, że dzisiaj np. pracujesz jako analityk danych wcale nie oznacza, że za 5 lat nie możesz być programistą Javy, pythona czy inżynierem ML :) W tej branży dużo ludzi chce szybko się dorobić, ale stosunkowo mało ludzi, szczególnie młodych, faktycznie chce się uczyć i to stale... pokaż przede wszystkim sobie, że faktycznie Ci zależy aby w to wejść, spróbuj pobawić się nawet na danych ML, w necie znajdziesz wiele stron, gdzie dostępne są open source zbiory danych do ML. Ty możesz na początek wykorzystać je typowo do nauki analizy danych, do tego dorzuć np. jakieś wizualizacje, np. matplotlib w pythonie i możesz fajnie zrobić na prawdę ciekawy materiał do pokazowego CV :)

Powodzenia!

---

Generalnie teraz uczę się Scali i sparka żeby aplikować za jakiś czas na junior data engineer. W między czasie uczę się matmy można powiedzieć od podstaw XD na stronie Khan academy żeby dobrze rozumieć jak działają algorytmy DL od podszewki. Na początek planuję znaleść pracę właśnie przy Big Data później dopiero coś bardziej analityczno/naukowego. Na razie nie pracuję nigdzie w IT ale to mój cel na przyszłe lata. Mam 23 lata i chciałbym jednak kurczę coś w życiu osiągnąć mimo tego że nie mam studiów ;) Bardzo interesuje mnie robotyka i może gdzieś tam po drodze uda mi się coś własnego stworzyć ale na to trzeba mieć fundusze a żeby mieć fundusze to muszę zmienić pracę na bardziej opłacalną czyli właśnie IT. Żeby nie było nie chcę iść do IT tylko dlatego że dobrze tam płacą, bardzo lubię programować i kombinować mimo że nie umiem jakoś dużo.

---

brakiem studiów się nie przejmuj, szczególnie w analizie danych, gdzie niestety z tego co słyszałem od ludzi po studiach, to na uczelniach często uczą różnych rzeczy daleko odległych od realiów pracy komercyjnej...

Ja sam przebranżawiałem się parę lat temu z budowlanca (projektant) na programistę JS, i dodatkowo też obecnie troszkę wchodzę w tematy ML małymi kroczkami :)

Także przede wszystkim liczy się chęć do nauki i solidne podstawy. Spelniając te 2 warunki uwierz mi, przebijasz ponad 50% absolwentów studiów wyższych. Mam sporo znajomych, którzy zmieniali branże, w tym również na IT ale nie tylko, także nie ma co myśleć o tym że nie masz studiów, czy masz nie te co chciałeś itp.

Tak z ciekawostek... mam kolegę, który ze mną konczył budownictwo, a dzisiaj ma całkiem spory zakład fryzjersko-kosmetyczny... drugi kolega, również mgr inz. budownictwa jest szefem w jednej z restauracji... (przynajmniej był 2 lata temu, nie wiem jak obecnie życie się potoczyło ale wiadomo... na pewne sytuacje nigdy nie mamy wpływu). To tylko dwa z na prawdę wielu przypadków, gdzie ludzie decydują się, a raczej powiedziałbym że mają odwagę, aby coś w życiu zmienić.

Nie zawsze trzeba też patrzeć na to jak na zmianę z gorszego na lepsze... ja np. czuję się całkowicie spełniony jako budowlaniec, ale po prostu zdecydowałem zmienić coś w życiu, a w sumie to wrócić do tego, co od zawsze było moim hobby, i zmienić hobby w pracę :) ale co będzie za 5-10 lat... tego nikt nie wie :)