Przykładowe projekty Data Engineering

Question

Witam, czy ma ktoś może jakiś pomysł jakie projekty mógł bym wykonać w ramach aplikowania na stanowisko inżyniera danych? Chciałbym mieć jakieś projekty w swoim portfolio a nie tylko wypisane że znam pythona na takim i takim poziomie to samo z sql i innymi technologiami. Chyba że to wystarczy ale nie wydaje mi się.

Answer 1

Napisz projekt z w/w technologiami, który poddaje jakieś zbiory, bazy analizie matematycznej.
Porównaj obliczenia algorytmów, złożoności czasy, np w oparciu o tworzenie wykresów i zbieranie danych, albo jakieś aproksymacje ... w wyszukiwaniu lub budowaniu czegoś.
Nie wiem np. generowanie tras w grafach, wyszukiwanie fraz w internecie, optymalizacje tego... język to tylko narzędzie tu trzeba bardzo dobrej znajomości analitycznej, matematycznej, algorytmicznej w oparciu pracy o duże zasoby danych

Logika matematyczna, rachunki prawdopodobieństwa, nie wiem np. napisz projekt który implementuje wariancje, mediany itd. porówna ich przypadki użycia.
To wszystko przy wykorzystaniu np. bazy grafowej, albo jakiś szybkich baz danych, bo jednak musisz wiedzieć ze pracując jako Data Enginer, potrzebujesz znać bazy które nie są tyle relacyjne ale są rozproszonymi bazami danych, szybkiego dostępu
Kassandra, elasticsearch, ( wuszkiwania kontekstowe musisz też poznać ) do tego narzędzia MUST HAVE kubernates - do analizy danych , apache Kafka
To tylko przykłady. I tak niestety znajomości takie trzeba mieć, teraz ... niestety nie wystarczy znać "pythona" za duze zapotrzebowanie na rynku jest osób które mają dobrą wiedzę, toteż mało się szuka juniorów, a od juniorów wymagania juz diametralnie sie zmieniły i obejmują to co pisze w większości przypadków wiem to z autopsji i rekrutowania innych

Comments

popieram przedmówcę, tylko zauważ " że my jako kraj jesteśmy w tyle" przez rząd i polityke np, prowadzenia własnej działalności, firmy.
 

A jeśli chodzi o POLAKÓW programistów, no to wśród cyber-security przodujemy, generalnie Polacy dokonują wielu osiągnięć za granicą i często bywa że Ci najlepsi po prostu rezygnują z pracy w kraju.

Czym się zajmuje  "data scientist" on się zajmuje analizą danych od strony matematycznej, przygotowując np gotowe teorie obliczeń które potem ty musisz poddać analizie programistycznej też... to że ktoś jest BACKENDOWCEM np, nie znaczy że nie nigdy nic nie bedzie robił np. od strony warstwy klienta, zwykle robi wiele.
Jak trudno Ci się pogodzić z takimi wymaganiami, no to znajdz  inną branże... w programowaniu DUŻO SIĘ WYMAGA, DUŻO TRZEBA SIĘ UCZYĆ, STALE TRZEBA SIĘ UCZYĆ bo nie jest tak, że raz się nauczysz i koniec, ta branża się zmienia, języki się zmieniają, nowe wersje, frameworki.

---

@manjaro, jeśli nie masz nic przydatnego do powiedzenia i pomocy to przynajmniej nie przeszkadzaj. 

---

Tylko, żę to Ty widzisz problem w czymś " że jest tak a nie inaczej na rynku ". A odpowiedzieć perfekcyjnie się nie da, bo czasami ile ofert- tyle wymagań, ile projektów tyle ... wymagań i narzędzie,  próbuj ... się dowiesz czego oczekują na rozmowach etc.

Oj uwierz mi to nie jest tak że rozmowa -> cyk praca :) ja tam za czasów studiów 6 lat temu chyba po 3 miesiącach udało mi się dostać na 1 rozmowe, i potem było ich z 11 :D... i nie zawsze pykło
A teraz mamy jeszcze inne czasy, co widze po swojej firmie gdzie na 3 miejsca dostajemy po +250 aplikacji.

---

Chodzi mi o to że w wymaganiach jest co innego a w praktyce jest co innego. Może to kwestia tego że jednak ogłoszenia wrzucają idioci? kto wie? To tak jak by w ogłoszeniu o pracę na stanowisko ekspedienta w sklepie mięsnym przy rozmowie o pracę wymagali umiejętności rąbania drewna i 4 lat doświadczenia z cyberbezpieczeństwa  pod okiem Kevina Mitnicka. Absurd? oczywiście że tak. Skoro dany pracodawca wymaga XYZ to niech to zawrze w ogłoszeniu bo jeśli ktoś czegoś nie ogarnia z danego tematu i go nie przyjmą to taki "pracodawca" po prostu marnuje czyjś cenny czas.

---

@Wiciorny, oczywiście że nie dostanie się pracy przy pierwszej rozmowie chyba że ma się niesamowite szczęście. Denerwuje mnie jedynie to że ludzie są niesamowicie ułomni. Jest sobie dane stanowisko jest mniej więcej powiedziane o co w nim chodzi ale NIKT nie mówi czego konkretnie trzeba się nauczyć żeby w ogóle coś ogarniać, jasne że programista uczy się całe życie ale jest niestety tak " noo...mamy tu takie i takie stanowisko, zajmjemy sie tym i tym a reszte sobie zgaduj" no rewelka....