Data Science - jak to ugryźć?

pytanie zadane 27 czerwca 2019 w Python przez Eliro Stary wyjadacz (12,160 p.)

Hej,

Siedzę w Pythonie od jakiegoś czasu i pomyślałem, że z tworzenia stron internetowych w Django przesiądę się na Data Science ze względu na większą ilość ofert pracy (rada od pewnego rekrutera). Zacząłem od oglądnięcia tego: https://www.youtube.com/watch?v=a9UrKTVEeZA i czuję niedosyt. Prosiłbym o polecenie mi jakichś materiałów do nauki i ewentualnie wypisanie mi co taki Data Scientist musi umieć.

1 odpowiedź

odpowiedź 27 czerwca 2019 przez Tomek Sochacki Ekspert (227,510 p.)

Ja myslę, że przede wszystkim powinieneś się zainteresować zagadnieniami big data i nauczyć pracować z jakimiś większymi zbiorami danych. Gdy masz jakąś mikro bazę rzędu kilkunastu tysięcy rekordów to w zasadzie nie ma z taką bazą żadnych problemów, Co innego umieć pracować z bazami, do których lecą miliony rekordów na godzinę i trzeba przewalać TB danych aby coś wyciągnąć... tutaj liczy się umiejętność tworzenia efektywnych i optymalnych zapytań i umiejętność analizy uzyskanych wyników.

To nie jest takie proste jak mogłoby się wydawać, czasami mam okazję coś skrobnąć w Hive QL czy w Elastic i często łapię się na tym, że mogłem jakieś zapytanie zrobić optymalniej, lepiej itp. i nie czekać pól godziny na wynik tylko kilka minut.

Big data to dzisiaj podstawa w większych aplikacjach czy w zagadnieniach ML itp. Także wg mnie przede wszystkim uderzaj w te właśnie tematy.

komentarz 28 czerwca 2019 przez Eliro Stary wyjadacz (12,160 p.)

No dobrze, rozumiem. Poczytać o Big Data. A jakieś polecone materiały do nauki, gdzie mógłbym zmierzyć się z realnymi zadaniami?

komentarz 28 czerwca 2019 przez Tomek Sochacki Ekspert (227,510 p.)

przyznam, że ja zaczalem poznawać na poważnie bigdata dopiero w pracy, na realnych zbiorach danych, ale spróbuj poszukac w necie może np. google udostępnia jakieś takie testowe zbiory danych do nauki za free albo jakąś mała opłatą, myślę, że coś takiego się znajdzie. Ewentualnie coś Amazona może albo firebase?

komentarz 28 czerwca 2019 przez Eliro Stary wyjadacz (12,160 p.)

To gdzie się tego nauczyłeś, żeby w ogóle się do pracy dostać?

komentarz 28 czerwca 2019 przez Tomek Sochacki Ekspert (227,510 p.)

ja akurat byłem przyjmowany jako front-end software engineer, ale na codzień czasami też potrzeba zrobić inne rzeczy, czasem coś z backendu w javie/kotlinie, czasem powyciągać jakieś informacje z elastica, mongo czy innej bazki, czasem jakiś logi poanalizować itp. itd. także generalnie tak po prostu w pracy się tego douczałem :)

Ale gdzieś mi się obiło o uszy, że wlaśnie google chyba udostępnia jakieś zbiory danych do ćwiczenia bigdata, nie chce mi się za bardzo teraz googlować ale pod tym hasłem spróbuj sobie coś poszukać.