Big Data

1. W pracy dostajesz zadanie przeanalizowania danych, których jest tak dużo, że nie mieszczą się w pamięci jednego komputera. Co robisz?

Planuję przetwarzanie rozproszone — dzielę dane, wybieram odpowiednie narzędzia i sprawdzam wydajność całego procesu. Biorę próbkę danych i analizuję ją na swoim laptopie. Zgłaszam, że to niewykonalne.

2. Firma zbiera dane z wielu źródeł — logów, transakcji, czujników, mediów społecznościowych — w różnych formatach. Jak do tego podchodzisz?

Projektuję sposób ich gromadzenia, czyszczenia i łączenia, tak żeby dało się je wiarygodnie analizować. Biorę tylko te, które mają czytelny format. Liczę na to, że ktoś inny je uporządkuje.

3. Podczas praktyk zauważasz, że raport opiera się na niepełnych i zdublowanych danych. Co robisz?

Sprawdzam źródło problemu, proponuję reguły kontroli jakości danych i informuję zespół o możliwych skutkach. Poprawiam dane ręcznie tylko w tym jednym raporcie. Nie zgłaszam — raport i tak wygląda dobrze.

4. Dane spływają nieprzerwanie, a firma chce reagować na zdarzenia niemal na bieżąco. Jak to oceniasz?

To ciekawe wyzwanie — chętnie zaprojektuję przetwarzanie strumieniowe i zastanowię się, jak zapewnić jego niezawodność. Wolałbym/wolałabym analizować dane raz dziennie, tak jest prościej. To brzmi jak zbyt dużo stresu.

5. Jak podchodzisz do statystyki i matematyki, z którymi miałeś/miałaś do czynienia na studiach I stopnia?

Traktuję je jako fundament — bez nich trudno odróżnić prawdziwy wzorzec w danych od przypadku. Znam podstawy, w szczegółach korzystam z gotowych funkcji. Staram się ich unikać.

6. W danych klientów są informacje wrażliwe. Na co zwracasz uwagę przy ich przetwarzaniu?

Na anonimizację, kontrolę dostępu i zasady ochrony prywatności — to warunek odpowiedzialnej pracy z danymi. Na to, żeby dane nie wyciekły na zewnątrz. Nie zastanawiam się nad tym — to zadanie działu prawnego.

7. Przełożony pyta, co wynika z analizy ogromnego zbioru danych. Jak przedstawiasz wyniki?

Wybieram najważniejsze wnioski, pokazuję je na czytelnych wizualizacjach i tłumaczę, jakie decyzje z nich wynikają. Przesyłam pełne tabele z wynikami. Mówię, że dane są zbyt skomplikowane, by je streścić.

8. Jak reagujesz, gdy pojawia się nowe narzędzie do przetwarzania dużych zbiorów danych?

Testuję je na własnym projekcie i porównuję z tym, co już znam, zanim zaproponuję wdrożenie. Czekam, aż ktoś z zespołu je sprawdzi. Wolę trzymać się tego, co znam.

9. Jak widzisz swoją rolę kilka lat po studiach magisterskich?

Projektuję i rozwijam systemy przetwarzające ogromne ilości danych, na podstawie których firmy podejmują ważne decyzje. Pracuję jako analityk/analityczka przy raportach. Nie wiem, wolę o tym nie myśleć.

10. Co najbardziej motywuje Cię do studiów magisterskich na kierunku Big Data?

Chęć pracy z ogromnymi zbiorami danych i budowania rozwiązań, które pozwalają wydobyć z nich realną wartość. Dobre perspektywy zawodowe w branży technologicznej. Nie jestem pewien/pewna, czy to dla mnie