Data Engineering

1. Na stażu raport, który co rano trafia do zarządu, nagle pokazuje puste wartości. Co robisz?

Śledzę przepływ danych krok po kroku od źródła, znajduję miejsce awarii i dodaję monitoring, żeby następnym razem wychwycić problem wcześniej. Uruchamiam proces jeszcze raz i liczę, że zadziała. Zgłaszam problem i czekam, aż naprawi go ktoś inny.

2. Projektujesz bazę danych dla nowej aplikacji. Od czego zaczynasz?

Od zrozumienia, jakie dane będą zbierane, jak będą odczytywane i jak szybko będzie ich przybywać. Od tworzenia tabel na bieżąco, w miarę potrzeb. Od skopiowania struktury z innego projektu.

3. Proces przetwarzania danych działał dobrze, ale po wzroście ich ilości trwa kilka razy dłużej. Jak reagujesz?

Szukam wąskiego gardła i rozważam przetwarzanie równoległe albo zmianę architektury. Proszę o mocniejszy serwer. Uznaję, że tak już musi być.

4. Na studiach magisterskich będziesz czytać dokumentację, pisać projekty i współpracować przy kodzie po angielsku z osobami z różnych krajów. Jak to oceniasz?

Bardzo dobrze — inżynieria danych to praca w międzynarodowych zespołach, więc to świetne przygotowanie do zawodu. Poradzę sobie, choć dyskusje o architekturze po angielsku wymagają ode mnie wysiłku. Wolałbym/wolałabym unikać angielskiego.

5. Analitycy skarżą się, że dane w hurtowni są niespójne. Co robisz?

Ustalam z nimi definicje i zasady jakości, a potem wprowadzam automatyczne testy danych. Ręcznie poprawiam błędy, które zgłosili. Mówię, że to problem po stronie źródła, nie mój.

6. Codziennie ręcznie uruchamiasz ten sam zestaw skryptów. Co robisz?

Automatyzuję i harmonogramuję cały proces, z obsługą błędów i powiadomieniami. Zapisuję sobie kolejność, żeby szybciej się z tym uwinąć. Nic — przecież działa.

7. Masz wybrać technologię do nowego projektu. Czym się kierujesz?

Wymaganiami projektu, skalą, kosztami utrzymania i tym, czy zespół da radę ją rozwijać. Tym, co dobrze znam i co sprawdziło się w poprzednich projektach. Tym, co jest akurat najmodniejsze.

8. Dane, które przetwarzasz, zawierają informacje wrażliwe. Jak to uwzględniasz?

Kontrolę dostępu, szyfrowanie i maskowanie danych projektuję już na etapie architektury. Ograniczam dostęp, gdy ktoś o to poprosi. Nie zajmuję się tym — od tego jest dział bezpieczeństwa.

9. Jak wyobrażasz sobie współpracę z analitykami i specjalistami od uczenia maszynowego?

Jako partnerską — chcę rozumieć ich potrzeby i dostarczać dane, którym mogą ufać. Robię to, o co poproszą, bez wnikania w szczegóły. Wolę pracować sam/sama i nie wchodzić w ich sprawy.

10. Co najbardziej motywuje Cię do studiów magisterskich na kierunku Data Engineering?

Chęć projektowania niezawodnych, skalowalnych systemów, dzięki którym dane trafiają tam, gdzie są potrzebne. Duże zapotrzebowanie na specjalistów w tej dziedzinie. Nie jestem pewien/pewna, czy to dla mnie