GCP Data Engineer
Summary
GCP Data Engineer building and maintaining batch and streaming data pipelines on Google Cloud Platform in the banking sector, using Python, SQL, BigQuery, Dataflow, Composer, and Terraform to support analytics and reporting.
Informacje o projekcie:
Branża: bankowość
Stawka: do ok. 158 zł/h netto + VAT, B2B
Lokalizacja: wizyty 1-2 x w tygodniu w biurze - Warszawa
Podsumowanie: Poszukujemy programisty GCP, który będzie wspierał rozwój i implementację rozwiązań chmurowych, efektywnie współpracując w zespole oraz angażując się w techniczne dyskusje w celu tworzenia innowacyjnych platform danych.
Obowiązki:
Rozwój i utrzymanie rozwiązań przetwarzania danych w środowisku Google Cloud Platform (GCP).
Tworzenie potoków danych (batch i streaming) z wykorzystaniem usług BigQuery, DBT, Dataflow, Composer i Cloud Storage.
Programowanie w językach Python i SQL.
Budowa i optymalizacja struktur danych wspierających analitykę i raportowanie.
Automatyzacja wdrożeń z wykorzystaniem Terraform oraz repozytoriów GitHub.
Testowanie, monitorowanie i utrzymanie rozwijanych rozwiązań.
Współpraca z analitykami, architektami oraz zespołami projektowymi przy realizacji wymagań biznesowych.
Wymagania (Must Haves):
Doświadczenie w projektowaniu i budowie rozwiązań chmurowych na Google Cloud Platform (GCP).
Bardzo dobra znajomość języków programowania Python i SQL.
Znajomość usług Dataproc, Composer (Airflow), Cloud Storage oraz Big Query.
Doświadczenie w pracy z repozytoriami kodu GitHub.
Doświadczenie w zarządzaniu artefaktami aplikacyjnymi przy wykorzystaniu Google Artifact Registry.
Wymagania (Nice to Haves):
Znajomość DBT.
Znajomość Terraform.
Inne szczegóły:
Kategoria 1: Zespół projektowy nastawiony na współpracę i otwartą komunikację.
Kategoria 2: Środowisko chmurowe Google Cloud Platform.