Senior Data Engineer @ Scalo

Ta oferta jest dla Ciebie, jeśli: masz minimum 5 lat doświadczenia jako Data Engineer lub w pokrewnych rolach danych, bardzo dobrze znasz dbt (dbt-spark) oraz Apache Spark, pracowałeś/aś z formatami tabelowymi Apache Iceberg lub Hudi i rozumiesz ich mechanizmy ACID/UPSERT, znasz Python oraz SQL na poziomie zaawansowanym, masz doświadczenie z Apache Airflow (tworzenie DAG, retry, scheduling), rozumiesz architekturę Lakehouse (Bronze → Silver → Gold) i potrafisz ją wdrażać end-to-end, masz doświadczenie w pracy z obiektowymi storage S3/CEPH, potrafisz pracować autonomicznie, podejmować decyzje techniczne i dostarczać rozwiązania wysokiej jakości, swobodnie komunikujesz się po angielsku w codziennej pracy (B2/C1 level). Mile widziane: znajomość StarRocks, Trino, OpenMetadata, doświadczenie z Kubernetes, monitoringiem (Prometheus/Grafana) oraz podejściem GitOps (FluxCD), doświadczenie z modelowaniem danych, partitioningiem i optymalizacją dużych zbiorów, znajomość systemów CRM oraz danych marketingowych, praktyczna wiedza o mechanizmach Iceberg/Hudi (compaction, snapshotting, metadata layout). W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom.  Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie. Cześć  U nas znajdziesz to, czego szukasz - przekonaj się W Scalo czeka na Ciebie  100% zdalny projekt, stawka do 160 zł/h przy B2B w zależności od doświadczenia. Co dla Ciebie mamy: stabilną współpracę i różnorodne projekty (Software, Embedded, Data, Cloud Services), możliwość rozwoju kompetencji jako Ambasador Scalo - doskonal skille techniczne i presalesowe w społeczności naszych ekspertów, wpływaj na rozwój organizacji, wspieraj innych, przestrzeń do budowania marki osobistej - twórz wartościowe treści, dziel się wiedzą i doświadczeniem, występuj jako prelegent na wydarzeniach (np. ProMeet), prywatną opiekę medyczną - Luxmed, kafeteryjny system benefitów - Motivizer,  dostęp do karty Multisport, program poleceń pracowniczych z nagrodami, integracje i wydarzenia firmowe. Brzmi interesująco? Aplikuj – czekamy na Twoje CV  ,[udział w budowie nowoczesnej platformy Data Lakehouse służącej do centralizacji danych CRM, marketingowych i operacyjnych,, implementacja potoków ELT z systemów zewnętrznych z wykorzystaniem Airflow, CEPH i dbt-spark,, projektowanie i budowa warstw Silver i Gold w Apache Iceberg wraz z optymalizacją,, integracja i konfiguracja środowiska analitycznego opartego o Trino oraz StarRocks,, udział w tworzeniu dashboardu POC w Apache Superset oraz integracja z OpenMetadata,, praca z infrastrukturą opartą o Kubernetes, FluxCD, Helm, Terraform, Prometheus/Grafana,, współpraca z doświadczonym zespołem DevOps, QA i PM w pełni zdalnym środowisku,, realizacja projektu greenfield, z realnym wpływem na architekturę i decyzje technologiczne,] Requirements: dbt, Apache Spark, Python, SQL, Apache Airflow, Lakehouse, AWS S3, Ceph, StarRocks, Trino, OpenMetadata, Kubernetes, Prometheus, Grafana, GitOps, CRM Additionally: Remote work, English lessons, Benefit platform, Private healthcare, International projects, Platforma edukacyjna.