Inżynier Danych @ Devire

Min. 2 lata praktycznego doświadczenia zawodowe na stanowisku Inżynier Danych\Data Engineer w samodzielnym budowaniu wydajnych i skalowalnych rozwiązań w architekturze Data Lakehouse, Umiejętność projektowania i implementacji potoków ETL/ELT, które przetwarzają duże zbiory danych z różnych źródeł, wraz z ich monitorowaniem i optymalizacją, Znajomość usług Azure: praktyczna biegłość w pracy z technologiami takimi jak Azure Databricks (wraz z Unity Catalog), Azure Data Factory, Azure Data Lake Storage oraz orkiestracją potoków w Apache Airflow, Bardzo dobra znajomość Pythona, PySparka, Terraform, YAML-a, SQL-a oraz Databricks Asset Bundle, Doświadczenie w konfiguracji i zarządzaniu ciągłym dostarczaniem (CI\CD) z wykorzystaniem Azure DevOps Repos oraz Azure DevOps Pipelines, Modelowanie danych: doświadczenie w pracy z architekturą medalionową, Umiejętność diagnozowania i rozwiązywania problemów związanych z przetwarzaniem danych, Zdolność efektywnej pracy w zespole oraz komunikacji z innymi działami, Certyfikaty techniczne np. Azure Data Engineer (mile widziane), Praca z danymi w czasie rzeczywistym: umiejętność projektowania procesów przetwarzania danych w czasie rzeczywistym (lub zbliżonym do rzeczywistego) z użyciem Azure Event Hub, ich monitorowania i optymalizacji (mile widziane). Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla Klientów prowadzących innowacyjne i nowoczesne projekty. Dla naszego klienta, producenta leków i lidera rynku farmaceutycznego w Europie Środkowo-Wschodniej, poszukujemy Inżyniera Danych, który wesprze tworzenie i rozwój nowoczesnej Platformy Danych w chmurze. Osoba na tym stanowisku będzie pracować z najnowszymi technologiami, takimi jak Azure Databricks, ADLS, Azure DevOps, Apache Airflow, tworząc rozwiązania kluczowe dla zapewnienia dostępności wysokiej jakości danych. Twoja praca będzie miała bezpośredni wpływ na wspieranie zespołów analitycznych i data scientistów w podejmowaniu decyzji opartych na danych. Lokalizacja: Warszawa, model hybrydowy (2-3 dni praca z biura) Wynagrodzenie: 140-160 PLN netto+VAT/h Angielski: B2 Wynagrodzenie do 160 PLN netto+VAT/h, B2B via Devire. Model hybrydowy. Długofalowa współpraca. ,[Projektowanie, wdrażanie i utrzymanie struktur przechowywania danych (Delta Lake) oraz systemów ich przetwarzania w chmurze (Azure Databricks, Azure Data Lake Storage, Azure SQL Server, Azure Event Hub, Apache Airflow, Azure Data Factory) zapewniając wydajny i niezawodny dostęp do danych,, Tworzenie i zarządzanie potokami ETL/ELT (Extract, Transform, Load) oraz strumieniami danych, które umożliwią gromadzenie, transformację i integrację dużych zbiorów danych z różnych źródeł,, Automatyzacja procesów przetwarzania danych poprzez tworzenie skryptów i narzędzi, umożliwiających zwiększenie efektywności, niezawodności i skalowalności przepływów danych,, Tworzenie i modyfikacja struktur danych oraz kodu infrastruktury z użyciem Terraform, YAML,, Zarządzanie kodem i procesami CI/CD: kontrola wersji, wdrażanie zmian w strukturach danych i potokach danych z użyciem Git oraz zautomatyzowanych procesów CI/CD w Azure DevOps,, Monitorowanie jakości danych, wykrywanie błędów i niezgodności oraz wdrażanie mechanizmów walidacji i poprawy danych, aby były gotowe do analizy przez inne zespoły,, Wspieranie analityków danych, data scientistów oraz inne zespoły w dostarczaniu danych w odpowiednim formacie i jakości.] Requirements: Data Lake, ETL, R, Azure Databricks, UNITY, Azure Data Factory, Azure Data Lake Storage, Apache Airflow, Python, Terraform, Databricks, CD, Azure DevOps, Azure Data, Azure Event Hub