Senior Data Engineer

1 day ago

Remote Warszawa, Czech Republic DEVTALENTS Sp. z o.o. Full time

Duża biegłość w SQL, PySpark i Pythonie w zakresie transformacji danych oraz tworzenia skalowalnych potoków danych (minimum 6 lat doświadczenia komercyjnego). Praktyczne doświadczenie w pracy z Apache Airflow, AWS Glue, Kafka i Redshift. Znajomość pracy z dużymi wolumenami danych strukturalnych i częściowo strukturalnych. Mile widziane doświadczenie z DBT. Biegłość w korzystaniu z Gita do kontroli wersji. Airflow jest kluczowy do orkiestracji procesów. Solidne doświadczenie w pracy z AWS (Lambda, S3, CloudWatch, SNS/SQS, Kinesis) oraz znajomość architektur serverless. Doświadczenie w automatyzacji i zarządzaniu infrastrukturą za pomocą Terraform i Ansible. Umiejętności w zakresie monitorowania potoków ETL, rozwiązywania problemów z wydajnością oraz utrzymywania wysokiej niezawodności operacyjnej. Znajomość procesów CI/CD w celu automatyzacji testów, wdrożeń i wersjonowania potoków danych. Umiejętność projektowania rozproszonych systemów, które skalują się horyzontalnie dla dużych wolumenów danych. Wiedza o architekturach przetwarzania w czasie rzeczywistym (Lambda) i wsadowym (Kappa) będzie dodatkowym atutem. Doświadczenie w tworzeniu API (REST, GraphQL, OpenAPI, FastAPI) do wymiany danych. Znajomość zasad Data Mesh i narzędzi self-service do danych będzie dużym plusem. Wcześniejsze doświadczenie w budowaniu skalowalnych platform danych i przetwarzaniu dużych zbiorów danych jest wysoko cenione. Wyższe wykształcenie w zakresie informatyki lub kierunków pokrewnych. Znajomość języka angielskiego na poziomie co najmniej B2. Senior Data Engineer | Tworzenie skalowalnych rozwiązań chmurowych O DEVTALENTS oraz model zatrudnienia W DEVTALENTS łączymy wybitnych specjalistów IT z ambitnymi projektami, stosując nasz unikalny model współpracy „Build-Operate-Transfer”. Jako członek zespołu DEVTALENTS będziesz pracować nad innowacyjnymi rozwiązaniami dla naszych klientów, mając jasno określoną ścieżkę prowadzącą do bezpośredniego zatrudnienia u klienta. ,[Prowadzenie projektowania, rozwoju i utrzymania potoków danych oraz procesów ETL/ELT obsługujących duże, zróżnicowane zbiory danych., Optymalizacja procesów pobierania, transformacji i dostarczania danych z wykorzystaniem SQL, PySpark i Pythona., Wykorzystywanie frameworków takich jak Apache Airflow, AWS Glue, Kafka i Redshift w celu zapewnienia wydajnej orkiestracji danych, przetwarzania wsadowego/strumieniowego i wysokiej wydajności analiz., Wdrażanie najlepszych praktyk w zakresie kontroli wersji (Git), infrastruktury jako kodu (Terraform, Ansible) oraz pipeline’ów CI/CD, aby zapewnić solidne, powtarzalne i skalowalne wdrożenia., Ścisła współpraca z zespołami Data Science, Analityki i Product Management przy projektowaniu modeli danych i architektur wspierających cele biznesowe., Monitorowanie, debugowanie i optymalizacja potoków ETL, zapewnianie wysokiej niezawodności, niskich opóźnień i efektywności kosztowej., Mentoring inżynierów na poziomie średnim i juniorskim oraz budowanie kultury dzielenia się wiedzą, ciągłego doskonalenia i innowacji.] Requirements: Python, AWS, PySpark, SQL, Redshift, Kafka, Apache Airflow

  • Senior Front

    2 weeks ago

    Remote, Czech Republic PAR Data Central Full time

    Strong expertise in modern front-end development, including: At least 4+ years of experience in front-end development (Angular-focused) Experience developing hybrid mobile applications using Ionic or similar frameworks Solid understanding of TypeScript, RxJS, NgRx (or similar state-management libraries) Staying up to date with the latest Angular...

  • Senior Data Engineer @ Welltech

    7 days ago

    Remote, Warszawa, Czech Republic Welltech Full time

    What We're Looking For As a Senior Data Engineer, you will play a crucial role in building and maintaining the foundation of our data ecosystem. You’ll work alongside data engineers, analysts, and product teams to create robust, scalable, and high-performance data pipelines and models. Your work will directly impact how we deliver insights, power product...

  • Senior Data Engineer @ 1dea

    5 days ago

    Remote, Czech Republic 1dea Full time

    min 5 yrs of relevant experience Solid experience with AWS services (S3, IAM, Redshift, Sagemaker, Glue, Lambda, Step Functions, CloudWatch) Experience with platforms like Databricks, Dataiku Proficient in Python / Java, SQL – Redshift preferred, Jenkins, CloudFormation, Terraform, Git, Docker, 2-3 years of Spark – PySpark Good communication and SDLC...

  • Senior Azure Data Engineer @ ITDS

    2 weeks ago

    Warszawa, Czech Republic ITDS Full time

    You’re ideal for this role if you have: Proven experience in large-scale data platform migration and modernization projects Deep expertise in Azure Databricks, Delta Lake, and Azure Data Factory Strong programming skills in Python, PySpark, and SQL Hands-on experience with CI/CD pipelines using Azure DevOps, GitHub, or Jenkins Solid understanding of...

  • Senior Data Engineer Market Data Asset @ Bayer

    2 weeks ago

    Warszawa, Czech Republic Bayer Full time

    5+ years of working experience in the field of Data & Analytics, preferably in the CPG industry 5+ years of proficient coding experience with Python for data engineering, including SQL and PySpark (DataFrame API, Spark SQL, MLlib), with hands-on experience in various databases (SQL/NoSQL), key libraries (e.g., pandas, SQLAlchemy), parallel processing, and...

  • Senior Data Engineer

    1 week ago

    Warszawa, Czech Republic Link Group Full time

    5+ years of software development experience, strong in Python and SQL. Experience with web technologies (HTML, JavaScript, APIs) and Linux. Familiarity with web scraping tools (Selenium, Scrapy, Postman, XPath). Knowledge of containerization (Docker) and cloud platforms (AWS or Azure preferred). Strong problem-solving skills and ability to work...

  • Senior Data AWS Engineer @ Bayer

    2 weeks ago

    Warszawa, Czech Republic Bayer Full time

    Qualifications & Competencies (education, skills, experience): 5+ years of experience in data engineering on AWs Strong knowledge of AWS data stack: Glue, Athena, Lake Formation, S3, Step Functions, Lambda, RDS etc. Proficient in Python for scripting, automation and data manipulation tasks Experience with PySpark for building scalable, distributed ETL/ELT...

  • Senior Data Engineer @ hubQuest

    5 days ago

    Remote, Warsaw, Czech Republic hubQuest Full time

    What we expect 5+ years of professional experience as a Data Engineer or Software Engineer in data-intensive environments Strong Python development skills, with solid understanding of OOP, modular design, and testing (unit/integration) Experience with PySpark and distributed data processing frameworks Hands-on experience with Azure Data ecosystem,...

  • Senior Software Engineer

    1 week ago

    Remote, Warszawa, Czech Republic Dell Technologies Full time

    Essential Requirements Bachelor’s degree in Computer Science or related field 5–8 years of proven experience in complicated system, e.g. critical telecom product, OS (multi-threading, locks, scheduling), storage protocols (NFS, CIFS, iSCSI), storage technologies (SAN, NAS, RAID, OSD, snapshot, replication), networking, device drivers, clustering, etc....

  • Senior Software Engineer, Data Infrastructure @ Asana

    2 weeks ago

    Warszawa, Czech Republic Asana Full time

    Expertise in programming, distributed systems design, and infrastructure Experience building and operating scalable, reliable, and highly-available services 4+ years designing and implementing production code for backend, infrastructure, and/or data systems 2+ years mentoring/coaching other team members on design and execution of projects Eagerness to...