Senior Data Engineer

24 hours ago

Remote Warszawa, Czech Republic DEVTALENTS Sp. z o.o. Full time

Duża biegłość w SQL, PySpark i Pythonie w zakresie transformacji danych oraz tworzenia skalowalnych potoków danych (minimum 6 lat doświadczenia komercyjnego). Praktyczne doświadczenie w pracy z Apache Airflow, AWS Glue, Kafka i Redshift. Znajomość pracy z dużymi wolumenami danych strukturalnych i częściowo strukturalnych. Mile widziane doświadczenie z DBT. Biegłość w korzystaniu z Gita do kontroli wersji. Airflow jest kluczowy do orkiestracji procesów. Solidne doświadczenie w pracy z AWS (Lambda, S3, CloudWatch, SNS/SQS, Kinesis) oraz znajomość architektur serverless. Doświadczenie w automatyzacji i zarządzaniu infrastrukturą za pomocą Terraform i Ansible. Umiejętności w zakresie monitorowania potoków ETL, rozwiązywania problemów z wydajnością oraz utrzymywania wysokiej niezawodności operacyjnej. Znajomość procesów CI/CD w celu automatyzacji testów, wdrożeń i wersjonowania potoków danych. Umiejętność projektowania rozproszonych systemów, które skalują się horyzontalnie dla dużych wolumenów danych. Wiedza o architekturach przetwarzania w czasie rzeczywistym (Lambda) i wsadowym (Kappa) będzie dodatkowym atutem. Doświadczenie w tworzeniu API (REST, GraphQL, OpenAPI, FastAPI) do wymiany danych. Znajomość zasad Data Mesh i narzędzi self-service do danych będzie dużym plusem. Wcześniejsze doświadczenie w budowaniu skalowalnych platform danych i przetwarzaniu dużych zbiorów danych jest wysoko cenione. Wyższe wykształcenie w zakresie informatyki lub kierunków pokrewnych. Znajomość języka angielskiego na poziomie co najmniej B2. Senior Data Engineer | Tworzenie skalowalnych rozwiązań chmurowych O DEVTALENTS oraz model zatrudnienia W DEVTALENTS łączymy wybitnych specjalistów IT z ambitnymi projektami, stosując nasz unikalny model współpracy „Build-Operate-Transfer”. Jako członek zespołu DEVTALENTS będziesz pracować nad innowacyjnymi rozwiązaniami dla naszych klientów, mając jasno określoną ścieżkę prowadzącą do bezpośredniego zatrudnienia u klienta. ,[Prowadzenie projektowania, rozwoju i utrzymania potoków danych oraz procesów ETL/ELT obsługujących duże, zróżnicowane zbiory danych., Optymalizacja procesów pobierania, transformacji i dostarczania danych z wykorzystaniem SQL, PySpark i Pythona., Wykorzystywanie frameworków takich jak Apache Airflow, AWS Glue, Kafka i Redshift w celu zapewnienia wydajnej orkiestracji danych, przetwarzania wsadowego/strumieniowego i wysokiej wydajności analiz., Wdrażanie najlepszych praktyk w zakresie kontroli wersji (Git), infrastruktury jako kodu (Terraform, Ansible) oraz pipeline’ów CI/CD, aby zapewnić solidne, powtarzalne i skalowalne wdrożenia., Ścisła współpraca z zespołami Data Science, Analityki i Product Management przy projektowaniu modeli danych i architektur wspierających cele biznesowe., Monitorowanie, debugowanie i optymalizacja potoków ETL, zapewnianie wysokiej niezawodności, niskich opóźnień i efektywności kosztowej., Mentoring inżynierów na poziomie średnim i juniorskim oraz budowanie kultury dzielenia się wiedzą, ciągłego doskonalenia i innowacji.] Requirements: Python, AWS, PySpark, SQL, Redshift, Kafka, Apache Airflow

  • Senior Data Engineer @ Link Group

    6 days ago

    Remote, Czech Republic Link Group Full time

    Required Skills & Experience 5–8 years of hands-on experience in data engineering or similar roles. Strong knowledge of AWS services such as S3, IAM, Redshift, SageMaker, Glue, Lambda, Step Functions, and CloudWatch. Practical experience with Databricks or similar platforms (e.g., Dataiku). Proficiency in Python or Java, SQL (preferably Redshift), Jenkins,...

  • Senior Data Engineer @ 1dea

    6 days ago

    Remote, Czech Republic 1dea Full time

    min 5 yrs of relevant experience Solid experience with AWS services (S3, IAM, Redshift, Sagemaker, Glue, Lambda, Step Functions, CloudWatch) Experience with platforms like Databricks, Dataiku Proficient in Python / Java, SQL – Redshift preferred, Jenkins, CloudFormation, Terraform, Git, Docker, 2-3 years of Spark – PySpark Good communication and SDLC...

  • Senior Data Engineer @ Welltech

    1 week ago

    Remote, Warszawa, Czech Republic Welltech Full time

    What We're Looking For As a Senior Data Engineer, you will play a crucial role in building and maintaining the foundation of our data ecosystem. You’ll work alongside data engineers, analysts, and product teams to create robust, scalable, and high-performance data pipelines and models. Your work will directly impact how we deliver insights, power product...

  • Senior Azure Data Engineer @ ITDS

    2 weeks ago

    Warszawa, Czech Republic ITDS Full time

    You’re ideal for this role if you have: Proven experience in large-scale data platform migration and modernization projects Deep expertise in Azure Databricks, Delta Lake, and Azure Data Factory Strong programming skills in Python, PySpark, and SQL Hands-on experience with CI/CD pipelines using Azure DevOps, GitHub, or Jenkins Solid understanding of...

  • Senior Data Engineer Customer Data Asset @ Bayer

    2 weeks ago

    Warszawa, Czech Republic Bayer Full time

    Bachelor/Master’s degree in Computer Science, Engineering, or a related field. 5+ years of working experience in the field of Data & Analytics, preferably in the CPG industry 5+ years of proficient coding experience with Python for data engineering, including SQL and PySpark (DataFrame API, Spark SQL, MLlib), with hands-on experience in various databases...

  • Senior Data Engineer Market Data Asset @ Bayer

    2 weeks ago

    Warszawa, Czech Republic Bayer Full time

    5+ years of working experience in the field of Data & Analytics, preferably in the CPG industry 5+ years of proficient coding experience with Python for data engineering, including SQL and PySpark (DataFrame API, Spark SQL, MLlib), with hands-on experience in various databases (SQL/NoSQL), key libraries (e.g., pandas, SQLAlchemy), parallel processing, and...

  • Senior Data Engineer

    1 week ago

    Warszawa, Czech Republic Link Group Full time

    5+ years of software development experience, strong in Python and SQL. Experience with web technologies (HTML, JavaScript, APIs) and Linux. Familiarity with web scraping tools (Selenium, Scrapy, Postman, XPath). Knowledge of containerization (Docker) and cloud platforms (AWS or Azure preferred). Strong problem-solving skills and ability to work...

  • Remote Senior Data Engineer with Databricks @ INNOBO

    4 days ago

    Remote, Czech Republic INNOBO Full time

    To thrive and succeed, you are expected to have: Bachelor’s degree in computer science, engineering, or a related field, complemented by experience in data engineering. A master’s degree is preferred Extensive experience with Git and managing version control in a collaborative environment Proven track record of implementing and managing CI/CD pipelines...

  • Senior Data Engineer @ hubQuest

    6 days ago

    Remote, Warsaw, Czech Republic hubQuest Full time

    What we expect 5+ years of professional experience as a Data Engineer or Software Engineer in data-intensive environments Strong Python development skills, with solid understanding of OOP, modular design, and testing (unit/integration) Experience with PySpark and distributed data processing frameworks Hands-on experience with Azure Data ecosystem,...

  • (Senior) Data Engineer

    2 weeks ago

    Remote, Czech Republic Netguru Full time

    Proven experience as a Senior Data Engineer or in a similar data-focused role Expert-level SQL knowledge with the ability to write and optimize complex queries Proficiency in Python with focus on pandas and structured/unstructured data formats (JSON, CSV) Strong understanding of relational databases, schemas, indexing, and query optimization Experience with...