Big Data Developer @ Connectis_

1 day ago

Remote Warszawa, Czech Republic Connectis_ Full time

🔍 CZEGO OCZEKUJEMY OD CIEBIE?

  • Minimum 6 lat doświadczenia w pracy z platformami Big Data oraz zaawansowanej obróbce i analizie bardzo dużych zbiorów danych.
  • Praktyki w korzystaniu z silników i narzędzi przetwarzania: Hive (External Tables, Metastore, HiveServer2), Spark oraz Python.
  • Bardzo dobrej znajomości DML oraz stosowania partycjonowania w pracy z ogromnymi zbiorami danych.
  • Doświadczenie w zarządzaniu i optymalizacji przechowywania danych w środowiskach HDFS i VAST.
  • Znajomości formatów danych: Avro, ORC, Parquet.
  • Znajomości formatów tabel: Delta, Iceberg.
  • Otwartość na pracę 100% zdalną.
  • Język angielski - C1.
  • Start: ASAP.


Mile widziane:

  • Znajomość Starburst Databricks.

Razem z naszym Klientem, liderem w dziedzinie consultingu, poszukujemy specjalisty na stanowisko Big Data Developer. Nasz Klient to globalna firma doradczo-technologiczna specjalizująca się w usługach transformacji cyfrowej, integracji systemów oraz rozwoju rozwiązań IT dla wielu sektorów gospodarki. Projekt dotyczy migracji ogromnych wolumenów danych do nowoczesnych, otwartych formatów takich jak ORC/Parquet.


✨ OFERUJEMY:

  • Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
  • Wsparcie dedykowanego opiekuna Connectis, który zawsze jest dostępny, by pomóc Ci w sprawach związanych z projektem.
  • Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.
  • 5000 PLN za polecenie znajomego do naszych projektów.
  • Dostęp do najnowszych technologii i narzędzi pracy.
  • Szybki i zdalny proces.


Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.
12257/PZ

,[Projektowanie procesów obsługujących bardzo duże zbiory danych, w tym dzielenie danych na mniejsze fragmenty (chunking), konwersję do otwartych formatów oraz ładowanie danych do Hive z zachowaniem wydajności i integralności., Migracja danych z formatu SAS SPDE w Hadoop do formatów otwartych (ORC/Parquet) oraz ich przeniesienie do środowiska VAST., Współpraca z globalnymi zespołami klienta, raportowanie postępów i rozwiązywanie problemów związanych z dużą skalą danych., Przygotowanie danych do udostępnienia poprzez Hive, w tym dla konsumentów korzystających z narzędzi Altair i Python., Optymalizacja i automatyzacja procesów ETL/ELT w środowisku Big Data., ] Requirements: Python, Spark, Hive, DML

  • Big Data Developer @ Devire

    1 day ago

    Warszawa, Czech Republic Devire Full time

    Minimum of 3–5 years of professional experience as a Big Data Developer.  Proficiency in English, both written and spoken.  Strong experience with Scala and Apache Spark.  Working knowledge of Jenkins, Git, Python/Java, and SQL.  Strong technical expertise with a proven ability to solve complex problems.  Excellent communication skills and a...

  • Data Engineer Azure @ Connectis_

    1 day ago

    Remote, Warszawa, Czech Republic Connectis_ Full time

    Minimum 4 lata doświadczenia na stanowisku Data Engineer. Zdolność do tworzenia wydajnych rozwiązań dla dużych zbiorów danych. Bardzo dobra znajomość Pythona, Spark, PySpark oraz SQL. Znajomość Azure, Azure Databricks, Azure DevOps. Język angielski - min. B2. Mile widziane: Znajomość modelu Data Vault 2.0. Doświadczenie z DBT (Data Build...

  • Big Data Java Developer @

    1 week ago

    Remote, Wrocław, Gdańsk, Warsaw, Kyiv, Kraków, Czech Republic RemoDevs Full time

    3+ years of experience in Java development.Experience in Big Data - must.Experience with Java, Spring Boot, Kafka, MongoDB, Kubernetes, MySQL.Hands-on experience with Spring / Spring Boot.Experience with cloud platforms like AWS (EMR, Aurora, S3, Athena, Glue) is a plus.Ability to debug and solve issues in distributed production systems.Team player with...

  • Backend Developer

    1 day ago

    Warszawa, Czech Republic ITMAGINATION Full time

    Bachelor’s degree in Computer Science or related field. 3+ years of experience in software/data engineering, preferably in financial services. Hands-on experience with Apache Spark (Scala). Strong background in ETL/ELT pipeline development. Knowledge of integration solutions (APIs, microservices). Familiarity with Big Data technologies...

  • Big Data Java Developer @ RemoDevs

    1 day ago

    Remote, Wrocław, Gdańsk, Warsaw, Kyiv, Kraków, Czech Republic RemoDevs Full time

    3+ years of experience in Java development. Experience in Big Data - must. Experience with Java, Spring Boot, Kafka, MongoDB, Kubernetes, MySQL. Hands-on experience with Spring / Spring Boot. Experience with cloud platforms like AWS (EMR, Aurora, S3, Athena, Glue) is a plus. Ability to debug and solve issues in distributed production systems. Team...

  • Data Engineer GCP @ Connectis_

    1 day ago

    Warszawa, Czech Republic Connectis_ Full time

    Minimum 5 letnie doświadczenie komercyjne w roli Data Engineera. Zaawansowana wiedza i doświadczenie w pracy z chmurą GCP. Doświadczenie w obszarze Data Science i Machine Learning. Biegła znajomość języka Python, SQL oraz BigQuery. Bardzo dobra znajomość Airflow. Biegła znajomość języka angielskiego. Mile widziane: Doświadczenie w obszarze...

  • Big Data Engineer @

    1 week ago

    Warszawa, Cracow, Czech Republic Link Group Full time

    What You Bring5+ years of experience in backend/data engineering using Python, Java, or ScalaStrong experience with Big Data frameworks (Hadoop, Spark, MapReduce)Solid knowledge of SQL/NoSQL technologies (e.g. Snowflake, PostgreSQL, DynamoDB)Hands-on with Kubernetes, Airflow, and AWS (or similar cloud platforms)Stream processing experience: Flink,...

  • Big Data Engineer @

    1 week ago

    Warszawa, Mazovia, Czech Republic Integral Solutions Full time

    You will be perfect candidate if you have:Minimum 2 years of experience in Python or Scala programmingCommercial experience and exposure to BigData technologies, Spark is a must Familiarity with Data Warehouse principlesKnowledge of good engineering practices, Big Data processing, including Design standards, Data Modelling techniques, coding, documentation,...

  • Big Data Solutions Specialist @

    1 week ago

    Kielce, Lublin, Białystok, Poznań, Warszawa, Czech Republic Britenet Full time

    Minimum 6 years of professional experience in the Big Data domain, with a strong focus on designing and implementing large-scale solutionsAdvanced knowledge of Big Data technologies (eg., Hadoop, Apache Spark, Kafka, Flink, Hive, HBase)Proficiency in programming with Python or JavaFamiliarity with NoSQL databases (e.g., Cassandra, MongoDB) and relational...

  • High-Performance Big Data Expert

    1 day ago

    Remote, Wrocław, Czech Republic beBeeDataEngineer Full time 18,000 - 25,000

    Big Data Processing EngineerWe are looking for a skilled Big Data Processing Engineer to join our team. As a key member of our engineering group, you will be responsible for designing and implementing scalable data processing pipelines using Java and Spark.Your primary focus will be on developing and maintaining high-performance data processing systems that...