Job VC
Senior Data Engineer (GovTech and Public Sector)
Technologies
Description
Are you an experienced Data Engineer ready to tackle complex, high-load, and data-intensive systems?
We are looking for a Senior professional to join our team in Ukraine, Europe, working full-time on a project that will make a real impact in the public sector.
At Sigma Software, we specialize in delivering innovative solutions for enterprise clients and public organizations. In this role, you will contribute to building an integrated platform that collects, processes, and visualizes critical indicators, enabling better decision-making and analytics.
Why join us? You will work with a modern big data stack, have end-to-end involvement from ingestion to machine learning workflows, and be part of a professional team that values ownership, collaboration, and continuous improvement.
Project
You will be involved in developing an integrated platform that processes both batch and streaming data, ensures secure and governed data environments, and supports advanced analytics and machine learning workflows. The solution will leverage modern big data technologies to provide actionable insights for the public sector.
Responsibilities
Design and implement data ingestion pipelines for batch and streaming data
Configure and maintain data orchestration workflows (Airflow, NiFi) and CI/CD automation for data processes
Design and organize data layers within Data Lake architecture (HDFS, Iceberg, S3)
Build and maintain secure and governed data environments using Apache Ranger, Atlas, and SDX
Develop SQL queries and optimize performance for analytical workloads in Hive/Impala
Collaborate on data modeling for analytics and BI, ensuring clean schemas and dimensional models
Support machine learning workflows using Spark MLlib or Cloudera Machine Learning (CML)
Requirements
Proven experience in building and maintaining large-scale data pipelines (batch and streaming)
Strong knowledge of data engineering fundamentals: ETL/ELT, data governance, data warehousing, Medallion architecture
Strong SQL skills for Data Warehouse data serving
Minimum 3 years of experience in Python or Scala for data processing
Hands-on experience with Apache Spark, Kafka, Airflow, and distributed systems optimization
Experience with Apache Ranger and Atlas for security and metadata management
Upper-Intermediate English proficiency
Will be a plus
Experience with Cloudera Data Platform (CDP)
Advanced SQL skills and Hive/Impala query optimization
BS in Computer Science or related field
Exposure to ML frameworks and predictive modeling
Personal profile
Ownership mindset and proactive approach
Ability to drive initiatives forward and suggest improvements
Team player with shared responsibility for delivery speed, efficiency, and quality
Excellent written and verbal communication skills
Ти досвідчений Data Engineer і прагнеш реалізовувати складні, високонавантажені та орієнтовані на дані рішення? Ми шукаємо Senior-спеціаліста, який приєднається до нашої команди та допоможе створити продукт, що матиме значний вплив на державний сектор.
У Sigma Software ми розробляємо сучасні та інноваційні рішення для корпоративних клієнтів і державних установ. У цій ролі ти станеш частиною команди, яка будує інтегровану платформу для збору, обробки та візуалізації ключових показників, щоб забезпечити якісну аналітику та підтримати прийняття рішень.
Чому варто приєднатися? Ти працюватимеш із передовим стеком big data, матимеш можливість впливати на всі етапи розробки — від ingestion до machine learning, і будеш у команді, де цінують ініціативність, командну роботу та постійний розвиток.
Проект
Ти братимеш участь у створенні інтегрованої платформи, яка працює як з batch, так і з streaming даними, забезпечує захищене та кероване середовище даних, а також підтримує розширену аналітику та machine learning процеси. Рішення базуватиметься на сучасних big data технологіях, щоб надавати корисні інсайти для державного сектору.
Обов’язки
Розробляти та впроваджувати data ingestion pipelines для batch та streaming даних
Налаштовувати та підтримувати workflows для оркестрації даних (Airflow, NiFi) та CI/CD автоматизацію
Проєктувати та організовувати шари даних у Data Lake архітектурі (HDFS, Iceberg, S3)
Створювати та підтримувати безпечне та кероване середовище даних за допомогою Apache Ranger, Atlas та SDX
Писати SQL-запити та оптимізувати їх продуктивність для аналітичних навантажень у Hive/Impala
Брати участь у моделюванні даних для аналітики та BI, створюючи чисті схеми та багатовимірні моделі
Підтримувати machine learning workflows, використовуючи Spark MLlib або Cloudera Machine Learning (CML)
Вимоги
Досвід створення та підтримки масштабних конвеєрів даних (batch та streaming)
Глибокі знання основ data engineering: ETL/ELT, data governance, data warehousing, Medallion architecture
Впевнене володіння SQL для роботи з Data Warehouse
Мінімум 3 роки досвіду роботи з Python або Scala для обробки та трансформації даних
Практичний досвід роботи з Apache Spark, Kafka, Airflow та оптимізацією розподілених систем
Досвід впровадження практик безпеки та управління метаданими (Apache Ranger, Atlas)
Рівень англійської — Upper-Intermediate
WILL BE A PLUS:
Досвід роботи з Cloudera Data Platform (CDP)
Поглиблені навички SQL та оптимізація запитів у Hive/Impala
Ступінь бакалавра в галузі Computer Science або суміжній сфері
Знайомство з ML-фреймворками та predictive modeling
PERSONAL PROFILE:
Відповідальність та проактивність
Здатність просувати ідеї та пропонувати покращення
Командний гравець, який розділяє відповідальність за швидкість, ефективність та якість
Відмінні комунікативні навички — письмові та усні
We are looking for a Senior professional to join our team in Ukraine, Europe, working full-time on a project that will make a real impact in the public sector.
At Sigma Software, we specialize in delivering innovative solutions for enterprise clients and public organizations. In this role, you will contribute to building an integrated platform that collects, processes, and visualizes critical indicators, enabling better decision-making and analytics.
Why join us? You will work with a modern big data stack, have end-to-end involvement from ingestion to machine learning workflows, and be part of a professional team that values ownership, collaboration, and continuous improvement.
Project
You will be involved in developing an integrated platform that processes both batch and streaming data, ensures secure and governed data environments, and supports advanced analytics and machine learning workflows. The solution will leverage modern big data technologies to provide actionable insights for the public sector.
Responsibilities
Design and implement data ingestion pipelines for batch and streaming data
Configure and maintain data orchestration workflows (Airflow, NiFi) and CI/CD automation for data processes
Design and organize data layers within Data Lake architecture (HDFS, Iceberg, S3)
Build and maintain secure and governed data environments using Apache Ranger, Atlas, and SDX
Develop SQL queries and optimize performance for analytical workloads in Hive/Impala
Collaborate on data modeling for analytics and BI, ensuring clean schemas and dimensional models
Support machine learning workflows using Spark MLlib or Cloudera Machine Learning (CML)
Requirements
Proven experience in building and maintaining large-scale data pipelines (batch and streaming)
Strong knowledge of data engineering fundamentals: ETL/ELT, data governance, data warehousing, Medallion architecture
Strong SQL skills for Data Warehouse data serving
Minimum 3 years of experience in Python or Scala for data processing
Hands-on experience with Apache Spark, Kafka, Airflow, and distributed systems optimization
Experience with Apache Ranger and Atlas for security and metadata management
Upper-Intermediate English proficiency
Will be a plus
Experience with Cloudera Data Platform (CDP)
Advanced SQL skills and Hive/Impala query optimization
BS in Computer Science or related field
Exposure to ML frameworks and predictive modeling
Personal profile
Ownership mindset and proactive approach
Ability to drive initiatives forward and suggest improvements
Team player with shared responsibility for delivery speed, efficiency, and quality
Excellent written and verbal communication skills
Ти досвідчений Data Engineer і прагнеш реалізовувати складні, високонавантажені та орієнтовані на дані рішення? Ми шукаємо Senior-спеціаліста, який приєднається до нашої команди та допоможе створити продукт, що матиме значний вплив на державний сектор.
У Sigma Software ми розробляємо сучасні та інноваційні рішення для корпоративних клієнтів і державних установ. У цій ролі ти станеш частиною команди, яка будує інтегровану платформу для збору, обробки та візуалізації ключових показників, щоб забезпечити якісну аналітику та підтримати прийняття рішень.
Чому варто приєднатися? Ти працюватимеш із передовим стеком big data, матимеш можливість впливати на всі етапи розробки — від ingestion до machine learning, і будеш у команді, де цінують ініціативність, командну роботу та постійний розвиток.
Проект
Ти братимеш участь у створенні інтегрованої платформи, яка працює як з batch, так і з streaming даними, забезпечує захищене та кероване середовище даних, а також підтримує розширену аналітику та machine learning процеси. Рішення базуватиметься на сучасних big data технологіях, щоб надавати корисні інсайти для державного сектору.
Обов’язки
Розробляти та впроваджувати data ingestion pipelines для batch та streaming даних
Налаштовувати та підтримувати workflows для оркестрації даних (Airflow, NiFi) та CI/CD автоматизацію
Проєктувати та організовувати шари даних у Data Lake архітектурі (HDFS, Iceberg, S3)
Створювати та підтримувати безпечне та кероване середовище даних за допомогою Apache Ranger, Atlas та SDX
Писати SQL-запити та оптимізувати їх продуктивність для аналітичних навантажень у Hive/Impala
Брати участь у моделюванні даних для аналітики та BI, створюючи чисті схеми та багатовимірні моделі
Підтримувати machine learning workflows, використовуючи Spark MLlib або Cloudera Machine Learning (CML)
Вимоги
Досвід створення та підтримки масштабних конвеєрів даних (batch та streaming)
Глибокі знання основ data engineering: ETL/ELT, data governance, data warehousing, Medallion architecture
Впевнене володіння SQL для роботи з Data Warehouse
Мінімум 3 роки досвіду роботи з Python або Scala для обробки та трансформації даних
Практичний досвід роботи з Apache Spark, Kafka, Airflow та оптимізацією розподілених систем
Досвід впровадження практик безпеки та управління метаданими (Apache Ranger, Atlas)
Рівень англійської — Upper-Intermediate
WILL BE A PLUS:
Досвід роботи з Cloudera Data Platform (CDP)
Поглиблені навички SQL та оптимізація запитів у Hive/Impala
Ступінь бакалавра в галузі Computer Science або суміжній сфері
Знайомство з ML-фреймворками та predictive modeling
PERSONAL PROFILE:
Відповідальність та проактивність
Здатність просувати ідеї та пропонувати покращення
Командний гравець, який розділяє відповідальність за швидкість, ефективність та якість
Відмінні комунікативні навички — письмові та усні