Job VC

Are you passionate about building cutting-edge, AI-ready data platforms from the ground up? We are looking for a Senior Data Engineer to join our Data Engineering Team and lead high-impact, greenfield initiatives.

You will work on building modern cloud-native data platforms, migrating on-premises legacy systems to the cloud, and laying the architectural foundation for AI-ready data infrastructure.
In this role, you will collaborate closely with Machine Learning, Data Science, and Product teams, serving as a key technical contributor and thought leader. You will also drive R&D efforts around agentic AI architectures, event-driven systems, and LLM-ready data pipelines — turning architectural concepts into production-grade solutions.

Responsibilities:
Design and build scalable, cloud-native data platforms from greenfield to production
Implement near-real-time ingestion pipelines using event-driven patterns
Define and enforce platform standards, including Data Lake / Lakehouse principles, medallion architecture, and data contracts
Refactor and optimise existing Spark and PySpark scripts for performance and maintainability
Introduce best practices for code quality, testing, and CI/CD across data pipelines
Drive adoption of AI tooling and agentic workflows within the data engineering team
Ensure data quality, observability, and reliability across all pipelines and platforms
Develop self-service tooling and microservices to simplify platform usage for other teams

Requirements:
5+ years of professional experience in Data Engineering
Strong Python and SQL development skills for pipeline development and optimisation
Proficiency in Apache Spark / PySpark, including query optimisation and performance tuning
Hands-on experience with Databricks (preferred) or Snowflake
Experience with at least one major cloud provider: Azure (preferred), AWS, or GCP
Experience with stream processing technologies (Kafka, Spark Structured Streaming)
Solid understanding of ETL/ELT patterns, data modelling (dimensional, Data Vault), and data warehousing
Experience with orchestration tools (Apache Airflow, Azure Data Factory, or equivalent)
Knowledge of Infrastructure as Code (Terraform or equivalent)
Understanding of production-grade system requirements: reliability, scalability, observability, and performance
Upper-Intermediate English level

Will be a plus
Familiarity with RAG pipeline design and LLM integration patterns
Knowledge of data governance frameworks and tools (Unity Catalog, Apache Atlas, or similar)
Experience with dbt for data transformation and modelling
Familiarity with MLflow, Feature Stores, or ML platform integration

Personal profile
Self-driven and proactive in identifying improvements
Comfortable working in a fast-paced, innovative environment
Strong problem-solving mindset with attention to detail
Open to experimenting with emerging technologies and approaches
_____________________________________________________________

Ти захоплюєшся створенням передових, AI-ready дата-платформ з нуля? Ми шукаємо Senior Data Engineer, щоб ти приєднався(-лася) до нашої команди Data Engineering та очолив(-ла) масштабні, інноваційні ініціативи з нуля.

Ти працюватимеш над побудовою сучасних хмарних дата-платформ, міграцією локальних (on-premises) легасі-систем у хмару та створенням архітектурного фундаменту для AI-ready дата-інфраструктури.

У цій ролі ти тісно співпрацюватимеш з командами Machine Learning, Data Science та Product, виступаючи ключовим технічним експертом та лідером думок. Також ти вестимеш R&D-роботи над agentic AI-архітектурами, подієво-орієнтованими системами та LLM-ready дата-пайплайнами — перетворюючи архітектурні концепції на готові до продакшену рішення.

Обовʼязки:
Проєктувати та створювати масштабовані, хмарні дата-платформи від концепції до продакшену
Реалізовувати пайплайни для майже реального часу (near-real-time ingestion) з використанням подієво-орієнтованих патернів
Визначати та впроваджувати стандарти платформи, включно з принципами Data Lake / Lakehouse, медальйонною архітектурою та дата-контрактами
Рефакторити та оптимізувати наявні скрипти на Spark та PySpark для підвищення продуктивності та зручності підтримки
Запроваджувати найкращі практики якості коду, тестування та CI/CD для дата-пайплайнів
Сприяти впровадженню AI-інструментів та agentic-підходів у команді дата-інженерів
Забезпечувати якість, спостережуваність (observability) та надійність усіх пайплайнів і платформ
Розробляти self-service інструменти та мікросервіси, що спрощують використання платформи іншими командами

Вимоги:
5+ років комерційного досвіду в Data Engineering
Сильні навички розробки на Python та SQL для створення та оптимізації пайплайнів
Впевнене володіння Apache Spark / PySpark, включно з оптимізацією запитів та налаштуванням продуктивності
Практичний досвід роботи з Databricks (бажано) або Snowflake
Досвід роботи з принаймні одним великим хмарним провайдером: Azure (бажано), AWS або GCP
Досвід роботи з технологіями потокової обробки даних (Kafka, Spark Structured Streaming)
Глибоке розуміння ETL/ELT-патернів, моделювання даних (dimensional, Data Vault) та побудови дата-складів
Досвід роботи з інструментами оркестрації (Apache Airflow, Azure Data Factory або аналогами)
Знання Infrastructure as Code (Terraform або аналогів)
Розуміння вимог до продакшен-рішень: надійність, масштабованість, спостережуваність, продуктивність
Рівень англійської — Upper-Intermediate

Буде плюсом:
Знайомство з проєктуванням RAG-пайплайнів та патернами інтеграції LLM
Знання фреймворків і інструментів для data governance (Unity Catalog, Apache Atlas або подібних)
Досвід роботи з dbt для трансформації та моделювання даних
Знайомство з MLflow, Feature Stores або інтеграцією з ML-платформами

Особистий профіль:
Самомотивованість та проактивність у пошуку покращень
Комфортна робота у швидкому та інноваційному середовищі
Сильне аналітичне мислення та увага до деталей
Відкритість до експериментів з новими технологіями та підходами