Data Engineer

Що робити

Розробка та підтримка ETL/ELT‑пайплайнів (batch і streaming) з використанням Python, Airflow та Cron.
Автоматизація збору, очищення, розмітки та трансформації даних з різних джерел (логів, API, IoT/embedded-джерела).
Проєктування і впровадження рішень з накопичення та зберігання даних.
Оптимізація процесів зберігання та пошуку даних (partitioning, lifecycle, cost optimization) і покращення продуктивності регулярних аналітичних запитів.
Планування й виконання міграцій даних між форматами/платформами з мінімальним ризиком втрати інформації.

Професійне знання Python для обробки даних і автоматизації.
Досвід з Apache Airflow (проєктування DAG, сенсори, таски, оператори, scheduling).
Практика використання Cron для простих/legacy jobs.
Досвід з NoSQL (MongoDB) та робота з великими обʼємами даних (терабайти за операцію/стрімінг).
Досвід роботи з Azure Blob Storage або аналогічними об'єктними сховищами.