Middle Python Developer
Задачі, над якими потрібно буде працювати:
Проєктування та розробка: створення Python-скриптів для обробки, трансформації та передачі даних, а також розробка аналітичних дашбордів.
Побудова Data Pipelines: проектування, розробка та оркестрація надійних ETL/ELT-процесів за допомогою Apache Airflow та dbt.
Моделювання даних: проектування схем і моделей даних для аналітичних систем (включаючи побудову шарів staging, intermediate та marts).
Оптимізація та підтримка: рефакторинг і підвищення продуктивності існуючих розробок, аналіз планів виконання SQL-запитів (EXPLAIN) та тюнінг PostgreSQL.
Якість та надійність: забезпечення Data Quality, налаштування моніторингу, логування та обробки помилок у пайплайнах даних.
Які навички стануть у нагоді:
Загальний досвід: від 2 років у сфері Data Engineering / Python-розробки.
Глибокі знання SQL та PostgreSQL: впевнене написання складних запитів (CTE, window functions, JOINs), робота з індексами, партиціонуванням та оптимізацією продуктивності.
Python для Data-задач: відмінне володіння мовою, досвід роботи з pandas, SQL-конекторами, REST API та форматами даних (JSON, CSV, Parquet). Розуміння принципів ООП, модульності, тестованості та чистa коду.
Apache Airflow: практичний досвід створення та підтримки DAGs, налаштування залежностей, тасків, Airflow Connections/Variables, розуміння принципів ідемпотентності.
dbt (data build tool): досвід створення dbt-моделей, використання Jinja/macros, incremental models, налаштування data lineage та документації.
Робота з сучасними інструментами: розуміння базових принципів роботи з AI Prompt / ML / LLM.
API: створення та налаштування методів API для обміну даними.
Буде додатковим плюсом:
Архітектура даних: розуміння принципів Data Warehouse (DWH) / Data Lake, OLTP/OLAP, а також моделей «Зірка» (Star Schema) та «Сніжинка» (Snowflake Schema).
DevOps та інструментарій: досвід роботи з Git, налаштуванням CI/CD процесів та контейнеризацією через Docker.
Бази даних та Хмари: досвід роботи з NoSQL рішеннями та хмарними платформами (AWS / GCP / Azure).
