Middle/Senior Data Engineer / SQL Developer
Задачі, над якими потрібно буде працювати
SQL-розробка та робота з базами даних: розробка складних SQL-запитів, процедур, представлень та інших об’єктів бази даних для аналітичних систем.
аналіз і оптимізація продуктивності запитів, робота з індексами, планами виконання, партиціонуванням і великими обсягами даних.
побудова Data Pipelines: проєктування, розробка та підтримка надійних ETL/ELT-процесів для завантаження, трансформації та передачі даних між різними системами.
оркестрація пайплайнів за допомогою Apache Airflow та dbt.
розробка на Python: створення Python-скриптів і сервісів для обробки, перевірки, трансформації та передачі даних. Інтеграція з базами даних, REST API та зовнішніми джерелами.
моделювання даних: проєктування схем і моделей даних для аналітичних систем, Data Warehouse та Data Lake. Побудова і підтримка шарів staging, intermediate та marts.
оптимізація та підтримка: рефакторинг і підвищення продуктивності наявних SQL- та Python-розробок, усунення технічного боргу, аналіз проблем у процесах завантаження та обробки даних.
якість і надійність даних: реалізація перевірок Data Quality, валідації даних, логування, моніторингу та обробки помилок у data pipelines.
аналітична звітність: підготовка структурованих наборів даних і моделей для побудови аналітичних дашбордів та звітності.
Які навички стануть у нагоді
Загальний досвід:
від 2 років досвіду у сфері Data Engineering
SQL-розробки або Python-розробки для задач обробки даних.
Практичний досвід роботи з PostgreSQL.
досвід оптимізації SQL-запитів, роботи з індексами та великими таблицями.
досвід створення та підтримки views, functions, procedures та інших об’єктів бази даних.
Python для Data Engineering:
впевнене володіння Python для задач обробки та передачі даних.
робота з форматами JSON, CSV, Excel, Parquet та іншими форматами даних.
написання підтримуваного, модульного та тестованого код
розуміння ООП, exception handling, logging та configuration management.
досвід роботи з pandas, SQL-конекторами, REST API та зовнішніми джерелами.
Apache Airflow:
практичний досвід створення та підтримки DAG.
оркестрація ETL/ELT-процесів.
налаштування dependencies, scheduling, retries та timeout.
робота з Airflow Connections, Variables та Secrets.
моніторинг і troubleshooting помилок у pipeline.
розуміння принципів idempotency та безпечного повторного запуску процесів.
dbt:
практичний досвід створення та підтримки dbt models.
Робота з sources, ref, tests, snapshots і seeds.
Використання Jinja та macros.
Розуміння incremental models.
Побудова data lineage та технічної документації.
Досвід організації staging, intermediate та marts layers.
API та інтеграції:
досвід інтеграції з REST API та налаштування обміну даними між інформаційними системами.
розуміння принципів авторизації, обробки відповідей API, pagination, retries та error handling.
буде додатковою перевагою
Буде додатковою перевагою
розуміння принципів Data Warehouse, Data Lake, ETL/ELT, OLTP та OLAP.
знання dimensional modeling, Star Schema та Snowflake Schema.
досвід роботи з NoSQL-базами даних.
досвід роботи з Git, branching strategy та code review.
розуміння або практичний досвід налаштування CI/CD.
досвід контейнеризації за допомогою Docker.
досвід роботи з хмарними платформами AWS, Microsoft Azure або Google Cloud Platform.
розуміння принципів Data Quality, Data Validation, monitoring та logging.
базове розуміння можливостей AI, ML та LLM для автоматизації процесів обробки й аналізу даних.
