Middle Data Engineer / SQL Developer
Задачі, над якими потрібно буде працювати
SQL-розробка та робота з базами даних: розробка складних SQL-запитів, процедур, представлень та інших об’єктів бази даних для аналітичних систем. Аналіз і оптимізація продуктивності запитів, робота з індексами, планами виконання, партиціонуванням і великими обсягами даних.
Побудова Data Pipelines: проєктування, розробка та підтримка надійних ETL/ELT-процесів для завантаження, трансформації та передачі даних між різними системами. Оркестрація пайплайнів за допомогою Apache Airflow та dbt.
Розробка на Python: створення Python-скриптів і сервісів для обробки, перевірки, трансформації та передачі даних. Інтеграція з базами даних, REST API та зовнішніми джерелами.
Моделювання даних: проєктування схем і моделей даних для аналітичних систем, Data Warehouse та Data Lake. Побудова і підтримка шарів staging, intermediate та marts.
Оптимізація та підтримка: рефакторинг і підвищення продуктивності наявних SQL- та Python-розробок, усунення технічного боргу, аналіз проблем у процесах завантаження та обробки даних.
Якість і надійність даних: реалізація перевірок Data Quality, валідації даних, логування, моніторингу та обробки помилок у data pipelines.
Аналітична звітність: підготовка структурованих наборів даних і моделей для побудови аналітичних дашбордів та звітності.
Які навички стануть у нагоді
Загальний досвід: від 2 років досвіду у сфері Data Engineering, SQL-розробки або Python-розробки для задач обробки даних.
SQL та PostgreSQL: впевнене написання складних SQL-запитів із використанням JOIN, CTE, window functions, підзапитів та агрегацій.
Практичний досвід роботи з PostgreSQL.
Розуміння планів виконання запитів і використання EXPLAIN / EXPLAIN ANALYZE.
Досвід оптимізації SQL-запитів, роботи з індексами та великими таблицями.
Розуміння партиціонування даних.
Досвід створення та підтримки views, functions, procedures та інших об’єктів бази даних.
Навички проєктування схем і моделей даних для аналітичних систем.
Відгукнутись на вакансію
