Банк «Південний» — один із лідерів фінансового ринку України, який займає третє місце у групі українських банків із приватним капіталом за розміром активів.
Вже 32 роки «Південний» є надійним фінансовим партнером для приватних клієнтів, малого, середнього і корпоративного бізнесу. Команда «Південного» — це понад 1700 активних і цілеспрямованих співробітників по всій Україні.
Зараз ми шукаємо Data Engineer.
Місія ролі:
Розвиток та підтримка сучасної Data Platform Банку, створення надійних, продуктивних і масштабованих процесів обробки та інтеграції даних.
У цій ролі ви будете відповідати за розробку ETL/ELT-процесів, побудову data pipelines, оптимізацію обробки великих обсягів даних та забезпечення їхньої якості.
Окремим напрямом стане участь у міграції існуючих Oracle ETL-процесів на Data Platform, впровадження сучасних інженерних підходів та розвиток стандартизованих компонентів для роботи з даними.
Що ми пропонуємо:
конкурентну заробітну плату;
медичне страхування;
роботу у функціональному комфортному офісі з можливістю дистанційної роботи;
консультації корпоративного психолога;
можливість кар’єрного росту та розвитку;
можливість проходження професійних курсів та навчання;
можливість працювати в стабільній та професійній компанії з дружньою командою.
Що потрібно робити:
розробляти та підтримувати ETL/ELT-процеси в Data Platform Банку;
писати та оптимізувати SQL, Spark / PySpark-код і data pipelines;
реалізовувати обробку даних за архітектурою RAW → HIST → TRANSFORMED → GOLD;
розробляти incremental, CDC та near-real-time процеси обробки даних;
створювати та підтримувати механізми завантаження даних (data ingestion) з різних джерел;
реалізовувати historization, deduplication, validation та reconciliation;
оптимізувати Spark jobs, включаючи partitioning, joins, shuffle, memory та parallelism;
розробляти повторно використовувані компоненти та framework-рішення для типових процесів обробки даних;
брати участь у code review, refactoring та усуненні технічного боргу;
впроваджувати механізми Data Quality, logging, monitoring, retry та error handling;
працювати з Apache Ozone, Apache Iceberg, Parquet та іншими компонентами Data Platform;
розробляти та підтримувати DAG і процеси оркестрації в Apache Airflow;
працювати з metadata model, Data Catalog та Data Lineage;
підтримувати процеси CI/CD, Git та підхід Everything as Code;
брати участь у міграції існуючих Oracle ETL-процесів на Data Platform;
проводити performance testing, аналізувати bottlenecks та оптимізувати продуктивність процесів;
готувати технічну документацію та стандартизовані шаблони реалізації;
взаємодіяти з Data Architect, аналітиками, ІТ-фахівцями та іншими командами під час розробки й впровадження data-рішень.
Для цього знадобиться:
досвід роботи Data Engineer / ETL Developer / DWH Developer від 3 років;
впевнене володіння SQL та практичний досвід оптимізації запитів;
практичний досвід роботи з Apache Spark / PySpark;
досвід розробки ETL/ELT-процесів та data pipelines;
розуміння принципів distributed processing, partitioning, shuffle та parallelism;
досвід обробки великих обсягів даних;
розуміння CDC, incremental processing та historization;
досвід роботи з Parquet, Iceberg або аналогічними форматами;
досвід роботи з Apache Airflow або іншими інструментами оркестрації;
практичний досвід code review, refactoring та performance optimization;
розуміння принципів Data Quality, logging, monitoring та error handling;
досвід використання Git, CI/CD та підходу Everything as Code;
розуміння процесів розробки та розгортання змін між середовищами DEV / TEST / PROD;
вміння писати структурований, підтримуваний та повторно використовуваний код;
навички аналізу вузьких місць і підвищення продуктивності процесів обробки даних;
базове розуміння Data Modeling, Metadata Management, Data Catalog та Data Lineage;
досвід командної взаємодії з Data Architect, аналітиками та ІТ-фахівцями;
англійська мова — Intermediate, достатня для роботи
