Data Warehouse — платформа для великих високонавантажених проєктів. Ядро аналітичного сховища побудоване на ClickHouse і обслуговує високонавантажені потоки даних: проєктні події, платежі, антифрод та compliance-звітність.
Ми шукаємо інженера, який зможе: прийняти сховище в поточному вигляді та забезпечити безперервність ETL/ELT-процесів без втрати якості; у перші тижні пройти передачу знань від ліда (архітектура кластера ClickHouse, пайплайни, інтеграції); у перспективі взяти на себе технічне лідерство в data-напрямку, оскільки другого data-інженера в команді на старті може не бути.
Обов’язки
Розробка та підтримка ETL/ELT-процесів для завантаження даних у DWH (платежі, транзакції)
Проєктування та оптимізація схем даних у ClickHouse (партиціювання, рушії таблиць, матеріалізовані представлення, TTL)
Оптимізація SQL-запитів для великих обсягів даних та високого навантаження
Інтеграція нових джерел даних (провайдери, платіжні системи, внутрішні сервіси) у сховище
Побудова та розвиток моделі даних (Star/Snowflake Schema, шари Landing → Staging → Core → Data Marts)
Впровадження та підтримка перевірок якості даних (data quality checks) і моніторингу pipeline’ів
Забезпечення відповідності збережених даних вимогам compliance/AML/регуляторної звітності
Автоматизація обробки даних за допомогою Python
Документування архітектури, схем та рішень — щоб команда могла працювати далі без залежності від однієї людини
Менторство та передача знань під час розширення команди
Обов’язкові вимоги
Досвід роботи Data Engineer’ом (або на суміжній позиції — DWH Developer, Database Engineer) — від 4 років
Впевнене знання SQL просунутого рівня, включаючи оптимізацію запитів на великих обсягах даних
Практичний досвід роботи з ClickHouse (адміністрування, оптимізація, проєктування схем) або іншими колонковими/OLAP СУБД (Greenplum, Vertica) з готовністю швидко зануритися в ClickHouse
Досвід проєктування та розробки ETL/ELT pipeline’ів з нуля та їх підтримки в production
Впевнене знання Python для обробки, інтеграції та автоматизації даних
Розуміння архітектури Data Warehouse: Fact/Dimension, Star/Snowflake Schema, шари Landing→Staging→Core→Marts (або bronze/silver/gold)
Досвід роботи з оркестрацією pipeline’ів (Airflow або аналоги)
Досвід роботи з високонавантаженими/великими обсягами даних
Розуміння принципів data quality, моніторингу та observability для data-процесів
Досвід роботи з Git, CI/CD
Готовність працювати самостійно та приймати технічні рішення (на старті поруч може не бути другого data-інженера)
Буде плюсом
Досвід із Kafka або іншими потоковими платформами (для near-real-time подій)
Досвід із dbt або аналогічним transformation framework
Розуміння compliance/AML/регуляторної звітності
Досвід менторства та побудови інженерних стандартів у data-команді
Досвід міграції/рефакторингу legacy DWH-рішень
Знання Docker/Kubernetes
Досвід із BI-інструментами (Power BI, Tableau, Metabase, Superset тощо)
Ми пропонуємо
Гнучкий графік
Щорічний perfomance review
20 днів на відпустку, 5 day-offs, 15 лікарняних, вихідні на усі державні свята
Подарунки на день народження, бонуси на особисті родинні свята та ще багато приємностей
Медична страховка від компанії UNIQA
Участь у конференціях та профільних навчальних заходах коштом компанії
Персональна нова робоча техніка
Зручна виплата заробітної плати
Постійна підтримка зв’язку з усіх необхідних питань.
Відгукнутись на вакансію
