Про НАС
UKRSIBTECH — це амбітна ІТ-команда з близько 400 спеціалістів, що драйвить технології UKRSIBBANK.
Ми створюємо топовий банкінг для > 2 000 000 клієнтів та прагнемо виводити фінансову сферу в Україні на новий рівень. Нашими продуктами користуються юзери щоденного банкінгу, лідери української економіки та великі міжнародні корпорації.
Ми дякуємо нашим захисникам та захисницям, які віддано боронять свободу та незалежність України, та створюємо сприятливе середовище для роботи в банку.
Ми в пошуку Провідного інженера-програміста:
Ми шукаємо Data Engineer із виразним фокусом на LLM / RAG, який відповідатиме за побудову, автоматизацію та підтримку конвеєрів обробки даних для прикладних AI-рішень у напрямах ETL/ELT, підготовки даних для LLM і RAG (розбір документів, поділ на фрагменти,побудова ембедингів, індексація у векторних сховищах, формування контексту для моделей), журналювання та простежуваності AI-рішень,а також інтеграції з корпоративною платформою даних на базі open-source стеку та сервісів Azure, включно з даними з банківських legacy-систем як одного з важливих джерел.
Роль передбачає тісну взаємодію з Solution Architect, командою Data Science, DevMLOps, System Analyst, QA, Security та Compliance з фокусом на побудову надійних, масштабованих і відтворюваних конвеєрів обробки даних для LLM / RAG-рішень корпоративного рівня, що відповідають вимогам управління, контролю та аудиту.
Ключові зони відповідальності
Будувати та підтримувати ETL/ELT-конвеєри обробки даних для AI/ML та LLM-рішень: отримання даних, перетворення, перевірка якості, завантаження, оркестрація через Apache Airflow / Prefect та інтеграція з CI/CD (GitLab CI, Azure DevOps).
Будувати та підтримувати конвеєри підготовки даних для RAG і LLM-сценаріїв: розбір документів, поділ на фрагменти (fixed, semantic, recursive), генерація ембедингів, індексація та супровід векторних сховищ (Qdrant, OpenSearch kNN, Milvus), збагачення метаданих, інкрементальні оновлення, формування та контроль якості контексту для моделей.
Забезпечувати інфраструктуру журналювання та простежуваності для AI- та LLM-рішень: журналювання прогнозів і взаємодії з LLM (запити, відповіді, токени, затримка), аудит використання моделей, простежуваність походження даних і контексту, а також конвеєри аудиторського сліду для відповідності вимогам та управління даними.
Впроваджувати та підтримувати механізми контролю якості даних для AI / LLM-рішень: автоматизовану валідацію даних, керування схемами, контракти даних, виявлення аномалій у потоках даних, контроль якості контексту та звітність щодо якості.
Інтегрувати конвеєри даних для AI та LLM із корпоративною платформою даних: Cloudera (CDP/CML), Spark, Hive, HDFS, забезпечуючи безшовний потік даних між корпоративним сховищем даних, банківськими legacy-системами як джерелами даних, конвеєрами пошуку релевантного контексту та компонентами AI-платформи.
Будувати та підтримувати шар надання даних: REST / gRPC API (FastAPI), подієво-орієнтовану інтеграцію (Kafka / RabbitMQ), кешування даних (Redis) для забезпечення швидкого доступу до даних і контексту для AI- та LLM-компонентів.
Забезпечувати управління даними та відповідність вимогам: документування походження даних, каталогізацію даних, політики зберігання, анонімізацію / псевдонімізацію даних відповідно до GDPR, EU AI Act та банківських вимог.
Розробляти та підтримувати документацію для конвеєрів даних: специфікації, схеми потоків даних, словники даних, описи процесів добору контексту, робочі інструкції, визначення SLA та процедури реагування на інциденти.
Ми в пошуку фахівця, який має:
Вищу освіту.
Від 3 років досвіду в Data Engineering / ETL Development / Data Platform Engineering, з яких щонайменше 1 рік — у побудові конвеєрів обробки даних для AI/ML-рішень, зокрема для сценаріїв LLM / RAG, або корпоративних платформ даних.
Практичний досвід побудови та підтримки ETL/ELT-конвеєрів із використанням Apache Airflow / Prefect та Apache Spark.
Досвід роботи з Python, SQL та
