Мрія — державна освітня екосистема для учнів та учениць, батьків чи опікунів і вчителів, що надихає вчитися та допомагає знайти себе в сучасному світі. Це ініціатива Президента України, яку реалізують Мінцифри та МОН за підтримки Програми EGAP, що виконується Фондом Східна Європа коштом Швейцарії.
Шукаємо Data Engineer в AI-команду Мрії. Ви будуватимете й масштабуватимете пайплайни даних, на яких працюють наші AI-сервіси: від оцінювання якості згенерованих тестів до моделювання рівня знань учнів та учениць. Це роль на стику інфраструктури, даних і ML.
Наша команда шукає фахівця чи фахівчиню, яка:
Має від 3 років досвіду в Data Engineering
Впевнено володіє Python і SQL, вміє оптимізувати запити й читати плани виконання
Будувала й оптимізувала пайплайни на оркестраторах (Airflow, Dagster, Prefect або аналогах)
Має практичний досвід роботи з Kubernetes: розгортання сервісів, Helm-чарти, налаштування ресурсів і масштабування
Розуміє архітектури зберігання даних: data lake, warehouse, lakehouse, medallion, а також підходи до моделювання даних
Має досвід масштабування баз даних під великі обсяги: партиціювання, індексація, реплікація, вибір між OLTP- та OLAP-рішеннями
Працювала з хмарними платформами, переважно Google Cloud (BigQuery, GCS);
Вміє налаштовувати контроль якості даних: перевірки, валідацію схем, data contracts
Готова чи готовий глибоко занурюватися в предметну область і реалізовувати доменні метрики та складні обчислення;
Має вищу освіту.
Буде перевагою:
Досвід роботи зі Spark/PySpark і розподіленою обробкою даних
Досвід інтеграції ML-моделей у пайплайни: батч-інференс, LLM-інференс (vLLM тощо), а також розуміння принципів роботи моделей, їхніх обмежень і вартості;
Знання табличних форматів Delta Lake або Apache Iceberg
Досвід роботи з dbt
Досвід роботи з векторними та графовими базами даних (Qdrant, Neo4j)
Навички роботи з Terraform і CI/CD (GitLab CI)
Практичне знання інструментів observability: Prometheus, Grafana, а також LLM-телеметрії (Arize Phoenix)
Досвід роботи з власною (on-prem) інфраструктурою
Знання статистики та досвід роботи з освітніми даними.
Чим ви будете займатися:
Проєктувати й будувати пайплайни даних для AI-сервісів Мрії: від сирих даних до готових датасетів і метрик
Розвивати пайплайн офлайн-оцінювання якості згенерованих тестів: розрахунок метрик, тріаж, доставку результатів у продукт
Інтегрувати ML-моделі та LLM-інференс у пайплайни обробки даних
Проєктувати зберігання даних з урахуванням зростання системи до тисяч шкіл і мільйонів користувачів
Узгоджувати стандарти даних із різними командами.
Що ми пропонуємо:
Повну зайнятість у проєкті, важливому для майбутнього освіти в Україні
Роботу в офісі протягом перших двох місяців (є укриття); далі — можливий гібридний формат
Змогу долучитися до команди професіоналів, які змінюють освітню систему України
Участь у створенні продукту, що впливає на майбутнє покоління
Можливість бронювання.
Умови роботи в команді Мрії:
Повна зайнятість.
Перші два місяці — робота в офісі в Києві (є укриття), надалі — гібридний формат.
Офіційне працевлаштування.
Бронювання за наявності актуальних військово-облікових документів (ВОД).
Робота над важливим для України проєктом.
Етапи найму: Співбесіда з HR —> технічна співбесіда.
Якщо ця вакансія не для вас, але ви знаєте відповідну людину, порекомендуйте її, будь ласка 💙
