Remote · Full-time · Перетин із робочими годинами ЄС · Principal level
Шукаємо досвідченого Data-інженера в технологічну компанію, що поєднує OSINT і сучасну аналітику даних, допомагаючи урядам отримувати критично важливу інформацію про технологічне та економічне середовище росії й Китаю. Наша платформа перетворює відкриті дані на практичну аналітику щодо оборонно-промислових комплексів і ширших технологічних екосистем цих країн.
Про роль
Ви приєднаєтеся до Data Processing Team, яка перетворює необроблені дані на чисті, структуровані та надійні датасети, що лежать в основі аналітики Datenna.
Ви відповідатимете за весь життєвий цикл data pipelines: від bronze-рівня з даними, отриманими нашими колекторами, через entity resolution і enrichment — до gold-датасетів, які використовуються продуктом, knowledge graph і комерційними експортами даних.
Це роль із високим рівнем відповідальності: ви проєктуватимете pipelines і data models, визначатимете технічні стандарти та підходи, на які спиратиметься команда.
Масштаб задач
Наша платформа обробляє понад 1 млрд data points, об’єднаних у knowledge graph із більш ніж 50 млн китайських компаній, людей, закупівель і зв’язків між ними.
Головний виклик — робити це правильно, повторювано, інкрементально та з оптимальними витратами. Ця роль підійде інженеру, який сприймає data modelling і pipeline design як ключові інженерні задачі та хоче відповідати за всю систему, а не лише за окремі трансформації.
Ваші завдання
Розробляти та підтримувати pipelines у межах Medallion Architecture: bronze → silver → gold.
Перетворювати необроблені дані на структуровані датасети з перевіреною якістю.
Відповідати за моделі компаній, людей і зв’язків між ними на всіх рівнях даних.
Розвивати схеми без порушення роботи продукту, аналітики та експорту даних.
Перевести обробку даних від повних оновлень до incremental processing, щоб нові дані потрапляли до користувачів протягом днів, а не наступних релізних циклів.
Створювати та підтримувати data assets і models у Dagster, dbt, Trino та Databricks.
Забезпечувати зрозумілий data lineage і належне покриття тестами.
Відповідати за gold-датасети, що використовуються продуктом, метриками та комерційними експортами.
Співпрацювати з командою, яка завантажує дані в Neo4j та Elasticsearch.
Розвивати аналітичний рівень і датасети для метрик та дашбордів у Metabase.
Покращувати якість даних, надійність, observability та вартість виконання pipelines.
Проводити змістовні code review, менторити менш досвідчених інженерів і допомагати формувати інженерну культуру команди.
Наш стек
Python · SQL · Dagster+ · dbt · Trino · Databricks · Apache Iceberg · Medallion Lakehouse · Azure Data Lake Storage · Neo4j · Elasticsearch · Metabase · Azure · GitLab CI · Grafana · Claude Code · Codex
Процес найму
4 етапи інтерв'ю англійською.
