Remote · Full-time · Перетин із робочими годинами ЄС · Principal level
Про проєкт
Проєкт поєднує OSINT і сучасну аналітику даних. Платформа допомагає державним організаціям отримувати критично важливу інформацію про технологічне та економічне середовище росії й Китаю, зокрема їхні оборонно-промислові комплекси.
Про роль
Ви станете технічним лідером Data Acquisition Team — команди, яка збирає відкриті дані з різних джерел у всьому світі.
Сьогодні ми підтримуємо десятки парсерів для складних джерел, які постійно змінюються, обмежують частоту запитів та блокують автоматизований збір. Наша мета — масштабувати систему до сотень джерел, не збільшуючи команду пропорційно, налаштовуючи процеси з використанням ШІ.
Це Principal-роль із високим рівнем відповідальності. Ви прийматимете найскладніші технічні рішення, створюватимете інструменти для всієї команди та визначатимете подальший розвиток data acquisition architecture. Водночас наявна система має залишатися стабільною, а дані — надходити безперервно.
Ваші завдання
Створювати AI-assisted та agentic-інструменти, які перетворюють нове джерело на готові до роботи парсери.
Масштабувати систему від десятків до сотень донорів даних.
Розробляти self-healing механізми, які виявляють зміни джерел і збої, адаптуються та відновлюють роботу без ручного втручання в кожному випадку.
Відповідати за всю acquisition architecture: спільні scraper/parser frameworks, proxy та stealth strategy, scheduling і передачу даних до ADLS.
Забезпечувати стійкість до anti-bot механізмів, підтримувати міграції джерел і надійність системи в production.
Підтримувати стабільність наявного парку парсерів і донорів під час поступової перебудови.
Менторити інженерів, визначати технічні стандарти та розвивати AI-first підхід у команді.
Наш стек
Python · JavaScript · Playwright · Stealth browser tooling · VPN-based egress · Azure Data Lake Storage · Docker · Kubernetes · Azure AKS · GitLab CI · Grafana · Claude Code · Codex
Що для нас важливо
Досвід на рівні Principal або Staff у production data collection чи web scraping у великому масштабі.
Досвід визначення технічного напряму, а не лише реалізації готових рішень.
Також розглянемо сильного Senior Engineer, готового перейти на наступний рівень.
Досвід створення платформ і фреймворків, якими користуються інші інженери.
Глибоке знання Python.
Знання JavaScript, достатнє для reverse engineering вебсайтів: розуміння завантаження даних сторінкою, поведінки браузера та network layer.
Практичний досвід із JavaScript-heavy сайтами, headless browsers, proxies, rate limiting та anti-bot системами.
Практичне застосування LLM або agentic systems для генерації коду, автоматичного виправлення помилок чи автономних workflows.
Досвід із Docker, Kubernetes і cloud environments; Azure буде перевагою.
Розуміння cloud object storage і streaming systems як кінцевих точок для даних.
Регулярне використання Claude Code, Codex або інших agentic coding tools зі здатністю перевіряти їхній результат і відповідати за те, що потрапляє у production.
Системний підхід до тестування, якості та подальшої підтримки коду.
Високий рівень самостійності, технічне лідерство та здатність посилювати команду.
Впевнена, письмова і розмовна англійська — це основна мова комунікації.
Буде перевагою
Production-досвід з agentic або LLM-driven pipelines для генерації коду та збору даних.
Глибоке розуміння anti-bot механізмів, stealth crawling або роботи з CAPTCHA.
Досвід підтримки великих multi-source scraper fleets, source lifecycle tooling або crawl scheduling.
Робота з китайсько- чи російськомовними джерелами або вилученням даних із нелатинських писемностей.
Досвід із data quality або entity extraction.
Досвід у regulated, defense, intelligence або інших high-trust сферах.
AI як частина нашого engineering-процесу
Ми активно використовуємо AI-інструменти, щоб працювати швидше та підвищувати якість. Claude Code і Codex є частинами щоденного інженерного проц
