← Усі вакансії

Automation QA Engineer (4099)

Ciklum

Місто:: Львів
Формат:: повний remote
Джерело:: jobs.dou.ua

Відгукнутись на вакансію →

Що робити

AI Output Quality Assurance: Design and run automated test suites to validate non-deterministic LLM-generated documentation against code source truth and strict NLI accuracy thresholds
Data Pipeline Validation: Verify state consistency, schema integrity, and data transformation accuracy across batch executions in Neo4j knowledge graphs and Qdrant vector databases
Regression & Evaluation Testing: Build automated test frameworks to track output quality drift, hallucination rates, and pipeline performance across code releases
Test Dataset Management: Create and maintain evaluation baselines (“golden datasets”) to continuously benchmark LLM prompt outputs and retrieval accuracy
Cross-Functional Collaboration: Partner closely with Senior AI/ML Engineers and Data Engineers to define automated acceptance criteria, defect logging, and pipeline health checks

Що очікуємо

Professional Experience: 3+ years in Automation Quality Assurance (AQA) with a heavy focus on backend systems, complex data pipelines, or AI-driven applications
Mandatory Domain Experience:
Direct experience testing AI/LLM outputs (evaluating non-deterministic generated text, confidence scoring, and NLI assertion logic)
Direct experience in data pipeline & ETL testing (verifying batch processing, schema integrity, and data transformations)
Automation & Scripting: Advanced proficiency in Python and test frameworks such as PyTest

Схожі вакансії

З блогу Trackr

Усі статті →

Поради з CV · 8 хв читання

QA Automation CV у 2026: булети, що бачать інженера

Поради з CV · 5 хв читання

CV для QA Manual у 2026: як звучати як інженер

Поради з пошуку роботи · 9 хв читання

Зарплати айтішників: Польща, Чехія, Німеччина 2026

Знайдено через trackr.help/jobs · Канал: @trackrhelp · Бот для персональних сповіщень: @trackrhelpBot