Trainee Data Engineer

Що робити

Шукатимеш і виправлятимеш дублікати, пропуски й розбіжності в таблицях BigQuery та Cloud SQL (PostgreSQL).
Доповнюватимеш довідники та атрибути, яких бракує або які заповнені з помилками.
Писатимеш SQL-перевірки на цілісність: чи зійшлася кількість рядків після завантаження, чи немає порожніх ключових полів, чи на місці всі звʼязки між таблицями. Ці перевірки ти загортатимеш у DAG-и в Airflow, щоб вони запускалися самі.
Звірятимеш дані після міграції в BigQuery: чи збігаються суми й кількості зі старою системою.
Куди далі

SQL на рівні, коли ти впевнено пишеш JOIN, GROUP BY і віконні функції та можеш розібратися, чому запит повертає не те, що ти очікував.
Python на базовому рівні: пишеш скрипти, працюєш з pandas, читаєш чужий код.
Розуміння основ: що таке первинний ключ і типи даних, чим таблиця фактів відрізняється від довідника.
Базовий Git: commit, branch, pull request.
Уважність і терпіння до рутини. Це дуже важливо.