Data Engineer / Technical Lead (Senior / Lead)

Что предстоит делать

Что мы ждём от кандидата

• Опыт разработки ETL/ELT‑процессов, в которых значительная часть логики реализована на стороне СУБД
• Опыт разработки и сопровождения хранимых процедур / функций в СУБД
• Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных
• Опыт участия в проектах миграции ETL‑систем (Apache стек)
• Опыт разработки на Python (написание ETL‑скриптов, работа с pandas, интеграция с API)
• Опыт написания и отладки DAG’ов в Apache Airflow (не только проектирование, но и разработка)
• Опыт работы с PySpark (трансформации, оптимизация, партиционирование)
• Опыт миграции ETL‑процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum)
• Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка
• Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес‑процессы
• Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT
• Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC)
• Опыт работы с Oracle
• Опыт применения сложных SQL‑запросов (оконные функции, джоины)
• Умение оптимизировать запросы для highload‑среды
• Опыт проектирования интеграций Apache‑стека с Kafka и BI‑системами
• Опыт настройки потоковой обработки данных
• Опыт работы с Hadoop и Hive (знание версий, источников данных)
• Опыт работы с PostgreSQL, Greenplum, Clickhouse
• Опыт работы с Grafana/Prometheus для отслеживания ETL‑процессов
• Опыт работы с биллингом
• Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики)
• Опыт в системном анализе ETL
• Опыт TeamLead (управление командой) не менее 4 лет
• Умение переводить бизнес‑требования в технические спецификации
• Опыт подготовки документации для пользователей и разработчиков
• Опыт создания ER‑диаграмм, инструкций, тест‑кейсов

Что предлагаем

• Полная удалёнка
• Full-time

О Deffic