Data Engineer / Technical Lead
Что предстоит делать
Ищем сильного Data Engineer / Technical Lead для проекта в сфере телекоммуникаций. Задача – миграция ETL‑процессов с Informatica PowerCenter на стек NiFi + Airflow + Greenplum + SQL и хранимые процедуры, а также разработка и оптимизация ETL/ELT‑процессов, написание сложного SQL‑кода, настройка мониторинга и контроль качества данных. В обязанности входит разработка и отладка DAG’ов в Apache Airflow, работа с потоковой и пакетной обработкой данных, подготовка документации AS IS / TO BE, настройка мониторинга через Grafana/Prometheus, интеграция Apache‑стека с Kafka и BI‑системами, а также работа с Hadoop, Hive, Parquet, ORC, Oracle, PostgreSQL, Greenplum и ClickHouse. Требуется опыт работы с Python (ETL‑скрипты, pandas, интеграции с API), PySpark, NiFi, Airflow, SQL/PL/SQL, а также системный анализ ETL‑процессов и управление командой в роли Team Lead. Предпочтительно наличие опыта в биллинговых системах, построении процессов Data Quality и работы с биллинговыми системами. Проект находится в России/Беларуси, формат работы – удалённо, оформление – только ИП, график – МСК ±2 часа, занятость – полная, уровень – Senior / Team Lead. При желании присылайте резюме в Telegram @mblsvsk.
Что мы ждём от кандидата
- Сильный практический опыт разработки ETL/ELT, включая реализацию логики на стороне СУБД
- Разработка хранимых процедур и функций, SQL / PL/SQL или аналогичных расширений
- Миграция ETL‑систем на Apache/open‑source стек
- Миграция с Informatica PowerCenter на Airflow + Greenplum
- Разработка на Python: ETL‑скрипты, pandas, интеграции с API
- Разработка и отладка Airflow DAGs
- Работа с Apache NiFi: проектирование потоков, подключение источников, error handling, мониторинг и отладка
- Работа с PySpark: трансформации, оптимизация, партиционирование
- Работа с Hadoop, Hive, Hive Metastore, Parquet и ORC
- Работа с Oracle, PostgreSQL, Greenplum, ClickHouse
- Сложный SQL: оконные функции, joins, оптимизация запросов в highload‑среде
- Интеграции Apache‑стека с Kafka и BI‑системами
- Потоковая обработка данных
- Мониторинг через Grafana / Prometheus
- Построение процессов Data Quality: правила валидации, сравнение результатов миграции, контроль метрик
- Работа с биллинговыми системами
- Опыт системного анализа ETL‑процессов
- Опыт управления командой в роли Team Lead от 4 лет
- Умение переводить бизнес‑требования в технические спецификации
- Опыт подготовки технической и пользовательской документации
- Создание ER‑диаграмм, инструкций и тест‑кейсов
Что предлагаем
- Удалёнка
- Оформление: ИП
- График: МСК ±2 часа
- Занятость: полная
- Уровень: Senior / Team Lead
- Локация: РФ / РБ
О Deffic
Откликнитесь на сайте работодателя.