Data Engineer
Что предстоит делать
Вакансия Data Engineer в банке TopSelection. Проект – развитие единого интеграционного слоя и витрины DMDC. Задачи включают разработку потоков подключения метаданных, автоматизацию подключения СУБД, написание Python‑скриптов и Airflow DAG, оптимизацию Airflow DAG для таблиц Iceberg, доработку витрины DMDC и ведение проектной документации. Технологический стек: PostgreSQL, MS‑SQL, Oracle, ClickHouse, DB2, Tarantool, Elasticsearch, Hadoop (Impala, Hive), Spark, Iceberg, Kafka, S3, Python (Pandas, NumPy, Matplotlib), C#, SQL, Git, Jira, Kubernetes. Требуется глубокая экспертиза в PySpark и Airflow, опыт работы с Hadoop, настройка и оптимизация Spark‑приложений, знание SQL, ML‑библиотек (PyTorch/TensorFlow) и распределённых систем. Компания предлагает конкурентную зарплату 280–320 К руб/мес, полный рабочий день, долгосрочный контракт, оформление по договору с ИП, удалённую работу.
Что мы ждём от кандидата
- Глубокая экспертиза в PySpark и Airflow.
- Опыт с нагруженными распределёнными системами (Hadoop).
- Настройка и оптимизация Spark-приложений, управление ресурсами.
- Стек Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
- Kubernetes (K8s), нагрузочное тестирование.
- Экспертный SQL + оптимизация сложных запросов.
- Знание матстатистики, анализа данных, основ ML (PyTorch/TensorFlow).
- Опыт работы в распределённых системах и обеспечение консистентности данных.
Что предлагаем
- Ставка: 280–320К руб/мес
- Занятость: Full time
- Длительность: долгосрочно
- Локация: РФ
- Оформление: договор с ИП
О Deffic
Откликнитесь на сайте работодателя.