Data Engineer
Что предстоит делать
Компания deeplay. Стек: СУБД PostgreSQL / ClickHouse, Python, Apache Airflow, GitHub, Docker, Kubernetes. Предстоит поддерживать и развивать: десктопное кроссплатформенное ПО (Java 17+, Swing); монолитное ПО, включает в себя клиентскую и серверную части (взаимодействие посредством gRPC); отсутствие фрэймворка, используются собственные наработки; организация взаимодействия с БД (PostgreSQL, ClickHouse) посредством jdbc, без подключения дополнительных библиотек; организация работ механизмов в многопоточном режиме с помощью ExecutorService, CompletableFuture; покрытие кода тестами (Mockito, JUnit); аналитические запросы и большие объёмы данных (~60 TB).
Что мы ждём от кандидата
- Опыт работы в аналогичной роли от 3 лет
- знание теории реляционных БД, понимание логической, физической моделей БД
- опыт оптимизации сложных запросов
- опыт поиска проблем в работающих под высокой нагрузкой системах
- Опыт создания и поддержки ETL-процессов
- Глубокий практический опыт разработки на Python (pandas, numpy)
- Опыт работы с Apache Airflow, самостоятельное создание DAG
- Опыт работы с СУБД Clickhouse, написание средних/сложных и нетривиальных SQL-запросов
- Умение самостоятельно брать задачи, по необходимости уточнять требования и доводить до финального результата
- Навык поиска оптимальных решений: умение работать в условиях неопределенности, формулировать вопросы и предлагать решения
О Deffic
Работодатель свяжется с вами через контакты из профиля.