Ищем инженера по данным для участия в разработке системы, обрабатывающей информацию о продажах по всей России. Наша команда занимается созданием ETL-процессов и агрегатов для формирования витрин данных и отчетов для BI и конечных пользователей. Объем исходных данных в проекте огромен - несколько петабайт, сотни ETL-процессов работают над построением витрин, а ежедневно обрабатывается десятки-сотни терабайт информации. Если вы готовы принять вызов работы с такими масштабами данных, присоединяйтесь к нам!

Стек технологий: Scala, Apache Spark, ClickHouse, HDFS, Apache Airflow, PostgreSQL, Apache Kafka, Apache Hive, Apache Iceberg

Чем предстоит заниматься:

— Построение, поддержка ETL-процессов и решение разнообразных бизнес-задач для обработки больших объёмов данных с использованием Spark+Scala

— Оптимизация скорости обработки данных и потребления системных ресурсов

— Поиск и устранение причин ошибок, аномалий в результирующих данных

— Создание оптимальных SQL-запросов средней сложности для анализа больших объёмов данных по требованиям бизнеса

‍

Что мы ожидаем от кандидата:

— Владение Scala, Java или готовность оперативно освоить основы scala

— Консольный минимум Linux

— Опыт работы со Spark, уверенное понимание принципов работы и потенциальных проблем

— Знание основ работы с БД, уверенное знание SQL

‍

Будет плюсом:

— Опыт работы с Scala Dataframe/Dataset API

— Опыт построения и оркестрации ETL-процессов для обработки Big Data

— Опыт оптимизации spark-запросов и настройки потребляемых ресурсов

— Углублённое понимание принципов работы и конфигурационных параметров Spark

— Опыт работы с Zepellin или Jupiter

— Опыт работы с ClickHouse или иными NoSQL

— Опыт работы с Apache Airflow

— Знание Hadoop/HDFS, работа с Parquet-файлами, работа с hive

— Умение работать с GitLab CI

— Знание Bash достаточное, чтобы внести исправления в скрипты

— Минимальные знания Python

— Английский на уровне B1 и выше

‍

Мы предлагаем следующие условия:

— Работу в динамичной международной команде

— Участие в иностранных и российских проектах

— Оформление по ТК РФ, 100% оплата больничного и отпуска

— ДМС со стоматологией

— Необходимую для работы технику

— Корпоративные обучающие программы

— Широкие возможности для самореализации, профессионального и карьерного роста

— Демократичный подход к процессам и плавающее начало рабочего дня.