Аналитик данных
Summary
Data Analyst role on a Big Data team building a corporate analytics platform: designing data marts on Hadoop clusters (Scala/Spark), developing Java integration services (REST, Kafka, gRPC) on OpenShift, and analyzing, modeling, and validating data quality for back-office processing.
Наша команда отвечает за развитие направления Big Data для целей бэкофиса процессинга. Ищем талантливых специалистов в команду, разрабатывающую приложение корпоративной аналитической платформы.
Технологический стек включает в себя проектирование и построение витрин данных на кластерах Hadoop с использование собственного инструмента (на основе Scala и Spark), разработку интеграционных сервисов на Java (Rest, Kafka, gRPC), OpenShift, БД Pangolin.
Обязанности
- анализ требований: разработка ТЗ, проверка наличия данных и постановка задач на разработку
- анализ данных: исследование, очистка, преобразование и моделирование данных, проверка качества данных
- работа с заказчиком: активное взаимодействие на всех этапах проекта
- анализ исходных данных в различных системах и форматах для решения бизнес-задач (оценка структуры, качества, полноты и применимости данных)
- проектирование и разработка аналитических витрин данных
- мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин.
Требования
- высшее законченное техническое образование
- опыт работы в качестве Data Engineer/Data Analyst/ETL Developer не менее 2-х лет
- знание SQL на продвинутом уровне: аналитические функции, подзапросы, хранимые процедуры, оптимизация производительности
- опыт работы с большими объемами данных с использованием систем Hadoop, GreenPlum, Oracle, Teradata, MS SQL
- умение работать как самостоятельно, так и в команде.
Будет плюсом
- знание принципов построения распределенных систем хранения и обработки данных
- понимание принципов работы Spark кластера на базовом уровне (драйвер, executors, партиционирование данных, влияние этого на производительность)
- опыт построения витрин/пайплайнов в PySpark (batch-процессы, обновление витрин, работа с большим объемом данных)
- навыки работы с генеративными AI-моделями, опыт создания AI-агентов и использования их в работе.
Условия
- работа в офисе по адресу г. Москва, ст. м. Кутузовская
- формат работы: фултайм офис
- годовой бонус и ежегодный пересмотр
- расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
- корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
- льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм, скидки от партнеров и сервисов группы компаний.