Data engineer (Авторешения)
Summary
Data engineer building BI reporting, automating operational-risk incident processes, and preparing data for ML models using Airflow, PostgreSQL, Kafka, Hadoop/Spark, Python, and SQL.
Мы — амбициозная команда, которая занимается развитием BI-отчетности, автоматизацией процессов регистрации инцидентов операционного риска и подготовкой данных для ML моделей. Мы создаём инновационные продукты, которые повышают эффективность и прозрачность бизнеса.
Основные технологии: Airflow, PostgreSQL, Kafka, Superset, Hadoop, Spark
Языки программирования и инструменты: Python, Spark, SQL
Системы управления кодом и CI/CD: BitBucket (Git), Jenkins
Управление задачами и документацией: Jira, Confluence
Работа по методологии Agile.* проектирование архитектуры и модели витрин данных
* разработка и оптимизация ETL-процессов для загрузки и обработки данных в DWH
* создание процессов мониторинга, проверок качества данных и автотестов разработанного функционала
* ведение технической документации по потокам данных.* опыт разработки автоматизированных ETL-потоков (желательно в Airflow и/или Hadoop (Spark)) или схожего функционала от 1 года
* продвинутый уровень владения Python и SQL
* понимание принципов работы баз данных, обработки больших данных и концепций непрерывной интеграции и доставки (CI/CD)
* высшее образование и широкий технический кругозор
* проактивность и ответственность за конечный результат
* английский язык на уровне чтения документации
* опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов
* инструментальное владение AI для анализа, генерации и автоматизации.* комфортный современный офис рядом с м. Кутузовская
* офисный формат работы
* ежегодный пересмотр зарплаты,
* корпоративный спортзал и зоны отдыха
* более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
* программа адаптации и помощь руководителя на старте (для Junior позиций)
* расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
* гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
* подписка Прайм с возможностью совместного использования на трёх близких
* вознаграждение за рекомендацию друзей в команду Сбера.