Инженер данных

Требования: Степень в области компьютерных наук, информационных наук, инженерии, математики или смежной технической дисциплины Опыт работы более 5 лет с SQL и NoSQL технологиями Сильный опыт работы с базами данных Oracle и PostgreSQL Обширный опыт в разработке ETL, сильные навыки программирования на Python Углубленные знания PySpark для обработки больших объемов распределенных данных Умение работать с Airflow для планирования, оркестрации и мониторинга сложных ETL/ELT рабочих потоков Эксперт в Kafka для стриминга событий и месседжинга Опыт работы с MinIO (хранение, совместимое с S3), управление данными в форматах Parquet и Iceberg Знакомство с концепциями Lakehouse Глубокое понимание концепций архитектуры MPP Следующий опыт будет считаться преимуществом: Знакомство с Impala для интерактивных SQL-запросов по Big Data Опыт работы с Greenplum Знакомство с контейнеризацией (Docker, Kubernetes) Опыт работы с инструментами CDC, такими как Debezium и Oracle GoldenGate для репликации данных в реальном времени Опыт работы с инструментами визуализации данных (например, Tableau, PowerBI и др.) Понимание принципов DataOps и DevOps Знание моделирования данных и проектирования баз данных Опыт работы с лучшими практиками инженерии данных, такими как безопасность данных, контроль доступа к данным и управление данными Знание Grafana для мониторинга метрик Умение работать с GitLab для контроля версий Опыт наставничества младших инженеров данных и сотрудничества с кросс-функциональными командами (учеными данных, аналитиками, DevOps)