Инженер данных

Требования: Степень в области компьютерных наук, информационных наук, инженерии, математики или смежной технической дисциплины 5+ лет опыта работы с технологиями SQL и NoSQL Сильный опыт работы с базами данных Oracle и PostgreSQL Обширный опыт разработки ETL с сильными навыками программирования на Python Продвинутые знания PySpark для обработки данных в распределенной системе большого масштаба Проficiency в Airflow для планирования, оркестрации и мониторинга сложных рабочих процессов ETL/ELT Экспертиза в Kafka для потоковой передачи событий и пайплайнов обмена сообщениями Опыт работы с MinIO (S3-совместимое хранилище), управление данными в форматах Parquet и Iceberg Знакомство с концепциями Lakehouse Глубокое понимание концепций архитектуры MPP Следующий опыт будет считаться преимуществом: Знакомство с Impala для интерактивных SQL-запросов по большим данным Опыт работы с Greenplum Знакомство с контейнеризацией (Docker, Kubernetes) Опыт работы с инструментами CDC, такими как Debezium и Oracle GoldenGate для репликации данных в реальном времени Опыт работы с инструментами визуализации данных (например, Tableau, PowerBI и др.) Понимание принципов DataOps и DevOps Знание моделирования данных и проектирования баз данных Опыт работы с наилучшими практиками работы с данными, такими как безопасность данных, контроль доступа к данным и управление данными Знание Grafana для мониторинга метрик Уверенное владение GitLab для контроля версий Опыт наставничества младших инженеров данных и сотрудничества с межфункциональными командами (ученые данных, аналитики, DevOps)