Инженер по данным

Требования: Степень в области компьютерных наук, информационных наук, инженерии, математики или смежной технической дисциплины. 5+ лет опыта работы с технологиями SQL и NoSQL. Сильный опыт работы с базами данных Oracle и PostgreSQL. Обширный опыт в разработке ETL, с сильными навыками программирования на Python. Углубленные знания PySpark для распределенной обработки данных в большом масштабе. Умение работать с Airflow для планирования, оркестрации и мониторинга сложных рабочих процессов ETL/ELT. Экспертность в Kafka для потоковой передачи событий и каналов сообщений. Опыт работы с MinIO (S3-совместимое хранилище), управление данными в форматах Parquet и Iceberg. Ознакомленность с концепциями Lakehouse. Глубокое понимание архитектурных концепций MPP. Следующий опыт будет рассматриваться как преимущество: Ознакомленность с Impala для интерактивных SQL-запросов к Big Data. Опыт работы с Greenplum. Ознакомленность с контейнеризацией (Docker, Kubernetes). Опыт работы с инструментами CDC, такими как Debezium и Oracle GoldenGate для репликации данных в реальном времени. Опыт работы с инструментами визуализации данных (например, Tableau, PowerBI и т.д.). Понимание принципов DataOps и DevOps. Знания в области моделирования данных и проектирования баз данных. Опыт работы с лучшими практиками инженерии данных, такими как безопасность данных, контроль доступа к данным и управление данными. Знания Grafana для мониторинга метрик. Умение работать с GitLab для контроля версий. Опыт наставничества младших инженеров по данным и сотрудничества с межфункциональными командами (учеными по данным, аналитиками, DevOps).