DevOps-инженер на платформу данных (в архиве)

09 Июня

Партнерские Вакансии

Компания "VS Robotics (ООО АБТ)"

Мы создаем современные ИТ-продукты и технологичные решения, которые помогают бизнесу сокращать расходы на коммуникации с клиентами, повышают эффективность рабочих процессов и легко адаптируются под любые его направления. Решения ООО "АБТ" применяются в банковской сфере, телекоммуникациях, страховании, ритейле, здравоохранении, ЖКХ и многом другом.

О проекте

Мы строим современную платформу данных для финансовой компании.
Мигрируем инфраструктуру с legacy на Kubernetes стек: Apache Iceberg, Spark, Trino, Airflow. Обрабатываем сотни миллионов финансовых записей

Миссия команды: обеспечение надежной и масштабируемой инфраструктуры для платформы данных, автоматизация процессов развертывания, мониторинга и эксплуатации data-сервисов

Стек платформы

Kubernetes (production-кластеры),Apache Spark, Apache Airflow, Trino, Apache Iceberg, OpenMetadata,S3 (MinIO), Iceberg tables, PostgreSQL,GitLab CI/CD,Terraform, Ansible, Helm,Prometheus, Grafana, Docker

Чем предстоит заниматься?

• Развертывание и поддержка кластеров Kubernetes для Airflow, Spark, Trino, OpenMetadata и вспомогательных сервисов
• Написание и поддержка Helm-чартов для всех компонентов Дата Платформы
• Разработка и поддержка CI/CD пайплайнов (GitLab CI) для развертывания DAG, конфигов, Helm-чартов и Docker-образов
• Настройка мониторинга инфраструктуры и data-приложений (Prometheus, Grafana)
• Настройка алертинга и логирования для Spark-джобов, Airflow DAGs и Trino-запросов
• Управление S3/MinIO-хранилищем для datalake (Iceberg tables)
• Оптимизация ресурсов K8s для Spark-джобов
• Обеспечение безопасности и управление доступом к инфраструктуре
• Автоматизация инфраструктуры через Terraform
• Разработка документации, актуализация базы знаний, написание инструкций
• Взаимодействие с дата-инженерами и аналитиками по вопросам инфраструктуры

Мы ищем сотрудника, у которого есть:

• Опыт работы DevOps-инженером от 1-3 лет
• Глубокие знания Kubernetes
• Helm: написание чартов с нуля, кастомизация, управление зависимостями
• Опыт построения CI/CD пайплайнов с полным циклом доставки Dev и Prod
• Опыт администрирования Linux-систем, Bash
• Docker: сборка образов, оптимизация
• Опыт работы с системами мониторинга (Prometheus, Grafana)
• Понимание сетевого стека: DNS, Ingress, балансировка
• Опыт развертывания и поддержки Apache Airflow в Kubernetes
• Опыт деплоя Apache Spark в Kubernetes (spark-operator)
• Опыт работы с Trino / Presto

Будет плюсом:

• Опыт с Apache Kafka (деплой, обслуживание)
• Базовые знания SQL и понимание работы СУБД
• Опыт работы с metadata-каталогами (OpenMetadata, DataHub)
• Опыт работы в финансовом секторе

Что мы предлагаем?

• Конкурентную зарплату с годовой премией (обсудим ваши ожидания на собеседовании)
• Официальное оформление в российскую ИТ-компанию с аккредитацией
• Привлекательные бонусы: ДМС, бесплатная подписка «СберПрайм+», скидки на изучение английского языка, бесплатный фитнес в офисе или скидки на покупку абонемента себе и близким, скидки от партнёров Сбера, корпоративная пенсионная программа
• Льготная ипотека в Сбере
• Удобный формат работы: удалённо или в гибридном формате, «короткая» пятница