Blaze Analytics — команда, специализирующаяся на построении аналитических платформ и решениях в области управления данными. Мы помогаем крупным компаниям и государственным организациям трансформировать работу с данными: от legacy-систем к современной Data Platform.
Сейчас мы расширяем команду и ищем Ведущего инженера данных (Lead Data Engineer) для участия в проекте построения Data Lakehouse для крупного государственного заказчика. Проект находится в активной фазе развития: мы переносим сотни потоков данных из legacy DWH в современную гибридную архитектуру.
В перспективе предстоит возглавить группу из 3-4 инженеров данных.
Понимание основ проектирования эффективных приложений для СУБД и подходов к оптимизации.
Опыт разработки PySpark и оптимизации Spark-приложений.
Опыт разработки на Python.
Опыт работы с одной из СУБД: Postgres, Oracle, Greenplum или аналогичной.
Опыт работы с Airflow.
Опыт работы с git.
Уверенный пользователь Linux (типовые команды и утилиты).
Желательно
Опыт работы с Trino/Hive/Hadoop.
Опыт работы с табличными форматами (предпочтительно Iceberg или DeltaLake/Hudi).
Опыт работы с Docker и Kubernetes.
Опыт разработки на Java (или понимание основ JVM).
Опыт работы с инструментами мониторинга (Grafana, Prometheus и аналогичные).
Задачи, которые тебя ждут
Разработка программных модулей (преимущественно ETL) с использованием PySpark и Airflow.
Создание модулей автоматизации ETL-процедур для переиспользуемого шаблонного кода.
Оптимизация разработанных решений.
Организационные и лидерские задачи:
Управление командой 2-4 человека (постановка задач, соблюдение общих стандартов и валидация результатов)
Декомпозиция высокоуровневых задач и делегирование разработчикам
Выстраивание процессов разработки (стандарты, CI/CD, стенды, инструкции развертывания)
Проведение технических демо разработанного функционала заказчику
Что мы предлагаем
Простор в реализации идей в рамках проекта. Мы за продуктовый подход - если ты знаешь предметную область заказчика, готов обосновать свои предложения и понимаешь, как они вписываются в цели проекта, то мы поддержим и дадим возможность их реализовать.
Низкий уровень бюрократии, а также возможность влиять на процессы в компании.
Рост до позиции руководителя группы инженеров данных.
Работу в аккредитованной IT-компании.
Своевременную белую зарплату дважды в месяц с возможностью роста.
Гибридный формат (обязательно быть в Москве, 2-3 дня в офисе заказчика в неделю).
Покупку техники (ноутбук + монитор).
Различные варианты оформления - в штат или на ГПХ.
* Эта вакансия взята с сайта HeadHunter. Нажимая на кнопку «Посмотреть контакты» Вы будете перенаправлены на сайт-первоисточник.
Вам предстоит руководить командой Java-разработки и принимать непосредственное участие в развитии продуктов Arenadata для распределённого хранения, пакетной и потоковой ...
Ищем самостоятельного дата-инженера для развития потоков данных в прикладном _Legal_-домене. Вам предстоит строить надежные пайплайны от источников до автоматизированных ...
Компании требуется инженер-программист, инженер-электронщик . Наша компания специализируется на разработке оборудования и программных продуктов связанных, с системами трекинга, ...
Продуктовая IT компания, которая занимается разработкой и поддержкой высоконагруженных проектов для крупных компаний, в том числе с мировой известностью, ...
Привет! Мы — PIX Robotics, аккредитованный российский ИТ-разработчик экосистемы для цифровой трансформации бизнеса. Мы создаем ИТ-продукты, занимающие ...
Инженер-разработчик IoT/Embedded систем (AgriTech) Мы разрабатываем собственные аппаратно-программные решения для сельского хозяйства и смежных отраслей: ...
Мы являемся лидерами комплексного проектирования объектов транспортной инфраструктуры РФ. Наша важнейшая задача – объединить транспортную систему Москвы ...