Любой город
Senior
Дата-инженер

Дата-инженер (Spark)

В проекте «Grapher», ключевом драйвере монетизации внутренней платформы работы с данными «Profiles Platform», открыта вакансия инженера по разработке высоконагруженных систем

    Дата-инженер (Spark)

    Описание

    Grapher — это масштабный граф клиентских связей (более 70 млрд рёбер) на базе Cassandra, обеспечивающий:

    • Скоринг по окружению: оценка кредитных рисков на основе 2-hop сетей контактов

    • BAF (Bring a Friend): подбор наиболее релевантных рефералов

    • Антифрод: выявление мошеннических схем и аномалий в связях

    • Telesales: рекомендация целевых продуктов под каждого клиента по уго окружению

    Обязанности

    • Решать сложные задачи по разработке нетипового ETL

    • Формировать лучшие практики разработки ETL на Apache Spark + S3 + Iceberg

    • Участвовать в проработке архитектурных решений в области ETL, проводить пилоты технологических решений

    • Наращивать инженерную культуру и уровень знания технологий среди команд — разработчиков ETL

    • Формировать требования к профессии инженера данных

    • Участвовать в найме сотрудников, менторить и развивать инженеров данных

    Требования

    • У вас есть опыт промышленной разработки на Apache Spark от 3 лет

    • Хорошо знаете один из табличных форматов — Iceberg, DeltaLake, Hudi

    • Есть практический опыт оптимизации задач на Spark

    • Знаете один из языков программирования — Java, Python или Scala

    • Владеете SQL на уровне написания аналитических запросов

    Мы предлагаем

    • Работу в офисе или удаленно — по договоренности

    • Платформу обучения и развития «Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии 

    • Комплексную программу заботы о здоровье. Оформим полис ДМС с широким покрытием и страховку от несчастных случаев. Предложим льготные условия страхования для ваших близких

    • Возможность работы в аккредитованной ИТ-компании

    • Линейку льготных тарифов на продукты Т‑Банка

    • Частичную компенсацию затрат на спорт 

    • Well-being-программу, которая помогает улучшить психологическое и физическое здоровье, а также разобраться с юридическими и финансовыми вопросами

    • Три дополнительных дня отпуска в год

    • Достойную зарплату — обсудим ее на собеседовании

    Откликнуться на вакансию

    Фамилия Имя Отчество
    Выберите резюме/портфолио или перетащите их сюда
    Прикрепите файл в формате PDF, DOCX, DOC или PPTX

    Заполняя форму, вы принимаете , и политику обработки персональных данных

    Похожие вакансии
    Дата-инженер

    Руководитель группы дата-инженеров

    Ищем тимлида в направление антифрода платежных систем и транзакций. Вы будете управлять командой и развивать домен данных

    Дата-инженер

    Дата-инженер

    Делаем так, чтобы данные работали на бизнес. Ищем опытного дата-инженера, который вместе с командой выведет нашу Data Platform на новый уровень

    BI-аналитик

    Бизнес-аналитик BI (Shopping)

    Ищем сильного BI-щика, кто возьмет на себя развитие BI в направлениях Выгоды и Коммерческой аналитики Шопинга, а также будет драйвить и развивать BI культуру среди продуктовых аналитиков