Disponível para novas oportunidades

Eli
Rodrigues

Head of Data Engineering · Azure Databricks · Data Lakehouse · Spark

Construo plataformas de dados que escalam. 15+ anos transformando dados brutos em ativos estratégicos — atualmente na Lifetime Tech, onde projetei e implementei do zero toda a infraestrutura de dados Azure: ADLS Gen2, Databricks Premium, Unity Catalog, Medallion Architecture e pipelines de IA em produção.

Falar comigo LinkedIn

15+

Anos de experiência

Cloud Platforms

∞

Dados processados

Competências

Do pipeline à plataforma.
Da ingestão ao insight.

🏗️

Arquitetura de Dados

Lakehouse Bronze/Silver/Gold Data Mesh Lambda Architecture

⚡

Processamento Distribuído

PySpark Apache Spark Delta Lake Batch & Streaming

☁️

Cloud Platforms

Microsoft Azure AWS Google Cloud ADLS Gen2

🔄

Orquestração & Automação

Azure Data Factory Databricks Workflows Apache Airflow Event Driven

🛡️

Governança de Dados

Unity Catalog RBAC Data Lineage FinOps

🔌

Ingestão & Integração

APIs REST JSON/XML Streaming Batch ETL/ELT

Trajetória

Experiência Profissional

DEZ 2025 — ATUAL

Head of Data Engineering

Lifetime Tech (LFTM) · Remoto

Responsável pela concepção, provisionamento e evolução completa da plataforma de dados Azure — partindo de infraestrutura legada caótica (Airflow Container Apps + File Storage) e reconstruindo do zero com arquitetura moderna, governança e IA integrada.

Provisionamento completo dos ambientes DEV e PRD do zero: ADLS Gen2 com HNS, Databricks Premium, Key Vault, Access Connector e Microsoft Entra ID
Implementação de Unity Catalog com External Locations, Storage Credentials e RBAC granular com 4 roles (data-admin, data-engineer, data-analyst, etl-runner)
Arquitetura Medallion completa (Bronze → Silver → Gold) com Delta Lake, autenticação OAuth MSI — zero shared keys, 100% via Key Vault
Configuração de Databricks Workflows via Databricks Asset Bundles (YAML) com pipelines de orquestração e monitoramento agendados
Dashboard de monitoramento em tempo real com HTML/CSS/JS renderizado via Databricks notebooks
Redução de custos Azure superior a R$ 2.200/mês com substituição de Airflow Container Apps e File Storage legado

            ✦ Projeto de Destaque — Esteira de Transcrição Inteligente
            Pipeline end-to-end que processa gravações de reuniões (Teams, WhatsApp Business, iOS Swift App) via API de diarização IA: transcrição WebVTT, diarização por speaker, classificação NLP e integração automática ao CRM Oracle — orquestrado via Databricks Workflows sobre ADLS Gen2 com Unity Catalog e Key Vault.
          

NOV 2022 — DEZ 2025

Head of Data Engineering

Semantix · Projeto Bradesco Seguros · Remoto

Liderança técnica na construção da plataforma de dados do projeto OPIN (Open Insurance Brasil) na Bradesco Seguros — ecossistema de ingestão, validação e governança de dados de seguros para o regulatório de Open Insurance.

Arquitetura de pipelines ADF multi-categoria de ingestão de dados externos de seguros: auto, vida, risco, rural, habitacional, capitalizacao, cadastral, sobrevivência, patrimonial
Construção de Visão 360 do cliente segurado — dashboard consolidando apólices, sinistros e dados contratuais de todas as categorias de produto por consentimento
Desenvolvimento de Validador de Schemas OPIN (v2 e v3): validação granular de JSONs contra schemas do Unity Catalog, navegação em estruturas JSON aninhadas, classificação campo a campo (required vs. optional) e movimentação automática para paths release/ok e release/nok
Dashboard de checklist e monitoramento de saúde das pipelines ADF por categoria — com KPIs de consentimentos, taxa de processamento, timeline diária e detector de anomalias
Parser de erros ADF via UDF com 9 categorias de classificação de falha: severidade, ação recomendada e diagnóstico de erros de Source/Sink no ADLS
Detecção de anomalias estruturais críticas: referência cross-category em Silver, caminhos de workspace de dev em produção
Meta-notebook gerador (patrimonial_notebook_generator) que escreve programaticamente notebooks de pipeline no workspace Databricks via dbutils.fs.put()

            ✦ Destaque — Validador OPIN v3
            Notebook de produção com navegação em JSON aninhado, SQL corrigido com FILTER para remoção de NULLs, validação granular required/optional e pipeline de movimentação de arquivos para release/CATEGORIA/ok e nok — otimizado de 4 minutos para ~30 segundos de execução.
          

OUT 2021 — NOV 2022

Data Engineer

DataSide · Projeto Lavoro · Google Cloud

Projetos de engenharia de dados no ecossistema Google Cloud, incluindo integração de múltiplas empresas em plataforma analítica centralizada.

Pipelines de dados distribuídos com Dataproc e BigQuery
Processamento batch e streaming
Datasets analíticos para consumo em ferramentas de BI

MAI 2019 — OUT 2021

Data Engineer

DataSide · Projeto Santander · AWS

Engenharia de dados em ambiente AWS para um dos maiores bancos do Brasil.

Pipelines ETL com AWS Glue
Streaming em tempo real com Kinesis
Modelagem em Redshift e Snowflake
Processamento batch com AWS Batch

OUT 2018 — MAI 2019

ML Engineer / Data Engineer

InCor — Instituto do Coração (USP) · São Paulo

Projeto de pesquisa em coleta e processamento de dados de dispositivos wearable para estudos clínicos.

Pipelines para ingestão de dados de dispositivos IoT
Modelos de machine learning para análise de padrões clínicos
Preparação e limpeza de dados para treinamento

Projetos

Construído em produção.
Não em slides.

01 · LIFETIME TECH

Plataforma de Dados Azure — Do Zero

Provisionamento completo dos ambientes DEV e PRD: ADLS Gen2 com HNS, Databricks Premium, Unity Catalog com External Locations, Azure Key Vault com secret scopes, Access Connector OAuth MSI e RBAC granular com 4 roles. Migração de infraestrutura legada com redução de +R$2.200/mês em custos.

ADLS Gen2Databricks PremiumUnity CatalogKey VaultOAuth MSIFinOps

02 · LIFETIME TECH

Esteira de Transcrição Inteligente

Pipeline end-to-end que processa gravações de reuniões (Teams, WhatsApp, iOS) via API de diarização IA: transcrição WebVTT, diarização por speaker, classificação NLP e integração automática ao CRM Oracle. Orquestrado via Databricks Workflows com tabela de controle Delta Lake e dashboard de monitoramento em tempo real.

DatabricksDelta LakePySparkAzure AICRM OracleWebVTT

03 · BRADESCO SEGUROS · 2022–2025

OPIN — Open Insurance Brasil

Plataforma regulatória de Open Insurance: pipelines ADF multi-categoria (9 produtos), Visão 360 do cliente segurado, Validador de schemas v3 com navegação JSON aninhada, dashboard de monitoramento com parser de erros ADF em 9 categorias e detector de anomalias estruturais. Performance: de 4min para 30s de execução.

ADFPySparkUnity CatalogDelta LakeOPIN

04 · SANTANDER / LAVORO

Plataformas Analíticas Multi-empresa

Construção de plataformas analíticas centralizadas em AWS (Santander) e GCP (Lavoro) para processamento de dados em escala bancária e integração de múltiplas empresas em hub analítico unificado.

AWS GlueKinesisBigQuerySnowflake

Tecnologias

Stack Tecnológica

Core · Data Engineering

Python PySpark Apache Spark Delta Lake SQL Scala Kafka Hadoop Hive

Cloud · Azure

Azure Databricks ADLS Gen2 Azure Data Factory Unity Catalog Azure Key Vault Azure AI Services Microsoft Entra ID

Cloud · AWS / GCP

AWS Glue Amazon Kinesis AWS Batch Amazon Redshift BigQuery Dataproc Cloud Storage

Orquestração · DevOps

Apache Airflow Databricks Workflows Docker Kubernetes Git

Banco de Dados

PostgreSQL Oracle SQL Server MySQL MongoDB Snowflake

Contato

Vamos conversar sobre seu próximo projeto de dados?

Disponível para posições de liderança em engenharia de dados, arquitetura de plataformas Azure/Databricks e projetos de Data Lakehouse — com capacidade de entregar ambientes completos do zero, DEV ao PRD.

📍 Itupeva, SP — Remoto disponível

✉️

rodrigues.eli@gmail.com

💼

eli-rodrigues-125a93b

📱

Telefone / WhatsApp

+55 11 94346-9899