José Victor Xavier Camacho · Engenheiro de Dados

Extraio informação e construo conhecimento em um mar de dados caóticos.

Data Engineer na GFT · AWS, Big Data e Infraestrutura como Código

Projeto, construo e otimizo pipelines de dados batch e streaming em AWS e Hadoop: da ingestão ao Data Mesh, com Terraform, CI/CD e testes automatizados.

Ver experiência LinkedIn GitHub Currículo (PDF)

Role para organizar

60+contas AWS democratizadas no Data Mesh

200+tabelas disponibilizadas no Data Mesh

940 hde processamento economizadas por ano

4+anos trabalhando com dados

Sobre

Pipelines escaláveis, entregues como código

Sou Engenheiro de Computação pela UTFPR e trabalho com dados desde 2022. Minha experiência inclui projetar, implementar e otimizar pipelines de dados, com base sólida em Big Data (Hadoop, PySpark, Hive) e no ecossistema AWS (Glue, Athena, S3, Lambda, Step Functions, Kinesis), além de bancos relacionais e não relacionais.

Hoje, na GFT, implanto pipelines batch e streaming com Terraform e GitHub Actions e ajudo a transformar dados de dezenas de contas AWS em produtos num Data Mesh. Antes, na TCS, migrei rotinas legadas de SQL Server e SAS para Hadoop e, depois, para AWS Glue.

Fora do trabalho, construo o Órbita Notícias, um pipeline de notícias que opero em produção de ponta a ponta, da ingestão ao serving.

Experiência

Onde trabalhei

mai 2024 — atual

Data Engineer · GFT

Implantação de pipelines de dados batch e streaming com Terraform e GitHub Actions.
Democratização de mais de 60 contas AWS e mais de 200 tabelas do cliente para o Data Mesh.
Criação de um template Terraform para jobs do Glue que ingere dados históricos de tabelas do DynamoDB.
Trabalho com múltiplas squads na adoção de templates Terraform para a democratização de dados no Data Mesh.
Implantação de pipelines de ingestão via Lambda e snapshots de diversas instâncias do RDS.

Terraform
GitHub Actions
Glue
Kinesis
Firehose
Lambda
Step Functions
DMS
DynamoDB
Aurora
PostgreSQL
MySQL
pytest

jul 2022 — abr 2024 · Londrina

Data Engineer · Tata Consultancy Services

Migração de rotinas do SQL Server 2008 e SAS para Hadoop (EC2 + EMR), convertendo procedimentos transacionais em pipelines orquestrados pelo Oozie com ETL em HiveQL.
Migração de processos ETL/ELT coordenados por código Python on-premises para o ambiente Hadoop na AWS.
Pipelines que calculam mais de 10 KPIs de 7 departamentos, antes calculados à mão no Excel.
Economia de 940 horas/ano de processamento com a migração do on-premises para Hadoop.
Migração de ETLs em Hive para AWS Glue com PySpark.

Hadoop
Hive
PySpark
Oozie
Cloudera
EMR
S3
Glue
Athena
SQL Server
Alteryx
pandas

mar 2022 — jun 2022 · Londrina

Estagiário · Tata Consultancy Services

Formação e certificações

Bacharelado em Engenharia da Computação

Universidade Tecnológica Federal do Paraná (UTFPR), Cornélio Procópio

3º lugar na XIII Feira de Ideias (out 2019) com a ideia "NoQueue"

AWS Certified Data Engineer – Associate (2026)

AWS Certified Cloud Practitioner (2023)

SQL (HackerRank, 2022) · Python (CodinGame, 2022) · Coding Speed: Legend (CodinGame, 2023)

Idiomas: português e inglês

Stack

Ferramentas

Usado profissionalmente ou em produção Em estudo / próximos projetos

Linguagens e processamento

Python
SQL
PySpark
HiveQL
pandas
numpy
ETL batch e streaming
Alteryx
Airflow
dbt
Kafka

AWS

Glue
Athena
S3
Lambda
Step Functions
Kinesis
Firehose
DMS
EMR
EC2
RDS / Aurora
DynamoDB

Bancos de dados e Big Data

PostgreSQL
MySQL
SQL Server
SQLite
Hadoop
Hive
Oozie
Cloudera
Data Mesh
Apache Iceberg

Infraestrutura, DevOps e métodos

Terraform
GitHub Actions
CI/CD
pytest
Linux
nginx
Scrum / Kanban
Docker

Projeto pessoal

Órbita Notícias

No ar em produção

Comparador de cobertura jornalística. Coleta as manchetes de 42 veículos de todo o espectro político, detecta quais tratam do mesmo acontecimento e mostra, lado a lado, como cada um enquadrou o fato. Projetei, construí e opero o sistema de ponta a ponta.

42fontes ingeridas

5 minintervalo de ingestão

15 minintervalo de reagrupamento

1.130testes automatizados

48 hjanela de comparação

100%precision no corpus rotulado

1 GBservidor de produção

7workflows no GitHub Actions

Destaques de engenharia de dados

Ingestão resiliente: RSS com fallback automático para o sitemap de notícias quando o feed congela sem aviso; log de falhas por fonte em JSONL; workflow diário de saúde dos feeds.
Migrações de schema como comando: versionadas, com trava e backup antes de cada execução; um script de backfill reconstrói eventos antigos.
Camada de serving pré-computada: a etapa pesada (TF-IDF + agrupamento) roda só no worker; a camada web lê um cache pronto e continua no ar se o worker cair.
Qualidade medida: corpus rotulado de 192 manchetes, precision/recall/F1 por par e um teste que reprova se a métrica cair abaixo da linha de base.
CI/CD: lint, testes, auditoria de dependências, deploy com health check e rollback automático.

Python
SQLite
scikit-learn
spaCy
Flask
nginx
systemd
GitHub Actions

Ler o estudo de caso Visitar o site

Próximos projetos

O que estou construindo agora

Meu código profissional é privado, então estes projetos públicos mostram o mesmo tipo de trabalho, somados a ferramentas que estou adicionando à minha stack. Cada um terá código público, diagrama de arquitetura e um README explicando as decisões.

Em construção

Lakehouse na AWS como código

Problema: Montar um lake bronze/silver/gold no S3 com tabelas Apache Iceberg, consultado pelo Athena e provisionado inteiro com Terraform.
O que demonstra: Jobs do Glue em PySpark, particionamento e compactação, Glue Data Catalog, CI/CD com GitHub Actions, controle de custos.

Terraform
Glue
Iceberg
Athena

Publicado

ELT de dados públicos com Airflow + dbt

Problema: Consolidar indicadores econômicos brasileiros (Banco Central, IBGE) num modelo analítico que se atualiza sozinho.
O que demonstra: Orquestração com retries e backfill, modelagem dimensional (staging → marts), testes e documentação no dbt, cargas incrementais.

Airflow
dbt
PostgreSQL
Docker

Ver o painel Código

Publicado

Tendências do Bluesky em streaming com Kafka

Problema: Acompanhar em tempo real o que o Bluesky em português está falando: consumir o fluxo público de posts (Jetstream), filtrar o idioma e calcular os termos em alta e o volume de posts.
O que demonstra: Producer assíncrono com reconexão e cursor, Kafka em modo KRaft, Avro com Schema Registry e evolução de schema, tópico de dead letters, testes de integração e deploy por CI/CD. Próximas fases: janelas no Flink, ClickHouse e Grafana.

Kafka
Avro
Schema Registry
Python
Docker

Ver ao vivo

Contato

Fale comigo

Quer conversar sobre pipelines de dados, AWS ou algum destes projetos? Me chame por e-mail ou pelo LinkedIn.

contato@jvcamacho.dev

LinkedIn GitHub