Engenheiro de Dados Sénior – ETL, Data Warehousing, Big Data
ITDS Portugal · porto, Porto · Remoto
Sobre a função
Liberte soluções de dados transformadoras — impulsione a inovação através de pipelines escaláveis e inovadores!
Oportunidade no Porto com modelo de trabalho híbrido (até 3 dias de teletrabalho por semana).
Como Engenheiro de Dados Sénior, irá trabalhar para o nosso cliente, um líder no domínio da engenharia de dados e big data. Será fundamental na conceção, desenvolvimento e manutenção de pipelines ETL/ELT robustos, soluções de data warehousing e sistemas de processamento de dados em larga escala. Junte-se a uma equipa inovadora focada em transformar dados complexos em insights acionáveis e pioneirar estratégias orientadas por dados para impacto global.
As suas principais responsabilidades:
- Conceber, desenvolver, testar e manter pipelines ETL/ELT escaláveis para ingerir, transformar e carregar dados de múltiplas fontes para data warehouses e data lakes.
- Configurar e gerir ferramentas ETL (por exemplo, Semarchy, Stambia, Talend, DataStage) para automatizar processos de integração de dados.
- Escrever e otimizar consultas SQL complexas; desenvolver e manter modelos de dados (esquemas ODS, staging, core analytics).
- Implementar verificações de qualidade de dados, rastreio de lineage e monitorização para garantir a exatidão, segurança e conformidade dos dados.
- Desenvolver e gerir fluxos de orquestração de jobs utilizando VTOM ou ferramentas semelhantes; resolver falhas, monitorizar a execução de jobs e implementar estratégias de repetição (retry).
- Automatizar tarefas operacionais utilizando UNIX shell scripting e desenvolver scripts reutilizáveis para automatização de sistemas.
- Colaborar proximamente com arquitetos de dados, analistas e stakeholders de negócio para traduzir requisitos em soluções de dados escaláveis.
- Otimizar o desempenho e a escalabilidade dos pipelines, identificando constrangimentos e propondo melhorias.
- Garantir o cumprimento da governança de dados, políticas de segurança e regulamentos, incluindo anonimização e controlos de acesso.
- Preparar documentação técnica abrangente, runbooks e facilitar a transferência de conhecimento.
É ideal para esta função se tiver:
- 5+ anos de experiência em engenharia de dados ou área relacionada.
- Experiência comprovada com ferramentas ETL/ELT (Semarchy, Stambia, Talend, DataStage ou semelhantes).
- Sólidas competências em SQL e experiência com bases de dados relacionais (Oracle, SQL Server, PostgreSQL, Snowflake).
- Experiência prática com modelação de dados e conceitos de data warehousing.
- Familiaridade com ferramentas de orquestração de jobs (VTOM, Virtual-M ou equivalente).
- Conhecimento de UNIX/Linux scripting (shell scripting, awk, sed, Python é um plus) para automatizar tarefas.
- Sólida compreensão de data warehousing, qualidade de dados, data lineage e gestão de metadados.
- Forte capacidade de resolução de problemas, depuração e diagnóstico de falhas.
- Excelentes competências de comunicação em inglês; domínio de francês é um plus.
- Capacidade de trabalhar eficazmente num ambiente dinâmico e colaborar com diversos stakeholders.
É um forte plus se tiver:
- Experiência com plataformas de dados em cloud como GCP.
- Conhecimento de governança de dados, catalogação de dados e normas de segurança.
- Familiaridade com tecnologias de big data (Spark, Hadoop).
- Compreensão de práticas de CI/CD e DevOps para pipelines de dados.
Idioma exigido para a função:
- Inglês fluente. Competências em francês são um plus.
Elegibilidade para trabalhar na UE:
- Apenas serão considerados candidatos com direito legal prévio para trabalhar na Europa para esta função.
#MAKEYourCareerBETTER
Interessado? Candidate-se agora e inclua o seu CV (preferencialmente em inglês) juntamente com uma declaração a confirmar o seu consentimento para o tratamento e armazenamento dos seus dados pessoais.
https://itdsportugal.com/en/it-jobs/8965/?utm_source=itjobs