Aqui está um segredo de engenharia de dados: os pipelines de dados raramente são testados em unidade. Os pipelines de dados geralmente são testados simplesmente implantando-os — geralmente primeiro em um ambiente de teste ou homologação.
Tag: Engenharia de Dados
Engenharia de Dados Não é Engenharia de Software – Parte 1
Este post (dividido em duas partes) tem como objetivo destacar alguns dos desafios exclusivos da engenharia de dados e por que isso requer uma abordagem personalizada.
Terraform Para Automação em Projetos de Engenharia de Dados
Terraform é uma ferramenta de código aberto criada pela HashiCorp que permite definir a infraestrutura como código usando uma linguagem simples e declarativa e implantar e gerenciar essa infraestrutura em uma variedade de provedores de nuvem pública e plataformas de nuvem privada e virtualização usando alguns comandos.
Por Que Usar Airbyte Para Seu Processo ETL?
Como experimentar rapidamente um pipeline de dados e um grupo de conectores de forma simples e robusta? É aqui que entram ferramentas como o Airbyte.
O Que é Data Mesh?
Data Mesh é uma nova abordagem baseada em uma arquitetura moderna e distribuída para gerenciamento de dados analíticos. Neste post vamos compreender o que é o Data Mesh.