Ciência e Dados
Menu
  • Home
  • Sobre
  • Contato
Menu
O Que e Data Mesh

O Que é Data Mesh?

Posted on 19 de julho de 202226 de julho de 2022 by David Matos

Data Mesh é uma nova abordagem baseada em uma arquitetura moderna e distribuída para gerenciamento de dados analíticos.

Como Data Mesh os usuários finais podem acessar e consultar facilmente os dados onde estiverem, sem primeiro transportá-los para um Data Lake ou Data Warehouse.

A estratégia descentralizada do Data Mesh distribui a propriedade dos dados para equipes específicas de domínio que gerenciam e fornecem os dados como um produto. Ainda é uma realidade distante de muitas empresas, mas certamente é uma tendência.

Neste post vamos compreender o que é o Data Mesh.

Objetivo

O principal objetivo do Data Mesh é eliminar os desafios de disponibilidade e acessibilidade de dados em escala. O Data Mesh permite que usuários de negócios e Cientistas de Dados acessem, analisem e operacionalizem insights de negócios de praticamente qualquer fonte de dados, em qualquer local, sem a intervenção de equipes de dados especializadas.

Simplificando, Data Mesh torna os dados acessíveis, disponíveis, detectáveis, seguros e interoperáveis. O acesso mais rápido aos dados se traduz diretamente em um tempo de retorno mais rápido sem a necessidade de transporte de dados.

Por Que Data Mesh e Por Que Agora?

O volume global de dados está projetado para exceder 180 zettabytes nos próximos cinco anos. As plataformas de dados atuais têm várias falhas de arquitetura que dificultam o processamento de dados corporativos e inibem o crescimento dos negócios. As arquiteturas de dados atuais simplesmente não foram projetadas para o massivo volume de dados que aumenta a cada dia.

O Data Mesh é uma resposta para essas limitações agora que o mundo é cada vez mais orientado a dados e se tornará ainda mais nos próximos anos.

Vejamos alguns problemas das arquiteturas de dados atuais e como o Data Mesh ajudaria a resolver.

Problema 1: Atualmente as empresas usam uma estratégia de centralização para processar dados com várias fontes de dados, tipos e casos de uso. No entanto, a centralização exige que os usuários importem/transporte dados de pontos diferentes para um Data Lake central para serem consultados para análise, o que é demorado e caro.

Como o Data Mesh resolveria esse problema: A arquitetura distribuída do Data Mesh considera os dados como um produto com propriedade de domínio separada de cada unidade de negócios. Esse modelo de propriedade de dados descentralizado reduz o tempo de obtenção de insights e o tempo de obtenção de valor, capacitando as unidades de negócios e as equipes operacionais a acessar e analisar dados de maneira rápida e fácil.

Problema 2: À medida que os volumes de dados globais continuam a aumentar, o método de consulta em um modelo de gerenciamento centralizado requer alterações em todo o pipeline de dados que não responde em escala. Ele diminui o tempo de resposta para novos consumidores/fontes de dados à medida que o número de fontes aumenta, o que afeta negativamente a agilidade dos negócios para obter valor dos dados e responder às mudanças.

Como o Data Mesh resolveria esse problema: O Data Mesh delega a propriedade dos conjuntos de dados da central para os domínios (equipes individuais ou usuários de negócios) para permitir agilidade nos negócios e mudanças em escala. A arquitetura do Data Mesh orienta as empresas para a tomada de decisões em tempo real, fechando a lacuna de tempo e espaço entre a ocorrência de um evento e seu consumo/processo para análise.

Problema 3: A transferência de dados geralmente é suscetível a diretrizes e privacidade de dados que proíbem a migração de dados se os dados estiverem armazenados em determinadas geografias ou jurisdições legais, como dados armazenados em um país da União Européia, mas que precisam ser acessados ​​por um usuário na América do Norte . O cumprimento dos regulamentos de governança de dados é demorado e tedioso, e pode atrasar significativamente o processamento de dados e as equipes de análise que precisam de inteligência de negócios crítica que os ajude a manter uma vantagem competitiva.

Como o Data Mesh resolveria esse problema: No gerenciamento descentralizado de dados, os domínios são responsáveis pela qualidade, segurança e transferência de seus produtos de dados. O Data Mesh fornece uma camada de conectividade que permite acesso direto e recursos de consulta por usuários técnicos e não técnicos a conjuntos de dados onde residem, evitando transferências de dados dispendiosas e preocupações sobre privacidade.

No próximo artigo trago os benefícios da arquitetura Data Mesh.

David Matos

Referências:

Formação Engenheiro de Dados

What is Data Mesh?

Data Mesh Principles and Logical Architecture

Compartilhar

  • Clique para compartilhar no Twitter(abre em nova janela)
  • Clique para compartilhar no Facebook(abre em nova janela)
  • Clique para compartilhar no LinkedIn(abre em nova janela)
  • Clique para compartilhar no WhatsApp(abre em nova janela)
  • Clique para compartilhar no Telegram(abre em nova janela)
  • Clique para compartilhar no Tumblr(abre em nova janela)
  • Clique para compartilhar no Pinterest(abre em nova janela)

Relacionado

6 thoughts on “O Que é Data Mesh?”

  1. vicky disse:
    25 de julho de 2022 às 2:18 AM

    Adorei seus artigos me ajudaram muito a entender sobre Data warehouse, data lake e data mesh

    Responder
  2. Pingback: Benefícios do Data Mesh — Ciência e Dados
  3. Pingback: Data Mesh x Data Lake x Data Fabric — Ciência e Dados
  4. Edgar. disse:
    26 de dezembro de 2022 às 6:19 PM

    Show! Os exemplos práticos ajudam muito a visualizar o conceito e solução. Obrigado!

    Responder
  5. Pingback: 12 Tendências em Análise de Dados, Data Science e IA Para 2023 - Data Science Academy
  6. Pingback: Contratos de Dados – Tudo o Que Você Precisa Saber — Ciência e Dados

Deixe um comentário Cancelar resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Assinar blog por e-mail

Digite seu endereço de e-mail para assinar este blog e receber notificações de novas publicações por e-mail.

Buscar

Twitter

Meus Tuítes

Tags Mais Comuns nos Posts

Anaconda Analytics Análise de Negócios Apache Spark AWS Big Data Blockchain Business Intelligence ChatGPT Chief Data Officer Cientista de Dados Cientistas de Dados Ciência de Dados Cloud Computing Data Lake Data Mesh Data Science Data Scientist Data Warehouse Deep Learning Deploy Descriptive Analytics Diagnostic Analytics Engenharia de Dados Engenheiro de Dados Estatística GPU Hadoop Inteligência Artificial Internet of Things Linguagem Python Linguagem R Machine Learning MapReduce Metadados NoSQL NVIDIA Open Data Oracle Predictive Analytics Prescriptive Analytics Probabilidade Python Salários Data Science Visualização

Histórico de Posts

  • março 2023 (3)
  • fevereiro 2023 (3)
  • janeiro 2023 (5)
  • dezembro 2022 (8)
  • novembro 2022 (7)
  • outubro 2022 (2)
  • setembro 2022 (3)
  • agosto 2022 (2)
  • julho 2022 (2)
  • junho 2022 (3)
  • maio 2022 (1)
  • abril 2022 (3)
  • março 2022 (1)
  • fevereiro 2022 (3)
  • janeiro 2022 (2)
  • dezembro 2021 (1)
  • novembro 2021 (5)
  • outubro 2021 (2)
  • setembro 2021 (3)
  • agosto 2021 (1)
  • junho 2021 (1)
  • fevereiro 2021 (2)
  • janeiro 2021 (1)
  • dezembro 2020 (1)
  • novembro 2020 (1)
  • outubro 2020 (2)
  • agosto 2020 (1)
  • abril 2020 (1)
  • março 2020 (1)
  • fevereiro 2020 (2)
  • agosto 2019 (1)
  • abril 2019 (1)
  • setembro 2018 (2)
  • julho 2018 (1)
  • junho 2018 (3)
  • abril 2018 (1)
  • março 2018 (1)
  • fevereiro 2018 (2)
  • janeiro 2018 (1)
  • dezembro 2017 (1)
  • novembro 2017 (1)
  • outubro 2017 (1)
  • setembro 2017 (1)
  • julho 2017 (1)
  • junho 2017 (1)
  • maio 2017 (2)
  • abril 2017 (1)
  • janeiro 2017 (1)
  • novembro 2016 (1)
  • outubro 2016 (1)
  • setembro 2016 (1)
  • julho 2016 (1)
  • junho 2016 (1)
  • maio 2016 (1)
  • abril 2016 (1)
  • fevereiro 2016 (1)
  • janeiro 2016 (3)
  • dezembro 2015 (4)
  • novembro 2015 (6)
  • outubro 2015 (9)
  • setembro 2015 (9)
  • agosto 2015 (9)
©2022 Ciência e Dados