Gerenciamento de Metadados na Era do Big Data

Gerenciamento de Metadados na Era do Big Data

Que Big Data já é uma realidade, isso não é novidade para ninguém. Mas à medida que as empresas passam a usar cada vez mais a análise de Big Data nas operações do dia a dia e na tomada de decisões, além de gerenciar os dados de forma eficaz e eficiente, gerenciar “os dados sobre os dados”, torna-se tarefa ainda mais importante. Exatamente neste ponto o Gerenciamento de Metadados, parte fundamental de um processo de Governança de Dados, mostra sua importância. Vamos discutir o Gerenciamento de Metadados na Era do Big Data.

Os Metadados capacitam uma ação efetiva sobre a informação, fornecendo contexto. Para confiar no contexto de dados, as empresas precisam de um Gerenciamento de Metadados eficaz. “É preciso entender os dados [para vencer na era da análise]”. Compreender quem, o que, quando e como sobre os dados, significa conhecer Metadados e Gerenciamento de Metadados.

Com a Internet of Things (IOT), uma massa crescente de Big Data e a mudança de regulamentações, os CIOs devem procurar gerenciar seus dados de maneira mais eficiente por meio dos Metadados. O Gartner estima o mercado de soluções de Gerenciamento de Metadados em torno de US $ 170 milhões. Espera-se que esse valor dobre a cada ano. Em 2020, 50% das “iniciativas de governança da informação basearão suas políticas no gerenciamento adequado dos Metadados”.

No passado, uma forma de Gerenciamento de Metadados significava saber como usar o catálogo para encontrar um livro ou uma revista em uma biblioteca. Atualmente, Gerenciamento de Metadados significa saber como usar aplicativos de computador para identificar tentativas de fraude, proteger informações comerciais, cumprir com requerimentos de auditoria e direcionar esforços de marketing. Compreender o que são Metadados e como gerenciá-los de forma eficaz pode ser a diferença entre sucesso e fracasso em uma empresa com cultura data-driven.

O Que São Metadados?

Metadados são “informações que descrevem várias facetas de um ativo de informação, melhorando sua usabilidade ao longo de seu ciclo de vida. Eles fornecem entendimento que desbloqueia o valor dos dados”. Esse entendimento vem do contexto dos dados, permitindo que ele seja reutilizado e recuperado para vários usos e tempos de negócios. Em português bem claro: “Metadados são dados, sobre os dados”.

Metadados existem em uma variedade de estruturas de cabeçalhos de tabelas, aplicativos legados, arquivos de configuração, em IOT, na nuvem, mídia social e modelos de dados.

Exemplos de Metadados técnicos incluem estrutura de coluna de uma tabela de banco de dados, chaves e regras de validação. Exemplos de Metadados de Negócios incluem níveis de segurança, níveis de privacidade e níveis de acrônimos. Os Metadados diferem dos dados, pois descrevem instâncias de dados ou registros não específicos. Tanto a TI quanto as áreas de negócios precisam de Metadados de qualidade para entender os dados disponíveis. Sem Metadados úteis, a organização corre o risco de tomar decisões erradas com base nos dados errados.

Boa Gestão de Metadados

Metadados gerenciados corretamente, seja de um catálogo ou de um aplicativo de computador, simplificam as descrições de recursos e fornecem vocabulários para vincular contextos. O bom gerenciamento de metadados cria metadados de qualidade para conteúdo corporativo.

Ao longo do tempo, os Metadados aplicados consistentemente produzirão retornos cada vez maiores, enquanto a falta desses Metadados irá progressivamente aumentar as questões de recuperação e reduzir a eficácia organizacional.

Os principais componentes do Gerenciamento de Metadados incluem Estratégia de Metadados, Captura e Armazenamento de Metadados, Integração e Publicação de Metadados e Gerenciamento e Governança de Metadados. Vamos definir e compreender cada um deles.

Estratégia de Metadados

De acordo com o relatório de pesquisa Tendências Emergentes em Gerenciamento de Metadados, apenas 13,59% dos pesquisados ​​têm uma Estratégia de Metadados claramente definida e, para a maioria, é uma parte de outra estratégia. Uma Estratégia de Metadados garante controle acionável, consistente e relevante do ecossistema de dados de uma empresa.

Uma boa Estratégia de Metadados precisa incluir porque a empresa deve rastrear Metadados, além de obter feedback dos interessados ​​e priorizar os principais componentes de dados. As principais considerações na implementação de uma Estratégia de Metadados também incluem motivadores e motivação de negócios, maturidade em Gerenciamento de Metadados e fontes e tecnologias de Metadados.

Captura e Armazenamento de Metadados

O bom gerenciamento de metadados requer a identificação de todas as fontes internas e externas de Metadados e o que a empresa está tentando capturar. O uso de uma combinação de soluções de Metadados, incluindo ferramentas de Modelagem de Dados, Repositórios de Metadados e Controle de Dados, pode ajudar as áreas de negócios a avaliar e especificar os Metadados capturados. Os metadados da IoT prometem ser úteis. Dois grupos de pesquisa, o Thing to Thing Research Group (T2TRG) e o Web of Things (WoT-IG) estão explorando a hipermídia. “Hipermídia são os Metadados descritivos sobre como trocar informações de estado entre aplicativos e recursos”. Esta norma fará com que diversos Metadados da IoT sejam mais interoperáveis.

Integração e Publicação de Metadados

Integração e Publicação de Metadados descreve como comunicar as Estratégias de Metadados e a Gestão às partes interessadas. A priorização de padrões, usando um padrão de Metadados externo estabelecido e enfatizando a coesão entre os diversos tipos de metadados, facilita a integração e a publicação de metadados. O Jet Propulsion Laboratory (JPL) realizou isso usando as especificações do Dublin Core. Dois modelos, também usados, incluem:

Glossário de Negócios: As empresas usam um Glossário de Negócios como uma forma comum de publicar termos de negócios e suas definições. Os Metadados gerenciados em um Glossário de Negócios tornam-se uma espinha dorsal de um vocabulário comum de negócios e responsabilidade por seus termos e definições. Essa camada de Metadados resultante aprimora a comunicação compartilhada, a troca e a compreensão do Glossário de Negócios. Consequentemente, disse Ian Rowlands, vice-presidente de marketing de produtos da ASG, o Business Glossary permite a colaboração em torno de dados de negócios, resultando em um ponto de entrada.

Linhagem de Dados: A publicação Linhagem de dados descreve informações sobre o quê, quando, onde, porque e como dos dados corporativos, aprimorando a conformidade normativa e a solução de problemas. A Linhagem de Dados ajuda especialmente a mostrar a inter-relação de diversos tipos de metadados, esclarecendo as relações dos clientes com as empresas e a segurança das informações. Essa linhagem de dados pode ser rastreada na maioria das ferramentas de modelagem de dados, ou as empresas podem considerar o uso de uma ferramenta de gerenciamento de metadados para reunir metadados, fornecendo “compreensão e validação” do uso de dados e riscos que precisam ser mitigados. O uso de relatórios baseados na Web facilita a exploração dos metadados pelos usuários, detalhando cada origem de dados e investigando novas linhagens.

Gestão de Metadados e Governança

As empresas precisam de uma Governança de Dados holística para tomar decisões empresariais informadas, incluindo o Metadata Governance: Metadata Governance envolve observar as responsabilidades, padrões, ciclos de vida e estatísticas das funções de metadados, além de como as atividades operacionais e os projetos de gerenciamento de dados relacionados integram os Metadados.

Embora as empresas reconheçam o valor dos Metadados, cerca de 50% das organizações não possuem padrões de Metadados, uma parte crucial da Governança de Dados. Papéis formais, como um Patrocinador Executivo, ajudam as partes interessadas a entender a importância dos padrões e do Gerenciamento de Metadados. Encontrar maneiras de rastrear e visualizar a qualidade dos Metadados por meio de integridade, precisão, linha do tempo, consistência, responsabilidade, integridade, privacidade e usabilidade pode mostrar os pontos fortes e as melhorias necessárias no Gerenciamento de Metadados.

Metadados efetivamente governados fornecem uma visão do fluxo de dados, a capacidade de realizar uma análise de impacto e, finalmente, uma trilha de auditoria para conformidade, garantindo a confiança nos dados de uma empresa. A boa gestão de metadados torna-se central para a governança holística de dados.

Gerenciamento de Metadados “Just Enough”

Dê consideração “apenas o suficiente” ao Gerenciamento de Metadados. Mesmo gastando poucos recursos no Gerenciamento de Metadados “irá progressivamente compor questões de recuperação e aumentar ainda mais a eficácia organizacional”. Considere o custo e a relevância.

Custo: a gestão de metadados pode resultar em custos crescentes. As empresas podem gastar horas e dólares inventando seus dados em vários arquivos de computador ou nos mais recentes ambientes de nuvem, às custas do desenvolvimento de produtos e atendendo às necessidades dos clientes. Não se concentre em compilar dados sobre dados para obter uma função específica, em detrimento de direcionar a criação e o uso de metadados.

Relevância: Nada pode ser mais desalentador do que criar um Glossário de Negócios ou outro tipo de publicação de metadados e torná-lo obsoleto. Usuários internos e externos, em seguida, ignoram os metadados da empresa relegando-a aos cantos empoeirados de uma estante de livros ou aos recessos escuros da memória de um computador distante. Sem compromisso com o conhecimento do inventário de dados, ciclo de vida, características, relacionamentos e funções dentro de uma empresa, e o resultado do Gerenciamento de Metadados torna-se um exercício acadêmico com pouco uso.

Conclusão

Executivos e gerentes devem dar atenção ao Gerenciamento de Metadados de forma eficaz. Os mercados financeiros e de saúde já exigem isso. Com a expansão dos dados, especialmente da IoT, outros mercados provavelmente vão requerer isso também. O bom gerenciamento de metadados torna-se essencial para dados comerciais confiáveis, seguros e úteis. Auditores, governos, clientes e outras partes interessadas exigem isso. E não dá para pensar em análise de Big Data sem uma Gestão eficaz dos Metadados.

Referências:

How to win in the age of analytics

Fundamentals of Metadata Management

Módulo Governança de Dados do Curso Preparação Para Carreira de Cientista de Dados

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *