Enterprise Data Management: utility and necessity

introdução

nosso mundo digital depende da informação. Os dados estão em toda parte. Por que tantas empresas, organizações, analistas e consultores estão tão preocupados com isso?

os dados são representações de fatos. Ao colocar os dados no contexto, as informações são criadas. A ausência de um bom gerenciamento de dados geralmente significa automaticamente que o gerenciamento e o controle de informações são ineficazes. A longo prazo, isso paralisará uma organização a tal ponto que não poderá mais funcionar corretamente. A razão para isso é que decisões importantes são tomadas tarde demais porque as informações de gerenciamento não são mais confiáveis. Além disso, o manuseio dos processos de negócios em nível de departamento exigirá cada vez mais tempo e esforço, porque as atividades das divisões não são bem coordenadas. Nessa situação, todos apenas criam e gerenciam os dados necessários para realizar seu próprio trabalho e, portanto, usam seu próprio conjunto de definições de dados. Como os departamentos se culpam pelo descuido, as medidas de controle são empilhadas umas sobre as outras e o processo de negócios é ainda mais estimulado, resultando em uma espiral descendente. Assim, há uma razão comercial convincente para dar ao gerenciamento de dados um lugar independente e profissional dentro das organizações.Além disso, leis e regulamentos também forçam o gerenciamento de dados estruturados. Wetgeving de financiële setor zoals Basileia pt Solvência vereist dat een mechanisme voor datakwaliteit pt herleidbaarheid van em rapportages gebruikte informatie geborgd é binnen de organisatie. Basileia II stelt em dit verband: “o Banco deve ter em vigor um processo para verificar os dados inseridos em um modelo estatístico de inadimplência ou previsão de perdas que inclua uma avaliação da precisão, integridade e adequação dos dados específicos para a atribuição de uma classificação aprovada”. Kwalitatief datamanagement é belangrijk om te kunnen voldoen aan deze eisen. O registro correto de dados nos sistemas é uma das partes mais demoradas de tal programa. Em tal situação, é difícil cumprir requisitos externos decorrentes de leis e regulamentos e acordos feitos com fornecedores e clientes.O gerenciamento de Dados Corporativos é o conjunto de atividades dentro das organizações que se concentra em identificar, classificar, registrar, modelar, desbloquear, proteger, arquivar e destruir dados de maneira estruturada. O termo “empresa” reflete a natureza do gerenciamento de dados em toda a organização.

o fato de o gerenciamento de dados desempenhar um papel tão crucial nas operações de negócios é sublinhado por declarações de alguns gerentes organizacionais. Aloys Kregting, CIO da DSM e CIO eleito do ano em 2011, diz: “O CIO deve estar particularmente preocupado com o valor da informação. Você tem que saber muito bem quais pessoas precisam de quais informações quando, e também facilitar isso. Isso mais uma vez sublinha a importância do relatório e do gerenciamento de dados mestre.’

Als tweede de CEO van een olie-exploratie – pt productiebedrijf morrer zich realiseert dat goed datamanagement voor zijn bedrijf een volgende stap naar de excelência empresarial é pt bainha em staat stelt zich te onderscheiden van zijn concurrenten: ‘esforços de melhoria Contínua vai agora se concentrar em tirar proveito dessas mudanças e descobrir o valor oculto que eles oferecem. Isso significa impulsionar processos simplificados e fortalecer o gerenciamento de dados para fornecer uma tomada de decisão mais rápida e bem informada, maior capacidade de resposta às necessidades dos clientes e menos desperdício-tudo resultando em maior desempenho competitivo.’

dados como ativo

dados são, conforme indicado, representações de fatos. Projetado em um ambiente de negócios são os “fatos sobre operações de negócios”. Sem contexto ou estrutura, esses dados não têm valor agregado para uma empresa. Eles não têm conteúdo e significado para realmente agregar valor à empresa. Distinguimos entre dados estruturados (armazenados e ordenados em um banco de dados) e dados não estruturados (na forma de Documentos, Arquivo, imagem, mensagem de texto, formulário, vídeo ou gravação de som que não podem estar contidos em linhas, colunas ou registros).

sem informações adicionais, é difícil, se não impossível, classificar, registrar e acessar esses dados. No momento em que adicionamos contexto a esses dados, os dados se tornam significativos. Em seguida, adicionamos uma referência, uma data e hora, o significado da mensagem, um formato. Isso dá a estrutura de dados e se torna informação. Se relacionarmos diferentes fontes de informação entre si, fazendo relacionamentos e identificando padrões, então a informação se torna conhecimento. Esse também é o valor agregado do business intelligence( BI): conectar diferentes unidades de informação em uma organização para fins de tomada de decisão pela administração da empresa. Veja também a Figura 1.

Figura 1. Coloque o valor dos dados em contexto.As organizações que são mais capazes de estruturar seus dados em informações significativas e tornar essas informações logicamente acessíveis aos trabalhadores do conhecimento dentro da empresa serão mais capazes de dominar seus concorrentes. Aproveitar o poder comercial inerente desses dados dará às empresas e organizações uma vantagem estratégica sobre seus concorrentes. Eric Schmidt, então CEO do Google, disse em 2010: “Não acredito que a sociedade entenda o que acontece quando tudo está disponível, conhecível e gravado por todos o tempo todo. No setor privado, estimamos, por exemplo, que um varejista que usa big data ao máximo tem o potencial de aumentar sua margem operacional em mais de 60%.”()

Maar het gaat niet alleen om het goed structureren en ontsluiten. Een aantal jaren foi de heersende gedachte dat BI het probleem van goede managementinformatievoorziening zou oplossen. Todas as principais empresas e instituições do mundo executaram programas de BI caros e implementaram aplicativos caros. No entanto, a administração da empresa não está satisfeita. O BI não desbloqueia todos os dados de negócios, na prática concentra-se principalmente em dados estruturados, com atenção insuficiente ao valor dos dados não estruturados. Além disso, os relatórios não podem ser facilmente adaptados, portanto, muitas vezes não estão suficientemente focados nas necessidades da empresa em um determinado momento. KPMG, baseado em pesquisa: “Grandes investimentos em TI não garantem necessariamente melhores informações. O que é mais importante é mudar fundamentalmente a maneira como os dados são coletados, processados e apresentados.”()

Gestructureerde data die door een datawarehouse worden ontsloten, zijn waardeloos als de kwaliteit van die data niet goed is. Ongestructureerde gegevens (ca. 85% van alle bedrijfsgegevens) kunnen niet via een datawarehouse worden ontsloten. De vraag is dan hoe je deze data’ goed ‘ krijgt en wat goed datamanagement voor ongestructureerde gegevens is. Nesse contexto, bons meios de acordo com os requisitos de qualidade estabelecidos pela organização. É claro que bons dados não são algo que vem naturalmente. É necessário um quadro de gestão. A estrutura de gerenciamento inclui atividades que uma empresa deve organizar e investir lógica e cuidadosamente na organização. Trata-se de gerenciamento de dados e inclui todas as atividades dentro das organizações destinadas às operações de negócios para identificar, classificar, registrar, modelar, acessar, proteger, arquivar e destruir dados de maneira estruturada. Usamos o termo Enterprise Data Management (EDM) para isso, porque diz respeito a atividades que são realizadas em toda a empresa em todas as organizações.

a percepção de que Gerenciar dados bem pode agregar valor às operações de negócios e resultados financeiros levou analistas e consultores a equiparar dados a outros ativos de negócios, como terrenos, edifícios e máquinas. Nesse contexto, os dados também são descritos como um ativo comercial. Os ativos devem ser bem gerenciados: bem conservado, bem protegido, deve haver um proprietário que supervisione e um ativo também deve ser substituído em tempo hábil. Como outros ativos, os dados também podem ser vendidos. O valor pode ser derivado dele. Basta pensar em arquivos de endereço que representam um certo valor para empresas fidedignas e desonestas.

Líderes de empresas líderes no mundo estão bem cientes disso. Os programas relacionados a dados aparecem com destaque em sua lista de ações. Os estados do Grupo Hackett: “O que as empresas estão reconhecendo é que eles jogaram muito dinheiro nos aplicativos, mas sem padronizar e limpar seus dados, eles ainda estão recebendo informações que não fazem sentido. Eles têm empresas que estão usando definições diferentes, que estão calculando métricas de forma diferente, que usam hierarquias diferentes. Todo esse conceito de gerenciamento de dados mestre é absolutamente crítico para que as empresas possam chegar ao ponto em que possuem análises preditivas.’. De businesscase om master data management (MDM) programma te starten lijkt evident: “Até 2013, o MDM reduzirá a redundância de dados das organizações, o que pode economizar 80% dos custos associados ao gerenciamento de dados redundantes”. ()

Modellen voor Gerenciamento de Dados corporativos

Sobre het beheersen van dados wordt al tijden nagedacht en er zijn dan ook modellen pt methodieken te mais, morrer allemaal claimen het beste antwoord voor de inrichting van Gerenciamento de Dados corporativos te hebben. De International Organization for Standardization, beter bekend als ISO, kent talloze standaarden die elk op zich weer een deelaspect van Het spectrum van data behandelen. Por exemplo, a ISO 27001 aborda a segurança das informações. ISO 15489 é o padrão usado para o gerenciamento de informações a partir de uma perspectiva de arquivamento. ISO 23081 é o padrão para metadados. Além disso, a ISO 19005 pode ser usada como uma diretriz para o aparecimento de dados. Padrões abundam. Outros frameworks como COSO e frameworks como Cobit e ISF falam da importância dos dados em um sentido mais amplo, mas apenas de uma perspectiva de risco.

Data Management Body of Knowledge

um modelo mais completo parece ser o de DAMA-DMBOK. Inclui uma coleção de “melhores práticas” no campo do gerenciamento de dados, que foram complementadas ao longo de vários anos com novos insights da prática. O guia DAMA-DMBOK (Full: Data Management Body of Knowledge) é uma publicação da Data Management Association, uma organização internacional que se concentra em gerentes de dados e profissionais de dados para disseminar conhecimento sobre gerenciamento de dados.

o DMBOK distingue dez funções de dados diferentes. Essas funções são mostradas na Figura 2. Governança de dados é a função que conecta os outros domínios. Para cada um dos domínios, fatores ambientais devem ser levados em consideração, como os métodos e procedimentos de trabalho atuais, a tecnologia utilizada e a cultura organizacional.

Figura 2. Domínios de dados de acordo com DAMA ().No entanto,

DAMA também conhece suas fraquezas. Por exemplo: o fato de as funções nomeadas se referirem apenas umas às outras em termos gerais, para que um usuário nem sempre veja a relação entre as funções e, portanto, a importância mais ampla. Além disso, DAMA parece se concentrar em dados tradicionais e estruturados por enquanto. Por exemplo, ainda há pouca conversa sobre a importância do conteúdo de mídia social. A segurança dos dados na DAMA está focada principalmente na proteção técnica dos dados. Além disso, a diferença na forma como as gerações lidam com os dados ainda não foi explicitamente incluída como um fator relevante (fator ambiental). Finalmente, e essa é talvez a maior objeção, é acima de tudo uma estrutura conceitual. Falta exemplos práticos para tornar conceitos e termos suficientemente claros para o leitor. Existe o risco de interpretação inconsistente. Como a estrutura deve ser implementada também não está clara. Isso é contrário ao objetivo primário de um corpo de conhecimento. Isso deve ter como objetivo garantir que seu uso promova consistência na aplicação do gerenciamento de dados.

KPMG Enterprise Data Management model

os modelos acima contêm elementos importantes que devem ser levados em consideração ao realizar uma organização profissional de gerenciamento de dados. Para a operacionalização do gerenciamento de dados, no entanto, vários outros aspectos são importantes, que não são cobertos por esses modelos.

em primeiro lugar, isso diz respeito ao fato de que os dados são trocados entre sistemas dentro da organização e entre a organização e terceiros. O gerenciamento de dados deve, então, garantir bons acordos sobre o formato em que os dados são fornecidos, a validação da qualidade dos dados fornecidos, possíveis etapas de enriquecimento antes que os dados sejam processados e quaisquer procedimentos se ocorrerem erros no processo. Agrupamos essas atividades sob os Termos ‘aquisição e autoria’ e ‘distribuição’.

além disso, o EDM também deve garantir que a estrutura do EDM como um todo possa ser mantida. A organização deve ter processos para registrar evidências documentais e problemas identificados durante a implementação operacional das atividades de EDM. Que estes são discutidos nos órgãos de consulta de governança do EDM e que levam à adaptação dos procedimentos e técnicas existentes. Isso pode ser pensado como uma situação em que o painel de qualidade de dados usado dentro de uma organização deve ser adaptado porque a organização deseja monitorar um novo objeto de dados. Deve haver um ‘processo de mudança’ que prepare a tomada de decisão sobre essa mudança e implemente a mudança no painel após a decisão.Finalmente, todas as atividades de EDM realizadas por uma organização devem ser avaliadas quanto à eficácia e eficiência. Assim como os processos primários dentro de uma organização, o EDM deve ter um ‘plano, faça, verifique, atue’mecanismo que pode ser usado para verificar se a implementação das atividades do EDM está de acordo com os acordos que foram feitos sobre isso. O “monitoramento de processos” torna isso possível e permite que a organização EDM identifique independentemente quaisquer desvios e tome medidas corretivas.

isso se traduz no modelo KPMG EDM mostrado na Figura 3.

Figura 3. Modelo de gerenciamento de dados corporativos KPMG.

abaixo está uma breve descrição dos elementos-chave do modelo.

• a governança de dados se concentra nas atividades de gerenciamento de dados (direcionamento). Assuntos como estratégia, política, papéis, tarefas e responsabilidades são cobertos.
• arquitetura de Dados trata-se de estabelecer e registrar os objetos de dados e estruturas de dados dentro de uma organização em modelos de dados. Estes formam a base para análise de informações e construção de processos e sistemas.
• o gerenciamento de dados mestre trata de garantir a qualidade dos dados mestre e de referência. O objetivo final é criar registros únicos (‘dourados’).
• Data Warehousing é a atividade que fornece a definição da arquitetura de armazenamento de dados em bancos de dados relacionais.
• O Business Intelligence é responsável por desbloquear os dados contidos nos Data warehouses de forma a fornecer informações para a gestão da organização, com base nas quais pode tomar decisões.
• a gestão da qualidade dos Dados envolve a definição estruturada de critérios de qualidade, a análise da qualidade real dos dados e a sua comunicação.
• o gerenciamento de conteúdo se concentra em classificar dados, estruturar fluxos de documentos e torná-los acessíveis.
• o arquivamento se concentra em mover dados inativos para outros ambientes.
• Onder de Governance Operations is metadata de informatie over datamanagementelementen, zoals technische en functionele beschrijvingen van dataobjecten en datamodellen. Gestão de banco de dados richt zich op het operationele technisch beheer van databases. Segurança de dados richt zich op het beveiligen van data tegen ongeoorloofde inbreuken op die data. Gestão de identidade tot ranhura regelt de toegang tot dados.

para uma descrição mais detalhada de alguns desses elementos do EDM, consulte as contribuições individuais sobre os elementos do EDM incluídos neste compacto.

EDM de uma perspectiva organizacional

neste artigo, ainda temos a resposta para a questão de como o modelo EDM pode ser implementado praticamente.

se você passar pelas diferentes partes do EDM, conforme mostrado na Figura 3, e deixá-las agir sobre si mesmas, a impressão surgirá rapidamente de que há pouca ordem lógica nessas partes. A figura 3 mostra que não há proposta de priorização ou faseamento da construção e implementação dos elementos. É claro que a governança de dados conecta todos os outros elementos. Com isso, queremos indicar que não há ordenação entre os domínios e que a ordem em que as partes do EDM são tratadas é de natureza arbitrária. Uma exceção é a governança de dados. O link que a governança de dados está entre todas as outras partes do EDM reflete bem que, na verdade, nenhuma atividade de gerenciamento de dados pode ser desenvolvida e implementada com sucesso se não houver governança de dados nas organizações.

a governança de dados estabelece as bases para todas as atividades de gerenciamento de dados. Sem a fundação, eles são blocos de construção soltos que ficam mais ou menos no vazio sem estrutura e conexão. Isso pode levar a soluções de BI sendo compradas e implementadas, embora existam padrões de dados ou definições de dados insuficientes, ou que a qualidade dos dados necessária para chegar a informações de gerenciamento confiáveis deixe muito a desejar. Pode contribuir para o design e compra de sistemas que não se conectam a outros sistemas, porque não existe um modelo de dados corporativos abrangente que sirva de base para todo o desenvolvimento do sistema. Finalmente, pode levar uma organização a usar ativamente os traços deixados pelos usuários da internet em sites, sem levar em conta as regras de Privacidade, o que leva a danos à imagem e à responsabilidade.

a governança de dados garante que haja uma visão e estratégia em toda a empresa para o gerenciamento de dados, que é apoiada pela gestão da empresa. A visão nos diz o que queremos alcançar. A estratégia sobre como conseguir isso. Eles refletem, por assim dizer, a ambição da organização. Todas as atividades relacionadas a dados devem se encaixar nessa visão e a estratégia garante a consistência dessas atividades. A estratégia também determina o escopo do gerenciamento de dados dentro de uma organização. Apesar do modelo abrangente da DAMA, as organizações podem optar por deixar certos assuntos fora de consideração, porque eles já podem ser preenchidos de forma descentralizada. Um fenômeno comum é, por exemplo, que o RH cria sua própria organização de gerenciamento de dados e faz uso limitado das diretrizes e padrões que a organização central de gerenciamento de dados desenvolveu.

a governança de dados também garante atenção à elaboração de regras políticas. Isso inclui uma política de segurança da informação, políticas relacionadas à arquitetura de dados, arquivamento e qualidade de dados. Além disso, a governança de dados garante a incorporação organizacional do gerenciamento de dados: quem é o responsável final, onde e como as decisões são tomadas sobre estratégia, política, padrões, papéis, propriedade. Por exemplo: como e quando as atividades de gerenciamento de dados são relatadas dentro da organização? Como organizamos a execução de atividades de manutenção de dados mestre?

pode ficar claro a partir desta elaboração que a governança de dados é a base para um bom gerenciamento de dados. Não importa em que estágio as organizações de maturidade estejam, sempre vale a pena ficar de olho na qualidade da governança de dados e verificar se sua implementação é satisfatória.Suponha que uma organização tenha governança de dados em ordem. Existem diretrizes ou práticas recomendadas que deixam claro quais dos outros componentes de gerenciamento de dados são elegíveis para otimização em termos de priorização? Na verdade, não é esse o caso. Ou seja, nossa experiência diz que isso depende das prioridades decorrentes da agenda da própria organização.Suponha que uma organização decida substituir um sistema de informação legado por um novo sistema ERP. Pode-se então perguntar qual o impacto que isso tem no gerenciamento de dados. Então, qual é a maior prioridade? Isso pode fazer com que o “gerenciamento da qualidade dos dados” seja priorizado como resultado da migração de dados necessária. Que os dados contaminados são limpos, a documentação de metadados é abordada e o gerenciamento de dados mestre é aprimorado. Por exemplo, a implementação de um aplicativo de integração de dados pode resultar na atualização do modelo de arquitetura de dados e na seleção e implementação de um aplicativo de qualidade de dados para limpar e enriquecer dados antes de ser trocado com outras plataformas.

Figura 4. Relação entre modelo de negócio e EDM.

em conclusão, acreditamos que a partir da base de governança de dados, dependendo da agenda de negócios da organização, essas atividades de gerenciamento de dados devem ser assumidas que forneçam o valor mais agregado naquele momento na realização dessa agenda. Isso é mostrado na Figura 4. Do ponto de vista da visão e da estratégia, percebe-se o modelo de negócios necessário para realizar os objetivos estabelecidos na visão e na estratégia. Esse modelo de negócios exige os processos primários e de suporte. Para que esses processos funcionem, são necessários recursos. Estes podem ser subdivididos em Recursos Humanos, dados e recursos de TI. O que e quanto é necessário no lado dos dados em um caso particular é determinado pela agenda de negócios. O EDM fornece ferramentas para como isso deve ser organizado. Isso é feito sob medida e não se permite ser pego em um padrão fixo de atividades de gerenciamento de dados.

conclusão

nesta contribuição, descrevemos o EDM como uma abordagem para gerenciar todos os dados que uma organização gera. Uma boa interpretação disso garante que esses dados atendam aos requisitos de qualidade que as organizações estabelecem para eles. Ele garante que os dados necessários para executar processos e permitir que o gerenciamento tome decisões informadas sejam precisos, completos e disponíveis em tempo hábil. Isso torna os dados um ‘ativo’ que deve ser gerenciado como todos os outros ativos de negócios. Elaboramos ainda mais as partes constituintes do EDM. Isso criou uma estrutura de atividades de gerenciamento que formam a base para garantir a qualidade dos dados. Por fim, argumentamos que a implementação desses componentes não pode ocorrer de acordo com uma estrutura fixa. É a estratégia de negócios e priorização que determina quais das partes do EDM são captadas e otimizadas na operacionalização. Um papel crucial nisso é desempenhado pela governança de dados, que garante uma visão e estratégia para EDM em toda a empresa e com suporte de gerenciamento.