impactul uluitor al datelor murdare

Ed Downs

Ed Downs – Manager de Marketing pentru soluții / MarkLogic

Ed Downs este responsabil pentru marketingul soluțiilor pentru clienți la MarkLogic. El se bazează pe experiența sa considerabilă, livrând proiecte mari de date la scară largă și soluții operaționale și analitice pentru organizațiile din sectorul public și privat, pentru a stimula conștientizarea și a accelera adoptarea platformei MarkLogic.

uneori, costurile se strecoare pe noi. Ceea ce ar putea părea a fi o supărare de zi cu zi a avut implicații uimitoare de costuri de ani de zile.

date murdare—date care sunt inexacte, incomplete sau inconsistente—este una dintre aceste surprize. Experian raportează că, în medie, companiile din întreaga lume consideră că 26% din datele lor sunt murdare. Acest lucru contribuie la pierderi enorme. De fapt, costă afacerea medie între 15% și 25% din venituri, iar economia SUA peste 3 trilioane de dolari anual. Oricine a avut de-a face cu date murdare știe cât de frustrant poate fi, dar când numerele sunt adunate, poate fi dificil să vă înfășurați capul în jurul impactului său.

deoarece datele murdare costă atât de mult—o subevaluare sobră—este esențial să înțelegem de unde provin, cum afectează afacerile și cum pot fi tratate.

De Unde Provin Datele Murdare?

potrivit Experian, eroarea umană influențează peste 60% din datele murdare, iar comunicarea Interdepartamentală slabă este implicată în aproximativ 35% din înregistrările de date inexacte. Intuitiv, se pare că o strategie solidă de date ar trebui să atenueze aceste probleme, dar strategia inadecvată a datelor afectează, de asemenea, 28% din datele inexacte.

când diferite departamente introduc date conexe în silozuri de date separate, chiar și o strategie bună de date nu va împiedica murdărirea depozitelor de date din aval, a marturilor și a lacurilor. Înregistrările pot fi duplicate cu date non-canonice, cum ar fi diferite greșeli de scriere a numelor și adreselor. Silozurile de date cu constrângeri slabe pot duce la afișarea datelor, a numerelor de cont sau a informațiilor personale în diferite formate, ceea ce le face dificil sau imposibil de reconciliat automat.

datele murdare pot rămâne ascunse ani de zile, ceea ce face și mai dificilă detectarea și tratarea atunci când sunt găsite efectiv. Din păcate, 57% dintre companii află despre datele murdare atunci când sunt raportate de clienți sau potențiali—o modalitate deosebit de slabă de a urmări și de a rezolva problemele esențiale ale datelor.

multe organizații caută date inconsistente și inexacte folosind procese manuale, deoarece datele lor sunt prea descentralizate și prea non-standard. Aceste planuri tind să cadă în aceeași capcană ca și datele—în loc de planificare consolidată, fiecare departament este responsabil pentru propriile inexactități de date. În timp ce acest lucru poate prinde unele cazuri, contribuie, de asemenea, la inconsecvențe interne între Departamentul silozuri. Remedierea se întâmplă într-un singur loc, dar nu în altul, ceea ce duce doar la mai multe probleme de date.

impactul datelor murdare

datele murdare rezultă în resurse irosite, productivitate pierdută, comunicare eșuată—atât internă, cât și externă—și cheltuieli de marketing irosite. În SUA, se estimează că 27% din venituri sunt irosite pe date inexacte sau incomplete despre clienți și perspective.

productivitatea este afectată în mai multe domenii importante. Oamenii de știință de date își petrec aproximativ 60% din timp curățând, normalizând și organizând datele. Între timp, lucrătorii din domeniul cunoașterii își petrec până la 50% din timp cu date ascunse și inexacte.

datele murdare nu au credibilitate, ceea ce înseamnă că utilizatorii finali care se bazează pe aceste date petrec timp suplimentar confirmând acuratețea acestora, reducând în continuare viteza și productivitatea. Introducerea unui alt proces manual duce la mai multe inexactități și inconsecvențe de montare prin creșterea numărului de înregistrări murdare.

în plus față de pierderea veniturilor, datele murdare au un impact mai insidios asupra întreprinderilor. Doar 16% dintre directorii de afaceri sunt încrezători în exactitatea care stă la baza deciziilor lor de afaceri. Garbage in, garbage out-Când nu vă puteți baza pe propriile date, trebuie făcut ceva pentru a crește acuratețea și fiabilitatea datelor.

date murdare în domeniul bancar

la nivel mondial, inexactitățile datelor costă între 15% și 25% din veniturile unei companii. Cu venituri globale de peste 2,2 trilioane de dolari, acest lucru înseamnă că datele murdare costă industria bancară globală peste 400 de miliarde de dolari. Datele murdare conduc, de asemenea, la o serie de riscuri care sunt unice pentru industria bancară.

informațiile inconsistente din silozurile de date dintr-o organizație conduc la riscuri tranzacționale, cum ar fi tranzacții inexacte sau chiar frauduloase. Conturile false și frauduloase ar trebui să fie prinse devreme de procese care curăță sau detectează date murdare. Când nu, banca este pusă în pericol, iar reputația sa este deteriorată.

cu atât de multe date murdare și atât de puțini directori care au încredere în datele pe care le folosesc, este obligat să ducă la decizii strategice slabe. Nu poți alege calea cea bună dacă nu știi unde ești. Datele murdare pot duce la riscuri operaționale extraordinare.

peisajul de reglementare în continuă evoluție creează, de asemenea, o povară grea pentru gestionarea datelor. Echipele de Conformitate sunt supuse unei presiuni semnificative pentru a oferi mai multe informații despre date, dar atunci când nu au date curate cu care să lucreze, nu au noroc. Lansarea din 2018 a reglementărilor MiFID II a fost un exemplu dureros în acest sens, cu o conformare șovăitoare și reglementări din ce în ce mai stricte care provoacă durere pentru multe firme financiare europene.

tratarea datelor murdare

cea mai dificilă problemă în curățarea datelor murdare este curățarea intrărilor nevalide și a datelor duplicate. Corectarea atentă a erorilor este necesară nu numai pentru a se asigura că nu se pierd date, îmbunătățind în același timp coerența datelor valide existente, ci și pentru a menține toate metadatele corespunzătoare corecției datelor alături de datele integrate în sine.

odată ce datele au fost curățate, acestea trebuie menținute. După procesul inițial de curățare a datelor murdare, numai datele noi sau modificate ar trebui să fie verificate pentru validitate și consecvență. În toate cazurile, de la datele vechi la cele nou introduse, trebuie înregistrată linia datelor. Acest lucru asigură validitatea și încrederea acestuia.

cele mai bune practici pentru curățarea datelor murdare și pentru guvernanța datelor includ următoarele practici:

1. armonizați prin corelarea datelor între diferite surse izolate și valorificarea metadatelor pentru proveniența și descendența datelor.
2. utilizați capabilitățile de mastering inteligente de bază pentru a potrivi și îmbina entitățile într-o singură platformă multi-model.
3. aplicați semantica pentru a capta relațiile dintre date și pentru a asigura coerența.
4. creați o vizualizare de 360 de grade prin integrarea tuturor surselor de date.
5. găsiți date murdare folosind căutarea limbajului natural, modelarea datelor și învățarea automată pentru a identifica tiparele și anomaliile.

este mult, dar merită. O organizație care utilizează o guvernanță puternică a datelor pe lângă practicile de curățare a datelor poate genera cu până la 70% mai multe venituri.

nu mai lăsați datele murdare să vă încetinească

impactul de afaceri al datelor murdare este uimitor, dar o organizație individuală poate evita mlaștina. Tehnicile și tehnologia modernă pot minimiza impactul datelor murdare. Datele curate și fiabile fac afacerea mai agilă și mai receptivă, reducând în același timp eforturile irosite de către oamenii de știință de date și lucrătorii din domeniul cunoașterii.

afacerea dvs. ar putea fi deja de planificare pentru a aborda problemele sale de date murdare. De fapt, 84% dintre companii intenționează să implementeze soluții de calitate a datelor în curând, dar multe dintre aceste soluții sunt segmentate între departamentele din întreprindere. Mai mult, multe inițiative privind calitatea datelor nu vor aborda schimbările de bază necesare în baza de date pentru a afecta schimbările pozitive acolo unde este cea mai mare nevoie. Acest lucru va duce doar la probleme viitoare cu date inconsistente, exacerbând starea actuală pe măsură ce datele proliferează. Efortul trebuie să fie global în întreaga afacere și într—un mod care să abordeze deficiențele la sursa lor-în interiorul bazei de date. Un hub de date operational, cum ar fi unul construit pe MarkLogic, poate ajuta afacerea dvs. sa inceapa corect sa-si curete datele murdare.

Aflați cum cadrul hub de date Operațional MarkLogic vă poate ajuta să îmbunătățiți guvernanța datelor și să creșteți calitatea activelor dvs. de date.