likaisen datan huikea vaikutus

Ed Downs

Ed Downs – Solutions Marketing Manager / MarkLogic

Ed Downs vastaa marklogicilla asiakasratkaisujen markkinoinnista. Hän hyödyntää huomattavaa kokemustaan toimittamalla laajamittaisia big data-projekteja sekä toiminnallisia ja analyyttisiä ratkaisuja julkisen ja yksityisen sektorin organisaatioille edistääkseen tietoisuutta ja nopeuttaakseen MarkLogic-Alustan käyttöönottoa.

joskus kustannukset yllättävät. Se, mikä saattaa tuntua jokapäiväiseltä harmilta, on vaikuttanut huimasti kustannuksiin jo vuosia.

likaiset tiedot-tiedot, jotka ovat epätarkkoja, epätäydellisiä tai epäjohdonmukaisia—ovat yksi näistä yllätyksistä. Experian kertoo, että keskimäärin yritykset ympäri maailmaa kokevat 26 prosenttia tiedoistaan likaisiksi. Tämä aiheuttaa valtavia menetyksiä. Itse asiassa, se maksaa keskimäärin liiketoiminnan 15% – 25% tuloista, ja Yhdysvaltain talous yli 3 biljoonaa dollaria vuosittain. Jokainen, joka on joutunut käsittelemään likaista dataa, tietää, kuinka turhauttavaa se voi olla, mutta kun numerot lasketaan yhteen, voi olla vaikea kietoa päätään sen vaikutuksen ympärille.

koska likaiset tiedot maksavat niin paljon—mikä on vakavoittavaa vähättelyä—on ratkaisevan tärkeää ymmärtää, mistä ne tulevat, miten ne vaikuttavat liiketoimintaan ja miten niitä voidaan käsitellä.

Mistä Likaiset Tiedot Tulevat?

Experianin mukaan inhimillinen virhe vaikuttaa yli 60 prosenttiin likaisesta datasta, ja huono osastojen välinen viestintä koskee noin 35 prosenttia virheellisistä tietueista. Intuitiivisesti näyttää siltä, että vakaan datastrategian pitäisi lieventää näitä asioita, mutta puutteellinen datastrategia vaikuttaa myös 28 prosenttiin epätarkasta datasta.

kun eri osastot syöttävät asiaan liittyviä tietoja erillisiin datasiiloihin, hyväkään datastrategia ei estä alajuoksun tietovarastojen, marttien ja järvien likaantumista. Tietueita voidaan monistaa ei-kanonisilla tiedoilla, kuten erilaisilla nimien ja osoitteiden kirjoitusvirheillä. Datasiilot, joissa on huonot rajoitteet, voivat johtaa päivämäärien, tilinumeroiden tai henkilötietojen näyttämiseen eri muodoissa, mikä tekee niistä vaikeita tai mahdottomia sovittaa automaattisesti yhteen.

likaiset tiedot voivat pysyä piilossa vuosia,mikä tekee niiden havaitsemisesta ja käsittelemisestä entistä vaikeampaa. Valitettavasti 57% yrityksistä saa tietää likaisesta datasta, kun asiakkaat tai näkymät ilmoittavat sen—erityisen huono tapa jäljittää ja ratkaista olennaisia datakysymyksiä.

monet organisaatiot etsivät epäjohdonmukaisia ja epätarkkoja tietoja manuaalisilla prosesseilla, koska niiden tiedot ovat liian hajautettuja ja epätarkkoja. Näillä suunnitelmilla on taipumus joutua samaan ansaan kuin datalla-konsolidoidun suunnittelun sijaan kukin osasto vastaa omista tietojen epätarkkuuksistaan. Vaikka tämä voi tarttua joihinkin tapauksiin, se myös lisää sisäisiä epäjohdonmukaisuuksia osastojen siilojen välillä. Korjaus tapahtuu yhdessä paikassa, mutta ei toisessa, mikä vain johtaa enemmän tietoja ongelmia.

likaisten tietojen vaikutus

likaiset tiedot johtavat resurssien tuhlaamiseen, tuottavuuden menetykseen, epäonnistuneeseen viestintään—sekä sisäiseen että ulkoiseen—ja markkinointimenoihin. Yhdysvalloissa arvioidaan, että 27 prosenttia tuloista menee hukkaan epätarkkoihin tai puutteellisiin asiakas-ja prospektitietoihin.

tuottavuus kärsii useilla tärkeillä alueilla. Datatutkijat käyttävät noin 60 prosenttia ajastaan datan puhdistamiseen, normalisointiin ja järjestämiseen. Tällä välin tietotyöntekijät käyttävät jopa 50 prosenttia ajastaan piilotettuihin ja epätarkkoihin tietoihin.

likaiset tiedot eivät ole uskottavia, mikä tarkoittaa sitä, että loppukäyttäjät, jotka luottavat näihin tietoihin, käyttävät ylimääräistä aikaa varmistaakseen niiden paikkansapitävyyden, mikä vähentää nopeutta ja tuottavuutta entisestään. Toisen manuaalisen prosessin käyttöönotto johtaa epätarkkuuksiin ja epäjohdonmukaisuuksiin likaisten tietueiden määrän kasvaessa.

tulonmenetyksen lisäksi likaiset tiedot vaikuttavat yrityksiin salakavalammin. Vain 16 prosenttia yritysjohtajista luottaa liiketoimintapäätöksensä taustalla olevaan tarkkuuteen. Roskat sisään, roskat ulos—kun omiin tietoihin ei voi luottaa, jotain on tehtävä tietojen tarkkuuden ja luotettavuuden lisäämiseksi.

likaiset tiedot pankkitoiminnassa

maailmanlaajuisesti tietojen epätarkkuudet maksavat yritykselle 15-25 prosenttia liikevaihdosta. Kun maailmanlaajuiset tulot ovat yli 2,2 biljoonaa dollaria, tämä tarkoittaa, että likaiset tiedot maksavat maailmanlaajuiselle pankkisektorille yli 400 miljardia dollaria. Likaiset tiedot johtavat myös useisiin riskeihin, jotka ovat ainutlaatuisia pankkialalla.

epäyhtenäinen informaatio organisaation datasiiloissa johtaa transaktioriskeihin, kuten epätarkkoihin tai jopa vilpillisiin transaktioihin. Väärennetyt ja vilpilliset tilit tulisi saada kiinni varhaisessa vaiheessa prosesseista, jotka puhdistavat tai havaitsevat likaiset tiedot. Kun näin ei tapahdu, pankki joutuu vaaraan ja sen maine kärsii.

kun on niin paljon likaista dataa ja niin harvat johtajat luottavat käyttämäänsä dataan, se johtaa väistämättä huonoihin strategisiin päätöksiin. Et voi valita oikeaa polkua, jos et tiedä missä olet. Likaiset tiedot voivat johtaa valtaviin operatiivisiin riskeihin.

jatkuvasti kehittyvä sääntelyympäristö luo myös raskaan taakan tiedonhallinnalle. Compliance-tiimeillä on suuria paineita antaa enemmän tietoa datasta, mutta kun heillä ei ole puhtaita tietoja, joiden kanssa työskennellä, heillä ei ole onnea. Mifid II-säädösten käyttöönotto vuonna 2018 on ollut tästä tuskallinen esimerkki, sillä sääntöjen noudattamisen horjuminen ja yhä tiukemmat sääntelyt aiheuttavat tuskaa monille eurooppalaisille rahoitusalan yrityksille.

likaisten tietojen käsittely

haastavin ongelma likaisten tietojen siivoamisessa on virheellisten merkintöjen ja päällekkäisten tietojen puhdistaminen. Huolellinen virheenkorjaus on tarpeen paitsi sen varmistamiseksi, että tietoja ei häviä, samalla kun parannetaan olemassa olevan pätevän tiedon johdonmukaisuutta, myös sen varmistamiseksi, että kaikki tietojen korjausta vastaavat metatiedot säilytetään integroidun tiedon rinnalla.

kun tiedot on puhdistettu, ne on säilytettävä. Likaisten tietojen alkuperäisen puhdistusprosessin jälkeen vain uusien tai muutettujen tietojen oikeellisuus ja johdonmukaisuus on tarkistettava. Kaikissa tapauksissa, vanhoista vasta syötettyihin tietoihin, tietojen sukujuuret on tallennettava. Näin varmistetaan sen pätevyys ja luotettavuus.

parhaita käytäntöjä likaisen tiedon puhdistamiseen ja tiedonhallintaan ovat seuraavat käytännöt:

1. yhdenmukaistaa korreloimalla tiedot eri siiloed lähteistä ja valjastamalla metatiedot tietojen provenance ja lineage.
2. Hyödynnä core smart mastering-valmiuksia, joilla voidaan sovittaa ja yhdistää kokonaisuuksia yhteen monimallialustaan.
3. käytä semantiikkaa tietojen välisten suhteiden kuvaamiseen ja johdonmukaisuuden varmistamiseen.
4. luo 360 asteen näkymä integroimalla kaikki tietolähteesi.
5. Etsi likaista dataa luonnollisen kielen haun, datamallinnuksen ja koneoppimisen avulla kuvioiden ja poikkeamien tunnistamiseksi.

se on paljon, mutta sen arvoista. Organisaatio, joka käyttää vahvaa datahallintaa datapuhdistuskäytäntöjen lisäksi, voi tuottaa jopa 70% enemmän tuloja.

älä anna likaisen datan hidastaa

likaisen datan bisnesvaikutus on huikea, mutta yksittäinen organisaatio voi välttää suon. Nykytekniikalla ja teknologialla voidaan minimoida likaisen tiedon vaikutus. Puhdas, luotettava data tekee liiketoiminnasta ketterämpää ja reagoivampaa ja vähentää datatutkijoiden ja tietotyöntekijöiden turhia ponnisteluja.

yrityksesi saattaa jo suunnitella likadata-ongelmiensa ratkaisemista. Itse asiassa, 84% yrityksistä aikoo ottaa käyttöön tietojen laatua ratkaisuja pian, mutta monet näistä ratkaisuista on segmentoitu eri osastoilla yrityksen. Lisäksi monet tietojen laatua koskevat aloitteet eivät puutu keskeisiin muutoksiin, joita tarvitaan tietokannan sisällä vaikuttaakseen positiiviseen muutokseen siellä, missä sitä eniten tarvitaan. Tämä johtaa vain tulevaisuudessa ongelmiin epäjohdonmukaisten tietojen kanssa, mikä pahentaa nykytilaa tietojen lisääntyessä. Ponnistelujen on oltava maailmanlaajuisia kaikkialla liiketoiminnassa ja siten, että puututaan puutteisiin niiden lähteessä—tietokannan sisällä. Esimerkiksi MarkLogic®: n päälle rakennettu toiminnallinen datakeskus voi auttaa yritystäsi aloittamaan likaisten tietojen puhdistamisen.

Lue, miten Marklogicin Operational Data Hub framework voi auttaa sinua parantamaan tiedonhallintaa ja parantamaan tietovarantojesi laatua.