a piszkos adatok megdöbbentő hatása
Ed Downs
Ed Downs felelős a MarkLogic ügyfélmegoldások marketingjéért. Jelentős tapasztalataira támaszkodva nagyszabású big data projekteket, valamint operatív és elemzési megoldásokat szállított az állami és a magánszektor szervezetei számára, hogy felhívja a figyelmet és felgyorsítsa a MarkLogic platform elfogadását.
néha, költségek settenkedik fel minket. Ami mindennapi bosszúságnak tűnhet, évek óta megdöbbentő költségvonzatokkal jár.
Piszkos adatok—pontatlan, hiányos vagy következetlen adatok—az egyik ilyen meglepetés. Az Experian jelentése szerint a vállalatok világszerte átlagosan úgy érzik, hogy adataik 26% – a piszkos. Ez óriási veszteségekhez vezet. Valójában ez az átlagos üzleti tevékenységnek a bevétel 15-25% – át teszi ki, az amerikai gazdaság pedig évente több mint 3 trillió dollárba kerül. Bárki, akinek piszkos adatokkal kellett foglalkoznia, tudja, milyen frusztráló lehet, de amikor a számok összeadódnak, nehéz lehet a fejét a hatása köré tekerni.
mivel a piszkos adatok olyan sokba kerülnek—kijózanító alábecsülés—, kritikus fontosságú megérteni, honnan származik, hogyan befolyásolja az üzletet és hogyan lehet kezelni.
Honnan Származnak A Piszkos Adatok?
az Experian szerint az emberi hiba a piszkos adatok több mint 60% – át befolyásolja, a rossz tárcaközi kommunikáció pedig a pontatlan adatrekordok körülbelül 35% – ában vesz részt. Intuitív módon úgy tűnik, hogy egy szilárd adatstratégiának enyhítenie kell ezeket a kérdéseket, de a nem megfelelő adatstratégia a pontatlan adatok 28% – át is érinti.
amikor a különböző részlegek a kapcsolódó adatokat külön adat silókba vezetik be, még a jó adatstratégia sem fogja megakadályozni a downstream adattárházak, Martok és tavak szennyeződését. A rekordok nem kanonikus adatokkal másolhatók, például a nevek és címek különböző helyesírási hibáival. A gyenge korlátozásokkal rendelkező adatsilók dátumokhoz vezethetnek, a számlaszámok vagy a személyes adatok különböző formátumokban jelennek meg, ami megnehezíti vagy lehetetlenné teszi az automatikus egyeztetést.
a piszkos adatok évekig rejtve maradhatnak, ami még nehezebbé teszi a felismerést és a kezelést, amikor valóban megtalálják őket. Sajnos a vállalkozások 57% – A tudomást szerez a piszkos adatokról, amikor az ügyfelek vagy a kilátások jelentik őket—ez különösen rossz módszer az alapvető adatproblémák felkutatására és megoldására.
sok szervezet következetlen és pontatlan adatokat keres kézi folyamatok segítségével, mert az adataik túlságosan decentralizáltak és nem szabványosak. Ezek a tervek általában ugyanabba a csapdába esnek, mint az adatok—a konszolidált tervezés helyett minden osztály felelős a saját adatpontatlanságáért. Bár ez bizonyos eseteket elkaphat, hozzájárul az osztály silók közötti belső következetlenségekhez is. A javítás Egy helyen történik, de a másikban nem, ami csak további adatproblémákhoz vezet.
a piszkos adatok hatása
a piszkos adatok elpazarolt erőforrásokat, elvesztett termelékenységet, sikertelen kommunikációt eredményeznek—mind belső, mind külső—, valamint elpazarolt marketingköltségeket. Az Egyesült Államokban a becslések szerint a bevételek 27% – át pazarolják pontatlan vagy hiányos ügyfél-és kilátásadatok.
a termelékenységet számos fontos területen befolyásolja. Az adatkutatók idejük 60% – át az adatok tisztításával, normalizálásával és rendszerezésével töltik. Eközben a tudásmunkások idejük 50% – át rejtett és pontatlan adatokkal töltik.
a piszkos adatok nem hitelesek, ami azt jelenti, hogy az adatokra támaszkodó végfelhasználók több időt töltenek az adatok pontosságának megerősítésével, tovább csökkentve a sebességet és a termelékenységet. Egy másik manuális folyamat bevezetése több pontatlansághoz és inkonzisztenciához vezet a piszkos rekordok növekvő száma révén.
a bevételkiesés mellett a piszkos adatok alattomosabban érintik a vállalkozásokat. Az üzleti vezetők mindössze 16% – A bízik az üzleti döntéseik alapjául szolgáló pontosságban. Szemét be, szemét ki-ha nem támaszkodhat a saját adataira, valamit tenni kell az adatok pontosságának és megbízhatóságának növelése érdekében.
Piszkos adatok a bankokban
világszerte az adatok pontatlansága a vállalat bevételének 15-25% – át teszi ki. A több mint 2,2 billió dolláros globális bevételekkel ez azt jelenti, hogy a piszkos adatok a globális bankszektornak több mint 400 milliárd dollárba kerülnek. A piszkos adatok számos olyan kockázathoz is vezetnek, amelyek egyedülállóak a bankszektor számára.
a szervezet adatsilói közötti következetlen információk tranzakciós kockázatokhoz vezetnek, például pontatlan vagy akár csalárd tranzakciókhoz. A hamis és csalárd számlákat korán fel kell fogni olyan folyamatokkal, amelyek tisztítják vagy észlelik a piszkos adatokat. Ha ezt nem teszik meg, a bank veszélybe kerül, és a hírneve sérül.
annyi piszkos adat és olyan kevés vezető bízik az általuk használt adatokban, ami rossz stratégiai döntéseket eredményez. Nem választhatod meg a helyes utat, ha nem tudod, hol vagy. A piszkos adatok óriási működési kockázatokhoz vezethetnek.
a folyamatosan változó szabályozási környezet súlyos terhet ró az adatkezelésre is. A megfelelőségi csapatokra jelentős nyomás nehezedik, hogy több információt nyújtsanak az adatokról, de ha nem rendelkeznek tiszta adatokkal, akkor nincs szerencséjük. A MiFID II 2018-as bevezetése fájdalmas példa erre, mivel a megingó megfelelés és az egyre szigorúbb szabályozók sok európai pénzügyi vállalkozásnak fájdalmat okoznak.
Piszkos adatok kezelése
a piszkos adatok tisztításának legnagyobb kihívást jelentő problémája Az érvénytelen bejegyzések és a duplikált adatok tisztítása. Gondos hibajavításra van szükség annak biztosítása érdekében, hogy ne veszítsenek el adatokat, miközben javítják a meglévő érvényes adatok konzisztenciáját, hanem hogy az adatjavításnak megfelelő összes metaadat megmaradjon az integrált adatok mellett.
miután az adatokat megtisztították, azokat meg kell őrizni. A piszkos adatok tisztításának kezdeti folyamata után csak az új vagy megváltozott adatokat kell ellenőrizni az érvényesség és a konzisztencia szempontjából. Minden esetben a régitől az újonnan bevitt adatokig rögzíteni kell az adatok származását. Ez biztosítja annak érvényességét és megbízhatóságát.
a piszkos adatok tisztítására és az adatkezelésre vonatkozó legjobb gyakorlatok a következők:
- harmonizálja az adatok különböző silózott források közötti korrelálásával és a metaadatok felhasználásával az adatok eredetéhez és származásához.
- használja ki az alapvető intelligens mastering képességeket az entitások egy többmodelles platformon történő egyesítéséhez.
- alkalmazza a szemantikát az adatok közötti kapcsolatok rögzítésére és a következetesség biztosítására.
- hozzon létre egy 360 fokos nézetet az összes adatforrás integrálásával.
- keresse meg a piszkos adatokat természetes nyelvi kereséssel, adatmodellezéssel és gépi tanulással a minták és anomáliák azonosítására.
ez sok, de megéri. Egy olyan szervezet, amely az adattisztítási gyakorlatok mellett erős adatkezelést is alkalmaz, akár 70% – kal több bevételt generálhat.
hagyja abba a piszkos adatok lelassítását
a piszkos adatok üzleti hatása megdöbbentő, de az egyes szervezetek elkerülhetik a mocsarat. A Modern technikák és technológiák minimalizálhatják a piszkos adatok hatását. A tiszta, megbízható adatok agilisabbá és érzékenyebbé teszik az üzletet, miközben csökkentik az adatkutatók és a tudásmunkások elpazarolt erőfeszítéseit.
lehet, hogy vállalkozása már tervezi a piszkos adatokkal kapcsolatos problémák megoldását. Valójában a vállalkozások 84% – A tervezi, hogy hamarosan bevezeti az adatminőségi megoldásokat, de ezek közül a megoldások közül sok a vállalati részlegek között van szegmentálva. Sőt, sok adatminőségi kezdeményezés nem foglalkozik az adatbázisban szükséges alapvető változásokkal, hogy ott befolyásolják a pozitív változásokat, ahol a legnagyobb szükség van rá. Ez csak a következetlen adatokkal kapcsolatos jövőbeli problémákhoz vezet, súlyosbítva a jelenlegi állapotot az adatok szaporodásával. Az erőfeszítésnek globálisnak kell lennie az egész üzletágban, és oly módon, hogy a hiányosságokat a forrásuknál—az adatbázison belül-kezelje. Egy operatív adatközpont, mint például a MarkLogic (MarkLogic) tetejére épített központ, segíthet az Ön vállalkozásának abban, hogy megfelelő kezdetet kapjon a piszkos adatok tisztításában.
Ismerje meg, hogyan segíthet a MarkLogic operatív adatközpont-keretrendszere az adatkezelés javításában és az adatkészletek minőségének javításában.
Leave a Reply