Quality assurance: hoe datakwaliteit direct je bedrijf raakt

Deel 1 van de blogreeks over quality assurance

Als je zakelijke beslissingen en klantcontacten gebaseerd zijn op data die steeds opnieuw en in verschillende formaten uit meerdere bronnen komt, loop je het risico dat er iets misgaat in de processen en in de data. In dit artikel leggen we uit wat quality assurance is en wanneer het nodig is, en delen we best practices om het toe te passen.

De gevolgen van slechte datakwaliteit

Ruwe data wordt steeds vaker gebruikt om nieuwe informatie en kennis te maken. Het integreren van die data vormt de basis voor algoritmen en processen voor machine learning. Verkeerd gematchte of verrijkte data is niet langer betrouwbaar, en als je die in bedrijfsprocessen gebruikt, tast dat je vermogen aan om weloverwogen oordelen en beslissingen over je bedrijf te nemen.

Daarom moet je bewaken en controleren of de data in de juiste volgorde wordt verwerkt en geleverd. De kwaliteit van de data moet onberispelijk zijn om haar in kritieke beslisprocessen te kunnen gebruiken.

Dubbele data kan bijvoorbeeld een negatief effect hebben op de KPI's van je bedrijf. Heb je twee of meer records voor één klant, dan stuur je dezelfde persoon mogelijk meerdere keren dezelfde campagne. Dat raakt de bezorgbaarheid van je e-mails, je personalisatie, de respons, de campagneresultaten en de totale ROI van je marketing.

Verkeerde zakelijke beslissingen op basis van onvolledige data zijn erg kostbaar. Volgens Gartner leidt slechte datakwaliteit tot een gemiddelde financiële impact van 15 miljoen dollar per jaar voor organisaties. Naast de financiële gevolgen kost het je businessanalisten ook veel tijd als ze analyses draaien op onvolledige of onjuiste data en de fouten moeten opsporen en herstellen.

Wat is quality assurance?

Volgens ISO 9000 is quality assurance "het deel van kwaliteitsmanagement dat erop gericht is vertrouwen te geven dat aan kwaliteitseisen zal worden voldaan". Dat lijkt misschien lastig, omdat er veel processen zijn die de data transformeren en opslaan en die allemaal gecontroleerd moeten worden.

Alles met de hand bewaken kost veel tijd en is niet 100% betrouwbaar. Om de kwaliteit van data te borgen, kun je dit soort controles automatisch laten uitvoeren en meldingen instellen voor als er iets misgaat. Een oplossing ontwerpen en invoeren die continu en automatisch bewaakt, kan een goed idee zijn. Zo weet je bedrijf direct wanneer er iets misgaat.

Consistente, geldige en volledige data

Je klantdata en processen vormen het fundament van je infrastructuur, en het is tijd om ze ook zo te behandelen. Als onderdeel van quality assurance sporen we problemen op in data die is opgeslagen in een data warehouse, bijvoorbeeld Google BigQuery. We bewaken alle dataprocessen, waaronder dataflows, triggers, stored procedures en alle andere processen die je maar kunt bedenken. Het doel is ervoor te zorgen dat alle bewerkingen slagen en dat de data consistent, geldig en volledig is.

Voorbeeld van een user story:

Toen we een project begonnen bij een van onze klanten, moesten we op basis van de data in Google Cloud BigQuery controleren of alle processen goed waren afgerond. Elke avond liepen de geconsolideerde processen over een groot aantal tabellen, met een enorme hoeveelheid data, en sommige ervan, of delen ervan, konden mislukken. Om te controleren of de tabellen dagelijks werden bijgewerkt, maakten we een geautomatiseerde dagelijkse controle. Zo zag de query eruit:

Met de eerste versies kon het bedrijf snel zien of er iets was misgegaan. Na een paar dagen ontdekten we echter dat dit niet voor alle processen gold die direct output in BigQuery-tabellen opleveren.

We keken verder dan het voor de hand liggende en ontwierpen extra mechanismen om mogelijke fouten op te sporen. Met de Google Cloud SDK maakten we een nieuw soort controle die niet alleen data in BigQuery valideert, maar ook nagaat of een bestand in Google Cloud Storage bestaat. Zo konden we eenvoudig de naam van de bucket en het formaat van de bestandsnaam bewaken, en een e-mailmelding instellen als het bestand niet op de opgegeven plek stond.

Tijdens het project kwamen we verschillende uitdagingen tegen. De interessantste was waarschijnlijk bepalen wat de beste manier was om de controles uit te voeren. Aan de ene kant zou het heel flexibel zijn om zoveel mogelijk opties aan de configuratietabel toe te voegen. Aan de andere kant zou dat de persoon die de configuratie deed overbelasten. Het moest ook snel reageren en makkelijk te gebruiken zijn. Uiteindelijk hebben we samen met het bedrijf de belangrijkste waarden bepaald die instelbaar moesten zijn, en de minder belangrijke op een standaardwaarde gelaten.

Aan de slag met quality assurance

In dit artikel hebben we gekeken naar het belang van goede datakwaliteit en hoe je bedrijf ervan afhankelijk is. Voer je quality assurance in en ga je je data en processen proactief bewaken om de kans op fouten zo klein mogelijk te maken, dan kun je kritieke zakelijke beslissingen nemen zonder nadelige gevolgen.