Data mesh of data fabric? Zo kies je je datastrategie

Organisaties zijn afhankelijk van data, maar vinden het vaak lastig om er alles uit te halen wat erin zit. Het doel is om van oude, losse tools over te stappen op moderne, samenhangende systemen die het beste van dataopslag en data-analyse combineren. Nu bedrijven met steeds meer data werken, worden twee methoden populair om dat allemaal te beheren: data mesh en data fabric.

In deze blog zetten we data mesh en data fabric naast elkaar. We kijken naar wat ze van elkaar onderscheidt, wat ze opleveren en waar ze in je organisatie het best kunnen passen.

Of je nu meer uit je data lake wilt halen, je data warehouse wilt stroomlijnen of je data engineering-processen wilt verbeteren: het is belangrijk om het verschil tussen data fabric en data mesh te begrijpen. We bekijken beide concepten en hoe ze kunnen helpen om grip te krijgen op grote hoeveelheden data.

Data mesh: decentraal databeheer

Wat is data mesh?

Data mesh, een concept dat werd geïntroduceerd door Zhamak Dehghani, is een relatief nieuwe benadering van data-architectuur die de beperkingen van traditionele, centrale dataplatforms wil oplossen. Kenmerkend is het decentrale eigenaarschap van data, waarbij relevante data als een product wordt behandeld.

In de praktijk kunnen organisaties met data mesh hun data-infrastructuur efficiënt laten meegroeien, de datakwaliteit verhogen en data sneller leveren. Deze aanpak vraagt wel om flinke organisatorische veranderingen, waaronder een verschuiving naar meer samenwerking en multidisciplinaire manieren van werken. Goed uitgevoerd kan het leiden tot een wendbaardere, schaalbare en gebruikersgerichte oplossing die de toegang tot data en de analyse ervan sterk verbetert.

De belangrijkste kenmerken van data mesh:

1. Decentralisatie: in een data mesh zijn datadomeinen eigendom van een domeinspecifiek datateam dat ze ook beheert. Dat vermindert de bottlenecks die bij centraal databeheer horen.
2. Data als product: data wordt behandeld als een product, met duidelijk eigenaarschap, kwaliteitsnormen en documentatie. Elk datadomein is verantwoordelijk voor zijn eigen dataproducten.
3. Selfservice: domeinteams kunnen zelfstandig allerlei data aanbieden en gebruiken, waardoor ze minder afhankelijk zijn van centrale IT-teams.
4. Eigenaarschap van data: duidelijk eigenaarschap zorgt voor verantwoordelijkheid en transparantie, zodat je problemen en wijzigingen in de data makkelijker kunt herleiden.

Voordelen:

• Schaalbaarheid: met data mesh breid je de data-infrastructuur efficiënt uit wanneer er nieuwe domeinen bijkomen, zonder de centrale teams te overbelasten.
• Betere datakwaliteit: doordat eigenaarschap en verantwoordelijkheid duidelijk zijn, is data die onder data mesh wordt beheerd betrouwbaarder voor analyse en besluitvorming.
• Snellere levering van data: decentrale teams kunnen snel dataproducten leveren, waardoor gebruikers in de organisatie sneller tot inzichten komen.
• Flexibiliteit: data mesh geeft de wendbaarheid om in te spelen op veranderende behoeften in de organisatie en op nieuwe of veranderende databronnen.

Uitdagingen:

• Organisatorische verschuiving: de overstap naar een data mesh-architectuur vraagt om grote veranderingen in de structuur en processen van het bedrijf.
• Data governance: consistente data governance over decentrale teams heen is een complexe opgave.
• Cultuurverandering: wie data mesh invoert, moet vaak ook de organisatiecultuur veranderen.

Use case: data mesh in de praktijk

Neem een multinational met verschillende zelfstandige bedrijfsonderdelen, elk met eigen eisen aan data. Met data mesh beheert elk onderdeel zijn data zelf. Dat leidt tot snellere besluitvorming en minder afhankelijkheid van een centraal IT-team. Deze aanpak is vooral nuttig in dynamische sectoren zoals e-commerce, waar snelle veranderingen in consumentengedrag en markttrends vragen om snelle toegang tot betrouwbare, actuele data.

Het dataplatform van Rituals voor betere toegang tot data, meer analysemogelijkheden en betere bedrijfsresultaten.

KLANTCASE

Data fabric: één samenhangende aanpak

Wat is data fabric?

Data fabric is daarentegen een data-architectuur die zich richt op één samenhangend en consistent beeld van de data in de hele organisatie. Dat bereikt het door verspreide databronnen te integreren, datavirtualisatie toe te passen en sterk in te zetten op data governance en centraal beheer. De aanpak van Google Cloud voor data fabric omvat tools als BigQuery, Dataflow en Dataproc, die eenduidige toegang tot data en analyse mogelijk maken.

De belangrijkste kenmerken van data fabric:

1. Integratie: data fabric brengt data samen uit uiteenlopende bronnen, waaronder on-premise systemen, cloudplatforms en externe databronnen.
2. Datavirtualisatie: vaak wordt datavirtualisatie gebruikt om data te presenteren alsof die op één centrale plek staat. Daardoor is de data makkelijker te benaderen en te bevragen.
3. Data governance: data fabric legt veel nadruk op data governance, voor datakwaliteit, beveiliging en compliance.
4. Centraal beheer: bij data fabric worden de databronnen meestal centraal beheerd, wat zorgt voor een consistente en betrouwbare data-omgeving.

Voordelen:

• Eenduidige toegang tot data: data fabric biedt één interface om data uit meerdere bronnen te benaderen, wat het gebruik van data eenvoudiger maakt.
• Datakwaliteit en governance: de nadruk ligt op juiste, goed beveiligde data die voldoet aan de regels.
• Schaalbaarheid: data fabric is een schaalbare oplossing voor organisaties die met grote hoeveelheden data werken.
• Integratie van legacy: het kan legacysystemen goed integreren en moderniseren, en zo de technologische kloof tussen oude en nieuwe systemen overbruggen.

Het invoeren van een data mesh kan de manier waarop organisaties met hun data omgaan ingrijpend veranderen. Lees hier meer over de voordelen, en over hoe het ook complexe organisatorische problemen oplost.

Uitdagingen:

• Complexe implementatie: een data fabric-architectuur opzetten kan ingewikkeld en veeleisend zijn.
• Veel middelen nodig: centraal databeheer vraagt om een flinke investering in infrastructuur.
• Latentie: door datavirtualisatie kan er vertraging optreden wanneer je data uit verschillende bronnen opvraagt.

Use case: data fabric in de praktijk

Stel je een zorgorganisatie voor die patiëntgegevens moet samenbrengen uit verschillende bronnen, zoals elektronische patiëntdossiers, labuitslagen en wearables. Data fabric zou één samenhangend beeld van de patiëntgegevens mogelijk maken, wat de afstemming van de zorg en de uitkomsten voor patiënten verbetert. Deze aanpak is ook nuttig voor financiële instellingen die een geconsolideerd beeld van hun klantdata nodig hebben voor risicobeoordeling en compliance.

Kiezen tussen data mesh en data fabric

De keuze tussen data mesh en data fabric hangt af van de specifieke behoeften en cultuur van een organisatie, en van het datalandschap dat er al is.

• Data mesh past goed bij organisaties die wendbaarheid, decentralisatie en schaalbaarheid zoeken. Domeinspecifieke teams worden eigenaar van hun data, wat snellere levering van data en flexibiliteit mogelijk maakt.
• Data fabric is daarentegen ideaal voor organisaties die data governance, integratie en één samenhangend beeld van hun data voorop zetten. Het zorgt voor consistente datakwaliteit en beveiliging, en maakt data op een eenduidige manier toegankelijk.

Wanneer kies je voor data mesh?

Data mesh is geschikt om verschillende afdelingen binnen een groot bedrijf zelf hun datazaken te laten regelen, met autonomie en wendbaarheid. Het is vooral nuttig in de volgende gevallen

1. Uiteenlopende bedrijfsonderdelen: denk aan een multinational met verschillende afdelingen, elk met eigen operationele behoeften. Data mesh geeft elk van die afdelingen de autonomie om haar data zelfstandig te beheren en te gebruiken, vergelijkbaar met een bedrijf dat elke vestiging haar werkwijze laat afstemmen op de vraag in de lokale markt.
2. Snelle vernieuwing en flexibiliteit: in sectoren als techstartups, waar wendbaarheid essentieel is, stelt data mesh elk team in staat om snel bij te sturen en te vernieuwen, zonder te worden afgeremd door centrale controle over de data. Alsof elk team een eigen klein lab heeft om te experimenteren en snel nieuwe producten te ontwikkelen.
3. Grote, decentrale organisaties: in een grote onderneming met activiteiten over de hele wereld laat data mesh elk regiokantoor zijn eigen databeheer doen, afgestemd op de behoeften en uitdagingen in die regio.

Wanneer kies je voor data fabric?

Data fabric draait daarentegen meer om een samenhangend, geïntegreerd systeem voor databeheer. Het past bij situaties waarin eenduidige toegang en governance cruciaal zijn.

1. Behoefte aan één beeld van de data: een internationale bank met klantrekeningen, transacties en klantcontacten in verschillende landen zou baat hebben bij data fabric. Het brengt data uit al die bronnen samen en geeft een totaalbeeld dat essentieel is voor risicobeheer, klantrelatiebeheer en naleving van regelgeving.
2. Consistente data governance en datakwaliteit: zorgsystemen die patiëntdossiers, onderzoeksdata en operationele data beheren, zouden er voordeel bij hebben. Data fabric bewaakt overal de vertrouwelijkheid van patiëntgegevens en biedt tegelijk eenduidige toegang tot data, voor betere zorg en betere onderzoeksinzichten.
3. Integratie van complexe legacysystemen: een productiebedrijf met legacysystemen voor supply chain management, productieregistratie en verkoop kan data fabric gebruiken om die systemen te integreren. Informatie stroomt dan door de verschillende fasen van productie, toeleveringsketen en verkoop, wat de efficiëntie en de besluitvorming verbetert.

Soms is een hybride aanpak de beste oplossing: je combineert de sterke punten van data mesh en data fabric tot een data-architectuur op maat die past bij de specifieke eisen van je organisatie.

Conclusie

De keuze tussen data mesh en data fabric moet afhangen van de doelen van een organisatie, haar datavolwassenheid en de bereidheid om te veranderen. Beide benaderingen bieden nieuwe manieren om de uitdagingen van modern databeheer aan te pakken, en de juiste keuze kan leiden tot betere datagedreven besluitvorming en betere bedrijfsresultaten.

Data mesh past het best bij grote, diverse organisaties waarin de verschillende afdelingen autonomie nodig hebben en snel moeten kunnen vernieuwen. Data fabric is ideaal wanneer een eenduidig, volledig beeld van de data essentieel is, vooral bij complexe systemen en legacysystemen. De keuze hangt grotendeels af van de specifieke databehoeften en de organisatiestructuur van je bedrijf.

Wil je grip krijgen op complexe data en heb je een gedegen plan nodig? Crystalloids kan helpen. We hebben de kennis om een datastrategie op te zetten die bij je organisatie past. Met een team van specialisten in data engineering, data science en analytics helpt Crystalloids je om meer uit je data te halen.