Insights

Hoeveel autonomie moeten AI-agents krijgen?

GGG blog 3: autonome AI-agents hebben nog steeds menselijk oordeel nodig

Dit is deel 3 van onze serie Grounded, Guarded, Governed over het bouwen van betrouwbare agentic systemen. Lees hier deel 1 over guardrails en deel 2 over observability.

Nu AI-agents autonomer worden, is de vraag niet meer alleen wat ze kunnen. De vraag is hoe ver ze mogen gaan voordat een mens ingrijpt. Teams die agentic AI verantwoord opschalen, zien governance als onderdeel van het operationele model, niet als bijzaak. Guardrails en observability zorgen voor structuur en zicht. Maar ook het meest transparante systeem heeft duidelijke verantwoordelijkheid nodig.

Agentic AI levert snelheid en consistentie, maar niet elke beslissing hoort geautomatiseerd te worden. Betrouwbare systemen steunen op veiligheid, transparantie en menselijk toezicht. Deze blog gaat over de derde pijler: bepalen waar automatisering ophoudt en oordeel begint.

Hieronder kijken we waar een mens bij het ontwerpen van AI-systemen betrokken moet blijven, welke acties nooit volledig geautomatiseerd mogen worden, en hoe goedkeuringsstromen kunnen aansluiten op bestaande workflows.

Human-in-the-loop: de mens blijft betrokken

Sommige acties vragen nog steeds om een afweging. Op terreinen als financiën, beleid of compliance is menselijke goedkeuring cruciaal. Agents kunnen voorbereiden of aanbevelen, maar experts (mensen) beslissen. Het is een hybride model: automatisering voor snelheid en consistentie, menselijk toezicht voor context en verantwoording. Die balans houdt de systemen betrouwbaar.

Waar automatisering moet stoppen

Sommige acties horen nooit volledig geautomatiseerd te worden. Punt.

Raakt een actie eindgebruikers, geld, beleid of contractuele verplichtingen, dan is expliciete menselijke goedkeuring nodig. Dat geldt voor bepaalde juridisch bindende communicatie met klanten, financiële wijzigingen, toegangsrechten, beleidsbeslissingen, of alles wat duur of pijnlijk is om terug te draaien. Ook als een agent het werk technisch kan doen, hoort hij niet het laatste woord te hebben.

Agents werken het best als hun mate van autonomie past bij het risico. Bij taken met een laag risico of een duidelijke afbakening kunnen agents, met de juiste guardrails, direct handelen. Ze hoeven dan niet bij aanbevelingen te blijven. Ze kunnen veilig uitvoeren binnen duidelijk afgebakende grenzen.

Naarmate de impact groter wordt, hoort de menselijke betrokkenheid mee te groeien. In situaties met een hoger risico verzamelen agents context, brengen ze opties in beeld, signaleren ze risico's en bereiden ze een aanbeveling voor, maar de uiteindelijke beslissing ligt bij een mens die verantwoordelijk is voor de uitkomst.

Controlemomenten in de workflows van agents

Human-in-the-loop betekent niet dat alles trager gaat. In goed ontworpen systemen doen agents het meeste werk voordat een mens ergens naar hoeft te kijken. Ze volgen signalen, ontdekken problemen en maken van verzoeken gestructureerde voorstellen, met de relevante context er al bij.

Bij managed services ziet dat er vaak zo uit: een agent maakt een ticket aan of vult het aan. De achtergrond staat erin. De aanbeveling staat erin. De risico's zijn al benoemd. Een domeinexpert beoordeelt het, neemt een besluit en gaat verder.

Na de goedkeuring blijft de agent betrokken. Hij kan vervolgvragen beantwoorden, wijzigingen doorvoeren of de goedgekeurde actie uitvoeren. Mensen houden de controle zonder repetitief voorbereidend werk te doen.

Goedkeuringen binnen bestaande rechtenmodellen

Er bestaat geen universele goedkeuringsstroom die voor elke organisatie werkt, en wie er een probeert af te dwingen, krijgt meestal het tegenovergestelde. Sommige teams keuren acties goed in dashboards. Andere gebruiken ticketsystemen zoals Jira. Teams die sneller werken, regelen goedkeuringen soms in Slack, waarbij de agent uitlegt wat er gevraagd wordt en waarom.

Waar het om gaat, is dat de agent past in hoe teams al werken. Goedkeuring moet voelen als een logische stap in een bestaand rechtenmodel, niet als een nieuw proces waar mensen omheen moeten werken. Sluiten goedkeuringen aan op echte workflows, dan voegen ze controle toe zonder frictie.

Gecontroleerde autonomie is schaalbaar

Menselijk toezicht wordt vaak gezien als een tijdelijke noodoplossing. In de praktijk maakt het autonomie juist houdbaar. Als teams expliciet maken waar oordeel nodig is, gedragen systemen zich voorspelbaarder. Agents gaan snel waar snelheid veilig is en vertragen waar verantwoordelijkheid ertoe doet.

Die duidelijkheid beschermt de organisatie, de mensen die het systeem beheren en de klanten die met de beslissingen te maken krijgen. Verantwoordelijkheid blijft zichtbaar. Niets verdwijnt in "Geen idee, het systeem besliste het gewoon." Zo kan autonomie opschalen zonder in chaos te ontaarden.

Bouwen voor controle, niet voor chaos

Agentic AI blijft zich snel ontwikkelen. De vraag is niet hoe je het tegenhoudt, maar hoe je systemen ontwerpt die bestuurbaar blijven naarmate de autonomie toeneemt.

Met duidelijke guardrails, sterke observability en bewust menselijk toezicht kunnen organisaties profiteren van automatisering zonder verantwoording te verliezen. Vertrouwen bouw je niet met technologie alleen. Het ontstaat door transparantie, expliciete controle en gedeelde verantwoordelijkheid.

Meer in onze podcast: Taming the Agent

podcast

Luister naar ons volledige gesprek over het ontwerpen van guardrails, observability en menselijk toezicht in de eerste aflevering van onze podcast, Crystal Clear. De twee hosts, Kevin en Marc, bespreken hoe grote bedrijven verder komen dan AI als proof of concept en agentic systemen bouwen die veel kunnen en beheersbaar blijven. Luister nu

Marc de Haas

Marc de Haas

Head of Development

Marc is Head of Development bij Crystalloids en werkt als Solution Architect en Cloud Architect nauw mee aan klantprojecten.

Bekijk alle artikelen