Zo bouw je een AI-chatbot: lessen uit vijf cultuurchatbots van DEN

1. Begin met een helder doel

Een goede chatbot begint niet bij technologie, maar bij een duidelijk doel. Wat moet de bot kunnen? Voor wie maak je hem? En wanneer is het ‘goed genoeg’?

Chatbots met een afgebakende taak werken beter dan bots die alles tegelijk moeten doen. Denk aan: “help bij het opstellen van een marketingplan” in plaats van “doe de marketing”. Hoe specifieker de taak, hoe beter het resultaat. Bepaal wanneer het resultaat ‘goed genoeg’ is: bijvoorbeeld of de toon juist is of dat de antwoorden consistenter zijn dan een losse chat.

Bij de ontwikkeling van de cultuurchatbots waren de vijf taken van de cultuurchatbots snel gevonden: een brainstorm met het team gaf voldoende input voor meer dan vijf chatbots. Het specificeren van de taak vormde wel een uitdaging. De chatbots moesten meer cultuurspecifieke antwoorden geven dan bijvoorbeeld ChatGPT. Tegelijkertijd moesten de chatbots breed toepasbaar zijn: voor verschillende taken en voor verschillende deelsectoren.

Bepaal voor de start:

1. Bepaal één concreet doel of concrete taak
2. Wie is de gebruiker: je publiek, een specifieke collega of al je collega's?
3. Wanneer is de chatbot 'goed genoeg' om te gebruiken

2. Selectiecriteria stellen

Tijdens het bouwen van een eigen chatbot kun je allerlei ontwerpkeuzes maken. De belangrijkste overwegingen zijn:

• Kies je voor één aanbieder of wil je de mogelijkheid hebben om in de toekomst van aanbieder te veranderen? Bij de keuze voor één aanbieder ben je hiervan afhankelijk, ook als ze de prijzen verhogen of de concurrentie beter wordtWelke duurzame keuzes maak je? Een kleiner taalmodel (bv. ChatGPT’s 4o-mini of Claude’s Haiku 4.5) maakt minder milieuimpact dan een groot model (bv. ChatGPT’s 5 of Claude’s Opus 4.6), maar het antwoord is minder uitgebreid.

• Wil je inzicht in het gebruik van je chatbot? En zo ja, tot welk niveau: aantal gebruikers of ook de inhoud van de prompts? Inzicht in gebruik helpt om de chatbot te verbeteren, maar kan als inbreuk op privacy worden ervaren.

• Mag de chatbot naast de kennisbank ook informatie uit de eigen database gebruiken? Een antwoord kan completer worden als ook de eigen database worden gebruikt, maar dit kan het antwoorden ook ‘vertroebelen’.

Bij de ontwikkeling van de cultuurchatbots waren vrije keuze van aanbieder en taalmodel erg belangrijk. Op dit moment wordt ChatGPT gebruikt, maar we overwegen een overstap naar Claude. Daarnaast vonden we de privacy van gebruikers belangrijker dan inzicht in het gebruik van de chatbot. We hebben voor een relatief klein taalmodel gekozen omdat dit voldeed aan onze eisen en minder milieu-impact maakt. Deze keuzes komen elk met voor- en nadelen, waarover later meer.

3. Bouw een kennisbank op

Een chatbot is zo goed als de informatie die je erin stopt. Maar let op: het verzamelen, opschonen en structureren van documenten kost vaak meer tijd dan gedacht. Want welke informatie is écht nodig of relevant om de taak goed uit te kunnen voeren?

Sta ook stil bij: welke informatie mág je eigenlijk gebruiken? Beleidsstukken, projectverslagen of handboeken kunnen waardevol zijn, maar let op privacy- en veiligheidsrisico’s.

Bij DEN zijn we gestart met het materiaal dat we al in huis hadden, zowel van onszelf als uit onze interne kennisbank. Omdat dit een tijdrovende klus was, zijn de cultuurchatbots gelanceerd met een relatief kleine kennisbank, waarna deze geleidelijk aan is uitgebreid. We hebben bijvoorbeeld basisinformatie opgenomen over alle cultuurfondsen die digitale projecten steunen.

4. Geef je chatbot richting 

Chatbots werken op basis van ‘prompts’ en systeeminstructies. Zie dit als het kompas van je bot: het bepaalt de toon, de taken en de grenzen van de antwoorden.

Een goed geformuleerde instructie het verschil maakt tussen een nuttige en een vage reactie. Een instructie als "je bent een ervaren fondsenwerver die helpt met het schrijven van culturele subsidieaanvragen" geeft veel meer richting dan "help met subsidies."

Ook het taalgebruik kun je sturen: wil je een informele toon of juist formeel? Gebruik je spreektaal of beleidsjargon? Wil je dat de chatbot ook antwoorden geeft op irrelevante vragen?

We hebben ervoor gekozen om de gebruikte prompts openbaar te maken, zodat iedereen deze kan gebruiken om zelf chatbots mee te maken die nóg beter aansluiten op de eigen situatie.

5. Test met gebruikers

Bouw je chatbot niet in één keer, maar werk in een aantal rondes toe naar het eindproduct. De eerste prototypes wil je waarschijnlijk zelf testen. Bij een volgende versie is het essentieel om daadwerkelijke gebruikers te betrekken, of dit nu collega’s zijn of je publiek. Hun feedback helpt je om taalgebruik, structuur en output te verbeteren. Doe dit in meerdere rondes.

Zo leerde wij uit de gebruikerstest dat gebruikers de antwoorden in eerste instantie te lang vonden, terwijl wij dachten dat ‘meer uitleg’ juist beter was. Ook vroegen zij om meer concrete voorbeelden in plaats van algemene adviezen, waardoor we onze kennisbank moesten verrijken.

6. Zorg voor onderhoud en doorontwikkeling

Een chatbot is nooit ‘af’. Informatie verandert, nieuwe vragen duiken op en technologie ontwikkelt zich razendsnel. Zonder onderhoud raakt je chatbot snel verouderd. Denk ook na over schaalbaarheid. Misschien wil je later uitbreiden naar andere taken of afdelingen. Zorg dan dat je de basis goed op orde hebt.

Het onderhoud en doorontwikkeling van de cultuurchatbots hebben we onderschat. Met name het actueel houden van de kennisbank is een continue taak. Hoewel het een bewuste keuze was om de privacy van gebruikers voorop te stellen, missen we gebruikersinzichten om de cultuurchatbots door te ontwikkelen. We weten nu niet precies hoe en waarvoor de chatbots worden gebruikt.

Zelf aan de slag?

Een AI-chatbot kan een waardevol hulpmiddel zijn in jouw werk of voor jouw publiek. Maar bedenk dan wel dat je deze goed moet instrueren, begeleiden en blijven trainen. Lees in dit artikel hoe je generatieve AI kunt inzetten om taken voor je uit te voeren.