Direct naar de inhoud Direct naar het menu Direct naar de zoekfunctie Direct naar de footer

‘Mogen wij u enkele vragen stellen?’ Onderzoek naar online publieksbeleving

In dit artikel doen Sophie Heijkoop (DEN) en Anna Elffers (extern adviseur) samen verslag van de bevindingen en aanbevelingen van de pilot ‘Onderzoek naar online publieksbeleving’ en geven antwoord op de vraag: hoe kun je onderzoek doen naar online publieksbeleving?


De aanleiding

De coronacrisis zorgde voor een enorme toename in het digitale aanbod van kunst-, erfgoed- en culturele instellingen. Van livestreams van dansvoorstellingen, tot online workshops, podcasts en videorondleidingen door tentoonstellingen: digitaal verving het fysieke cultuurbezoek tijdens de lockdown in het voorjaar van 2020. In eerste instantie werd vooral snel van alles ontwikkeld om maar aanbod te hebben. Gaandeweg bleek dit een enorme kans voor de cultuursector om veel meer te leren over het duurzaam inzetten van digitaal aanbod.

Gewoonlijk stappen de afdelingen marketing, communicatie en educatie vrij laat in bij het proces om cultureel aanbod zo goed mogelijk aan te laten sluiten op de wensen, behoeften en mogelijkheden van verschillende doelgroepen. Nu namen zij ineens grotendeels het voortouw en dat zorgde ervoor dat vragen over publieksbeleving prominenter op de agenda staan. Er is veel behoefte om grip te krijgen op de impact van de online activiteiten op publiek, kortom op hoe het publiek cultuur online beleeft. Is een online cultuurbeleving een volwaardige beleving? Wordt er een nieuw publiek mee bereikt? Is de beleving intenser of juist oppervlakkiger dan een fysiek bezoek? Publieksonderzoek kan daar meer inzicht in geven.


Pilotproject met vijf culturele instellingen

‘Een symfonie, schilderij of toneelstuk is pas af, als het de toeschouwer werkelijk heeft weten te raken’, schrijft Johan Idema in Raak of vermaak, waarom kunst meer teweeg kan brengen. Instellingen en makers hebben ideeën, verwachtingen en doelstellingen bij hun aanbod, bijvoorbeeld om mensen te inspireren, iets te leren of te vermaken. Tegelijk hebben bezoekers zelf ook allerlei verwachtingen, doelen en ideeën. Dat is online niet anders dan bij een fysiek bezoek. Wanneer je onderzoekt in hoeverre de doelstellingen en verwachtingen van het publiek aansluiten bij die van de maker, kom je meer te weten over publieksbeleving en hoe je je publiek echt kan raken. Want hoe hoger de belevingswaarde voor de bezoeker is, hoe groter de impact van je online aanbod.

DEN startte in september 2020 een pilot om met vijf instellingen onderzoek te doen naar digitale publieksbeleving. De deelnemende instellingen waren Streekarchief Gooi- en Vechtstreek, De Nederlandse Dansdagen, Erfgoedfestival georganiseerd door Erfgoed Gelderland, Herinneringscentrum Kamp Westerbork en het Mauritshuis. Anna Elffers, adviseur, onderzoeker en docent op het gebied van cultuur en publiek was als extern adviseur betrokken bij dit traject. In de pilot trokken DEN, Anna Elffers en de vijf instellingen samen op om te leren door ervaringen uit te wisselen. Er werd gekozen voor de onderzoeksmethode van microsurveys. Het doel was om meer inzicht te krijgen in de publieksbeleving bij digitaal aanbod en tegelijk om uit te testen of een microsurvey hiervoor een nuttig instrument is.

DEN verzamelde allerlei voorbeelden van digitaal aanbod tijdens de coronacrisis. Bekijk daarvoor onze pagina met inspirerende voorbeelden van online tonen en verdienen.


De keuze voor microsurvey

Op basis van informatie over het gedrag en de wensen van je bezoekers kun je als instelling gefundeerde keuzes maken over het ontwikkelen en aanbieden van digitale activiteiten. Veel organisaties verzamelen al data over het gedrag van online bezoekers, bijvoorbeeld via Google Analytics. In de pilot onderzocht DEN samen met de organisaties of het uitzetten van microsurveys een goede aanvulling is op deze doorgaans kwantitatieve data. DEN koos voor microsurveys omdat we verwachtten dat dit een laagdrempelige manier zou zijn om onderzoek te doen. Daarnaast biedt het in deze periode van coronamaatregelen een manier om op afstand onderzoek te doen en toch je publiek direct te bevragen. Alle organisaties onderzochten een specifiek online programma, zoals een workshop, een voorstelling of een onderzoeksproject. Ze bevroegen hun online publiek over de beleving van deze programma’s.

Een microsurvey is een korte vragenlijst die als pop-up verschijnt op een website of die je als e-mail kan versturen. In de pilot raadde DEN instellingen aan om surveys te maken van 3-5 vragen, zodat deze heel gericht werden gesteld. Daarnaast vraag je op deze manier weinig tijd van bezoekers, terwijl – zo was de aanname – je wel waardevolle informatie kunt verzamelen.

Dat DEN koos voor een microsurvey als onderzoeksmethode, stuitte bij Anna Elffers in eerste instantie op scepsis. Beleving onderzoeken, dat doe je niet met een enquête, houdt zij haar opdrachtgevers en studenten altijd voor. Toch was ze ook erg nieuwsgierig, omdat dit systeem het mogelijk maakt bezoekers onmiddellijk om een reactie te vragen. Ze besloot daarom om op verzoek van DEN als extern adviseur aan te sluiten bij de pilot.


Wat onderzochten de deelnemende instellingen?

De pilot startte met een oproep, waarin instellingen konden pitchen welke digitale activiteit ze wilden onderzoeken. DEN selecteerde de inzendingen op onderwerp, motivatie en daarnaast wilden we graag deelnemers uit diverse disciplines. De te onderzoeken activiteiten liepen uiteen van online festivals, een workshopserie, een crowdsourcingproject en een online zoektocht naar informatie.

In de eerste bijeenkomst hielden we een uitgebreide brainstorm om voor alle vijf deelnemende instellingen te bepalen waar het onderzoek over moest gaan. Wat wilden zij en hun collega’s weten, waarom wilden ze dat weten, en was die kennis ook daadwerkelijk te vergaren door middel van een microsurvey? Door goed na te denken over de precieze context van elk van de onderzoeken bepaalde ieder van de deelnemers waar ze de focus van het onderzoek op gingen leggen en wat dat betekende voor hoe en waar ze de microsurvey aan wie zouden ‘serveren’. Dat betekende: scherp kiezen. Je kunt bezoekers niet in algemene zin vragen naar hun online beleving, en al helemaal niet naar hun algemene wensen en behoeften op dat vlak. Je kunt ze wel vragen om te vertellen over wat ze meegemaakt hebben, wat dat met ze deed en wat er misschien beter kan.

Het leverde een paar mooie staaltjes publieksonderzoek op. De onderzoeksvragen waren zeer divers:

  • Streekarchief Gooi en Vechtstreek wilde graag weten in hoeverre het crowdsourcingsproject ‘Woningkaarten van Laren 1925-1939’ overeen kwam met de verwachtingen van deelnemers.
  • Het Mauritshuis onderzocht de ideale vorm van digitale museumworkshops
  • Herinneringscentrum Kamp Westerbork onderzocht de behoeftes bij het zoeken naar antwoord op (onderzoeks-)vragen
  • De Nederlandse Dansdagen onderzocht of de digitale beleving van dans van het publiek in lijn was met hoe de maker die voor ogen had.
  • Het Erfgoedfestival wilde graag weten wat bezoekers verwachtten van een online festival en of hieraan werd voldaan.

Een interessante vraag die voor meerdere deelnemers relevant bleek was de vraag of het online bezoek als een volwaardig bezoek wordt ervaren. Deze vraag werd door enkele instellingen letterlijk gesteld en verschillende respondenten gaven aan dat online vooral een ander soort beleving is of dat ze juist in deze coronaperiode de meerwaarde zien. Zo blijkt ook uit deze reactie op één van de online activiteiten: ‘Ik vind het leuk dat deze mogelijkheid er is, nu veel fysieke ontmoetingen moeilijker zijn...’. Toch wordt ook vaak aangegeven dat een fysiek bezoek aan museum of voorstelling wordt gemist. Een enkeling vindt dat online activiteiten nog meer voldoening geven omdat ze laagdrempelig zijn, veilig (ivm Covid-19) en vaak op eigen tempo thuis kunnen worden gevolgd.

Ook kozen meerdere deelnemers ervoor om de ervaring in steekwoorden te laten omschrijven. Daarbij zag vooral het Erfgoedfestival dat er veel woorden over emoties werden gebruikt zoals ‘nieuwsgierig’, ‘ontroerend’ of ‘verrassend’.


Wat hebben we geleerd over online belevingsonderzoek?


In het opzetten van de onderzoeken merkten we al snel dat het nogal wat uitmaakt hoe betrokken het online publiek is bij de instelling: hoe meer betrokken het publiek, hoe meer er van ze gevraagd kan worden als het gaat om deelname aan publieksonderzoek. Zo bleek de inschatting dat de deelnemers aan het crowdsourcingproject van het Streekarchief Gooi en Vechtstreek bereid zouden zijn meer dan drie tot vijf vragen te beantwoorden over hun ervaring te kloppen. Het onderzoek leverde dankzij de negen vragen, waaronder verschillende open vragen, interessante inzichten op voor het archief, al was er ook behoefte om nog meer te kunnen doorvragen.

Een zelfde betrokken doelgroep vonden we bij Herinneringscentrum Kamp Westerbork. Zij bevroegen 107 mensen die een inhoudelijke vraag stelden aan het herinneringscentrum, daarvan waren er maar liefst 80 bereid bleken om zes vragen te beantwoorden over hoe zij online hun vraag hadden proberen te beantwoorden. Dit gaf het Herinneringscentrum met name veel inzicht in de zoekstrategieën en kanalen die de huidige gebruikers hanteren, waarbij het persoonlijk contact erg werd gewaardeerd door de vragenstellers. In beide gevallen is de microsurvey niet als pop-up, maar via e-mail aangeboden.

De overige drie instellingen lieten hun vraag wel als pop-up verschijnen bij verschillende vormen van online aanbod om zo te proberen de beleving direct in kaart te brengen. Zij hadden meer moeite om voldoende respondenten bereid te vinden hieraan mee te doen. Het bleek met name lastig om het juiste moment te vinden om online bezoekers te benaderen. Te vroeg benaderen leidde tot afhaakgedrag: mensen konden hun ervaring immers niet beschrijven als die nog moest plaatsvinden. Te laat benaderen gaf weer het risico dat online bezoekers al waren gestopt met kijken voordat de pop-up verscheen. Wat goed bleek te werken, was om de timing van de pop-up te verbinden aan de gemiddelde sessieduur van bezoekers. Deze informatie kun je uit Google Analytics k halen. Een andere succesvolle manier was om de pop-up zo in te stellen dat deze verschijnt op het moment dat iemand de pagina verlaat.

Hier wreekte zich uiteindelijk toch de keuze voor een survey met veel gesloten vragen. Een gemiddelde score van 4 op een schaal van 1 tot 5 krijgt pas betekenis als er een groot aantal respondenten meedoet. Als slechts 5 van de 120 online bezoekers aan een bepaald onderdeel een score geven, is het lastig interpreteren. Het samenvoegen van de respondenten bij alle vormen van aanbod, zodat een grotere respondentengroep ontstond, bleek een wel erg algemeen beeld te geven. Het was dan gokken welke ervaring ze nou precies beschreven. Het één voor één bekijken van alle antwoorden van iedere individuele respondent bij een specifieke vorm van aanbod leidde tot meer gevoel voor hoe hun ervaring er precies uitzag. Wanneer gekozen was voor een combinatie van gesloten en open vragen, ontstonden mini-verhaaltjes over hoe publiek specifieke onderdelen van de online programmering heeft beleefd. Dit bleek belangrijke input voor branding van de instelling. Die informatie hoeft echter niet per se via een microsurvey te worden verzameld. Tijdens de Nederlandse Dansdagen lieten online bezoekers bijvoorbeeld ook via andere kanalen, zoals de chat tijdens de zoomsessie, de online bar waar kon worden nagepraat en mailwisselingen rond donaties, aan de organisatie weten hoe zij het festival beleefden.


Conclusie

De verwachting bij de start van de pilot was dat microsurvey een laagdrempelig tool zou zijn om publieksonderzoek mee te doen. Zoals hierboven beschreven bleek de hoeveelheid reacties nogal samen te hangen met de betrokkenheid van de ondervraagde groep. Het blijkt niet altijd makkelijk te zijn om met deze methode mensen te bevragen over hun ervaringen. Een goed plan van aanpak vooraf helpt daar bij. Een groot voordeel is dat je bezoekers op het moment van de beleving zelf er naar kunt vragen. Daarbij kun je de microsurvey heel gericht op een bepaalde pagina laten verschijnen, zodat je mensen precies binnen die context kunt bevragen. Een nadeel is dat het moeilijk is om door te vragen. De vragen ‘vindt u dit digitaal aanbod een volwaardige beleving’ en ‘kunt u met drie steekwoorden uw ervaring omschrijven’ leverden de meeste inzichten op.

De gedeelde conclusie is dat een microsurvey goed werkt als één van de tools in de toolbox. Eén van de deelnemers vatte het mooi samen: ‘‘Het kleurt de bezoekerservaring in.” De microsurvey is geen doel op zich, maar een methode om in aanvulling op andere vormen van onderzoek en analytics bij een specifiek online onderdeel de publiekservaring te vangen. Dat werkt het beste als je open vragen stelt die snel te beantwoorden zijn. De steekwoordenvraag bleek in de meeste gevallen veel op te leveren. Je zou zelfs kunnen overwegen om één heel open vraag te stellen: ‘Kunt u uw ervaring beschrijven?’ Op dat moment biedt de microsurvey echt een verdiepingsslag op bijvoorbeeld het bezoekersprofiel, dat veel betrouwbaarder en makkelijker via analytics in kaart kan worden gebracht.

Daarbij zou het heel waardevol zijn om analytics te koppelen aan de microsurvey, zodat je kunt zien van wat voor type publiek de antwoorden komen. Dat is mogelijk, maar was niet de focus van deze pilot. Daarbij is het wel belangrijk om goed vast te stellen dat het middel het doel dient en alleen data te verzamelen die echt van meerwaarde is voor je onderzoeksvraag. Dit is belangrijk vanwege privacy en andere ethische overwegingen, maar ook simpelweg om het onderzoek relevant en de analyse van responses behapbaar te houden.

De pilot leverde dus allerlei aanbevelingen op over het doen van onderzoek naar online publieksbeleving. In een volgend artikel staan praktische tips over het opzetten van een onderzoek met behulp van microsurvey. Tegelijk bieden de bevindingen aanleiding voor vervolgonderzoek, bijvoorbeeld naar manieren om analytics te koppelen aan surveys en naar mogelijke andere manieren van online publieksonderzoek. DEN gaat daarom verder met dit onderwerp, houd daarvoor de website en onze nieuwsbrief in de gaten.


Meer over dit onderwerp lezen?

Thema's
Deel dit artikel

This website is automatically translated by Google Translation. Some translations might not be correct.