Lean search design met Spinque Desk (Dutch)

Posted on 27/02/2018 by Laurens Vreekamp

Stel, jij krijgt de volgende opdracht van een hoofdredacteur van een landelijke krant:

"Ik wil iedere dag zien welke nieuwsonderwerpen we gisteren niet hebben gecovered (en onze concurrentie wel)."

Hoe zou jij dit dan aanpakken?

Ik had bovenstaande zoekvraag zelf al een tijdje in mijn hoofd zitten. En nu ik bij Spinque werk wilde ik weleens weten wat Spinque Desk hierin voor mij zou kunnen betekenen.

Journalistieke achtergrond

Je kunt je waarschijnlijk wel voorstellen dat een hoofdredacteur van een willekeurig nieuwsmedium zoveel mogelijk wil weten -ook van wat ze niet weet. En in het geval van de specifieke opdracht zoals hier bovenaan staat, wil je als hoofdredacteur waarschijnlijk wel weten wat je niet hebt gedaan t.o.v. andere nieuwsmedia. (Oke, dat je de scoop over de leugen van Halbe Zijlstra hebt gemist -dat wist je waarschijnlijk al wel, maar echt: er zijn zaken waarvan je niet wist dat je ze gemist hebt.)

Het screenshot hieronder toont een fictief dashboard voor een hoofdredacteur. Het deel linksboven is het 'overzicht van gemiste onderwerpen':

Waarom je iedere dag een dergelijk overzicht wil? Om de uniciteit van de ingezette redactionele koers te checken. Om te kijken of jouw redactie geen belangrijke zaken heeft gemist. En überhaupt om op de hoogte te zijn van wat 'de anderen' doen.

En nu we toch bezig zijn: je wilt dan misschien ook graag het omgekeerde weten. En ook over langere of specifieke periodes. En ook niet onbelangrijk: strookt de focus van de eigen publicaties wel met de onderwerpen en insteek waar je leader in bent (of wil zijn)?

Oja, en je wilt deze informatie ook nog koppelen aan je web analytics. Zodat je de volgende drie vragen kunt beantwoorden:

1. Maken we wat we willen (redactionele doelstellingen)?
2. Bereiken we daarmee ons beoogde publiek (targets)?
3. En worden onze producties door hen gewaardeerd (conversie)?

Benodigde ingrediënten

En dan bedenk je: de opdracht formuleren en de vragen stellen zijn relatief eenvoudig, maar... wie gaat deze vragen beantwoorden? En wat heb je dan zoal nodig?

Laat ik je helpen door aan te geven wat ik hier de afgelopen tijd over heb geleerd. Je hebt op zijn minst het volgende nodig:

1. Data & content:
   • een dataset met content van de concurrentie, dagelijks aangevuld,
   • een eigen dataset met gepubliceerde content
2. Web analytics.
3. Een informatiespecialist
4. Een aantal developers die alle benodigde systemen bouwen en aansluiten.
5. Consensus wat betreft:
   • dat wat binnen de organisatie als 'relevant' wordt beschouwd,
   • wat 'uniek' zijn betekent,
   • wat wel en niet bij de redactionele koers hoort,
   • wanneer iets bevredigend 'gecovered' is,
   • waarmee leadership wordt aangetoond.

Lean search design versus watervalmethode

Met Spinque Desk bij de hand had ik eigenlijk niet meer nodig dan een dataset met nieuwsartikelen (die ik "toevallig" nog had liggen) om direct te kunnen beginnen. Als informatiespecialist op dit domein -de Nederlandse journalistiek- had ik natuurlijk wel een idee over relevante resultaten, maar toen versie 1 van mijn zelf ontworpen search engine de eerste artikelen terug gaf, merkte ik dat ik nog even verder na moest denken over wat er nu echt op het dashboard moest komen.

Traditioneel zou een dergelijk ontwikkeltraject er zo uit zien: iemand heeft een vraag, geeft opdracht, er wordt over gediscussieerd, men gaat naar de tekentafel, er komt een briefing voor een developer, daar wordt iemand bij gezocht, er komen de-briefs, nieuwe voorstellen, en dan, eindelijk, kan men de ontwikkelfase in... om er vervolgens achter te komen dat de originele vraag eigenlijk niet de juiste was. Noem het de waterval-methode voor search engine design.

Met de lean-methode, die goed bij Spinque Desk past, heb je direct resultaat! Het enige dat je nodig hebt is een vraag/opdracht (een goed idee dus!), een dataset en toegang tot Spinque Desk.

Strategy 1.0

Mijn aanpak voor de initiële vraag was als volgt -noem het mijn pseudo-strategie in drie stappen:

1. Selecteer alle artikelen gepubliceerd op een bepaalde datum. Pak alle artikelen die gisteren zijn verschenen in alle landelijke dagbladen.
2. Toon de belangrijkste gebruikte woorden en woordcombinaties. Filter uit al die artikelen de meestgebruikte woorden en woordcombinaties (uiteraard m.u.v. veelgebruikte woorden zoals 'de-het-een-want-omdat'-etc.
3. Vergelijk woordenlijstje zij/wij. Zet die gefilterde resultaten af tegen de woorden uit onze eigen gepubliceerde artikelen, en geef weer welke woorden wij niet hebben gebruikt.

Op het dashboard zou ik dan de bijbehorende artikelen willen tonen, zoals aangegeven in Afbeelding 1 - de dashboard-schets:

Wat niet goed bleek te werken bij deze aanpak is, dat je geen artikelen terugkrijgt maar woorden. En die woorden bleken lang niet altijd belangrijke onderwerpen te vertegenwoordigen, laat staan echte 'nieuwsitems' te zijn of de kern van een artikel te schetsen. Kortom: deze strategie voldeed niet om de vraag te beantwoorden.

Strategie 2.0

Na overleg met collega's bij Spinque, gooide ik het over een andere boeg met dit nieuwe inzicht: mijn zoekvraag gaat dus in eerste instantie niet om onderwerp maar om de relevantie van een artikel. Mijn tweede pseudo-strategie ging daarom zo:

1. Selecteer alle artikelen gepubliceerd op een bepaalde datum. Dezelfde stap als bij strategie versie 1.0.
2. Bepaal relevantie. Bekijk waar de meeste redacties over schreven (zowel de concurrentie als jij). Dit doen we door de content van de artikelen met elkaar te vergelijken. Hierbij is de notie van relevantie dus de mate van populariteit van het onderwerp bij verschillende redacties.
3. Toon me de 'have nots'. Bekijk welke artikelen uit stap 2 overblijven als je de artikelen wegstreept waar wij wel over schreven.

Ontwerp links

In bovenstaand scherm zie je de Spinque Desk-omgeving. Aan de linkerkant zie je visueel weergegeven hoe de zoekstrategie is opgebouwd uit blokken. Het blauwe vlak komt overeen met stap 2 uit onze pseudo-strategie: bepaal relevantie. In dat vlak zie je de bouwblokken die bepalen in welke mate de content van de artikelen dienen overeen te komen.

Resultaat links

Aan de rechterkant zie je een voorbeeld van het tussenliggende resultaat. Een artikel van Het Parool (PAR) over de volleyballer Richard Schuil naast een vergelijkbaar artikel uit Trouw (TRN). Het uiteindelijke resultaat bevat de meest relevante artikelen waar de eigen redactie niet over heeft geschreven (stap 3 uit de pseudo-strategie). Dit wordt gerealiseerd door de laatste blokken, linkerhelft, onderaan.

Met deze strategie kwam ik een heel eind. Stap 2 -bepaal relevantie- zie ik overigens niet als een search- of design-probleem maar is echt inhoudelijk van aard: wat vinden wij als zoeker/vrager nu relevant (resultaat)? Als dat nog niet is vastgesteld (en dat is relatief vaak het geval) dan kom je er -Spinque Desk bij de hand- met experiment en discussie makkelijk en snel achter. En, goedkoper dan wanneer je een developer zou hebben ingehuurd.

Uiteindelijk blijven er na strategie-versie 2.0 vanzelfsprekend wel nog enkele (kleine) wensen over om de geschetste oplossing mee te verbeteren:

1. de grote invloed van artikelen van lokale en regionale publicaties op resultaten
2. de te grote invloed die publicaties met een meer specialistisch karakter kunnen hebben zoals bijvoorbeeld het Financieele Dagblad, dat voornamelijk vanuit een financieel-economisch perspectief naar nieuws kijkt en ook vooral over dat type onderwerpen publiceert.

Wat ik vooral leerde is dat je met Spinque Desk een gereedschap in handen hebt waardoor je vrijwel meteen kunt beginnen met het ontwerpen en uitproberen van je zoekmachine. Zonder eerst veel uit te hoeven denken, tekenen, bediscussiëren en briefen/debriefen, met een groot team. Door te experimenteren met strategieën en zo continu een werkende zoekmachine te kunnen evalueren, kom je er (snel) achter wat wel en niet werkt om relevante resultaten te krijgen.

En het allerbelangrijkste: het lean search engine design proces helpt om er direct achter te komen wat de vraag achter de vraag is:

"Wat is het werkelijke (zoek)probleem dat we willen oplossen?"

Ik ben benieuwd wat nu de volgende vraag is van de hoofdredacteur...