Een gemiddelde organisatie genereert ontzettend veel gegevens. Data waarvan je je misschien niet eens bewust bent. Datavisualisatie maakt die data bruikbaar en stelt ons in staat om beslissingen te nemen. In dit blog laten we je zien welke stappen er nodig zijn om data te vertalen naar een begrijpelijk beeld.

Grote hoeveelheden data zijn moeilijk te bevatten. Veel datasets bevatten enorme hoeveelheden waardevolle data. De visualisatie van data helpt beleidsmakers om beslissingen te nemen. Een helder beeld legt bijvoorbeeld verbanden bloot en maakt het makkelijker om actie te ondernemen. Maar hoe geef je je data nou op zo’n manier vorm dat de visualisatie van data helpt bij het nemen van beslissingen?

Waarom is datavisualisatie een hot topic?

Onderzoek wijst uit dat mensen ongeveer 20% van wat ze lezen kunnen onthouden. Als je diezelfde informatie omzet in beeld dan neemt de capaciteit om informatie op te slaan enorm toe, tot wel 80%. Datavisualisatie zorgt daarmee dus voor efficiëntie in de overdracht van informatie. Zeker in een situatie waarin mensen veel informatie tot zich moeten nemen, bijvoorbeeld in het politieke speelveld, landelijke zorg of de procestechniek.

Tegelijkertijd vergroot visuele communicatie het begrip, zeker wanneer data abstract is. Een beeld zegt meer dan 1000 woorden wordt wel eens gezegd. Feit is dat ons brein in staat is om in milliseconden een beeld te begrijpen. Het stelt ons in staat om verbanden te leggen, of – in geval van data design – om consequenties te doorzien en een voorspelling te doen over de toekomst.

Het besluitvormingstraject naar de visualisatie van data

Je verwacht misschien dat het traject begint bij de data en de manieren waarop je die kunt benaderen om tot de juiste vorm te komen. Maar het echte beginpunt is veel eerder: bij de besluitvorming omtrent de visualisatie van data.

Allereerst heeft elke data een bron. En uiteindelijk is iemand eigenaar van die databron. De vraag is welk belang die persoon of organisatie heeft om de data ter beschikking te stellen. Het prijsgeven van data kan een bezwaar zijn, zeker wanneer intellectueel eigendom of dataveiligheid belangrijke kwesties zijn. En wanneer de eigenaar de kwaliteit van de data niet kan garanderen dan kunnen fouten en aannames in de data tot afbreukrisico voor de eigenaar leiden. Het is goed om daarover van tevoren afspraken te maken.

Het is dus verstandig om van tevoren de kwaliteit van de data te analyseren. De kwaliteit van data heeft namelijk invloed op de manier waarop je de data presenteert. Een voorbeeld: stel je een dataset voor waarin veel onzekerheden verborgen zitten, bijvoorbeeld doordat er aannames gedaan zijn of er slechts een kleine populatie beschikbaar is. Als je die data uiteindelijk gedetailleerd en concreet visualiseert, dan ontstaat er een mismatch tussen de zekerheid die de gevisualiseerd wordt en de betrouwbaarheid van data. De kans is aanwezig dat besluiten worden genomen op basis van onnauwkeurige informatie. De kwaliteit van data is dus altijd een factor die je mee moet nemen in de besluitvorming.

Uitgangspunten voor de visualisatie van data

Er zijn honderden manieren om data in een grafiek weer te geven. Er is ook niet één methode de juiste. Als ontwerper ben je op zoek naar de manier om de gebruiker inzicht te geven. De vraag is natuurlijk: inzicht waarín! Om met de Amerikaanse statisticus Edward Tufte te spreken: “de lakmoesproef van design is hoe goed het ontwerp ondersteunt in het begrip van inhoud, niet hoe fraai die inhoud wordt weergegeven”.

De sleutel zit ‘m in het leren kennen van je doelgroep. Om een beeld te vormen van de situaties waarin de datavisualisatie een rol van betekenis speelt moet je antwoorden zien te vinden op vragen als:

• Wie gaat de datavisualisatie gebruiken?
• In welke scenario’s draagt de datavisualisatie bij tot besluitvorming?
• Welke beslissing wil ik dat mijn doelgroep kan maken?
• En in welke omstandigheden vindt die beslissing plaats? Bijvoorbeeld onder hoge druk, of in een situatie met veel belanghebbenden?
• Welke acties wil ik mogelijk maken?

Welke keuzes maak je in data design?

Met de antwoorden op deze vragen ben je beter in staat om keuzes te maken in je data design. Een keuze is bijvoorbeeld welke gegevensdichtheid je nodig hebt om de vragen van je doelgroep te beantwoorden. Hoe hoger de dichtheid, hoe gedetailleerder het inzicht, maar hoe meer moeite het ook kost om een beeld te vormen. Het streven is te allen tijde om je ontwerp helder te houden.

Een tweede keuze is het kleurgebruik: met kleur kun je de focus leggen op dat wat belangrijk is. Alarmkleuren wanneer waarden een drempel overstijgen bijvoorbeeld, of kleurgebruik om de snelheid van fluctuaties weer te geven (een veelgebruikte methode in medische datavisualisaties). Daarnaast kan kleur worden ingezet als extra dimensie in een grafiek. Zo kun je kleur in een spreidingsdiagram (scatter chart) bijvoorbeeld gebruiken om je datapunten te categoriseren.

En een laatste keuze is de interactiviteit: wil je je doelgroep in staat stellen om de visualisatie te configureren? Eén van de mogelijkheden is bijvoorbeeld om bij gesegmenteerde data de details van een bepaald segment uit te lichten. Of om de mogelijkheid te geven om in te zoomen op een bepaald moment in een tijdlijn. Ook hier zijn de scenario’s waarin de datavisualisatie gebruikt wordt leidend: de vragen zijn leidend in de keuzes voor interactiviteit.

It’s not how much information there is, but rather how effectively it is arranged.

Edward R. Tufte, emeritus hoogleraar politieke wetenschappen, statistiek en informatica aan de Yale University

De meest gebruikte visualisaties op een rij

Afhankelijk van je doel heb je de keuze uit een hele reeks basisvisualisaties. We kennen ze allemaal wel: tijdlijnen, staafdiagrammen, cirkeldiagrammen, enzovoorts. De verschillen tussen die diagrammen zijn vrij helder. Toch worden er vaak onlogische keuzes gemaakt. Er zijn verschillende strategieën om tot een heldere data design te komen en het gaat te ver om die hier te bespreken. Maar de benadering van de Amerikaanse professor Dr. Andrew Abela geeft handige aanknopingspunten om tot een duidelijke datavisualisatie te komen. In zijn model vallen de volgende vier vraagstukken te onderscheiden:

Model van Dr. Andrew Abela – Extremepresentation.com

1. Een vergelijking tussen verschillende datasets of over het verloop in de tijd

Bij dit soort vraagstukken wil je vooral de verhoudingen kunnen zien. Staafdiagrammen en liggen voor de hand omdat je daarbij in een oogopslag een vergelijking kunt maken. Speelt tijd een rol, dan is een lijndiagram vaak een betere optie omdat datapunten daarbij met elkaar verbonden zijn en de verhoudingen nog makkelijker zichtbaar worden. In financiële vraagstukken zien we daarnaast vaak het kaarsdiagram, die het koersverloop aangeeft met daarbij de uitersten op een koersdag.

2. De verdeling tussen verschillende categorieën

Gaat de vraag van je doelgroep over de verdeling van data, bijvoorbeeld over de verdeling van aantallen over het verloop van tijd? In dat geval zijn er maar enkele basisdiagrammen die uitkomst bieden. Het lijndiagram en het staafdiagram bijvoorbeeld, waarbij het lijndiagram meestal wordt ingezet wanneer je meer datapunten hebt. Een spreidingsdiagram is ook een geschikte data design om verdeling weer te geven.

3. De relatie tussen 2 of meer factoren

Als je met meerdere dimensies werkt en de relatie tussen die dimensies wilt weten dan zijn het spreidingsdiagram (puntgrafiek), het radardiagram en het bellendiagram goede oplossingen. Radardiagrammen zie je bijvoorbeeld veel in persoonlijkheids- of talentenonderzoeken waarin je gescoord wordt op verschillende onderdelen. Spreidingsdiagrammen gebruik je vooral wanneer je veel datapunten hebt. En heb je een kleinere hoeveelheid datapunten, dan kun je een eventuele derde dimensie kwijt in de grootte van cirkels in het bellendiagram.

4. Samenstelling van de dataset

Wanneer je dataset verschillende segmenten bevat en je benieuwd bent naar aantallen en verhoudingen tussen die segmenten, dan wil je de focus juist op die segmenten leggen in plaats van op de totalen. Daar zijn gestapelde staafdiagrammen en meervoudige lijndiagrammen zeer geschikt voor. Bij statische data, zoals de samenstelling van nationaliteiten op een universiteit, bieden cirkeldiagrammen een eenvoudige oplossing. Is de data dynamisch, wanneer je bijvoorbeeld de ontwikkeling van nationaliteiten in het verloop van de jaren wilt zien, dan heb je een extra dimensie nodig en zijn vormen als een gestapeld staafdiagram of een meervoudig lijndiagram geschikt.

Aan de slag met datavisualisatie

Ik hoop dat je een inkijkje hebt gekregen in de factoren die van belang zijn om tot een goede datavisualisatie te komen. In het proces zijn vaak verschillende actoren betrokken: beleidsmakers, beslissers, en technici bijvoorbeeld. Betrek deze stakeholders vroeg in het proces om tot concrete uitgangspunten te komen voor een datavisualisatie die in de informatiebehoefte van de doelgroep voorziet. Het is de rol van de ontwerper om deze uitgangspunten te vertalen in een leesbare en consistente data design, waarbij de helderheid en consistentie van de presentatie nooit uit het oog mogen worden verloren.

Meer weten over onze benadering van datavraagstukken? We helpen je graag op weg. Neem vrijblijvend contact met ons op en we laten je zien welke strategieën je kunt hanteren.

Welke kansen biedt Machine Learning voor jouw bedrijf? Met Matthijs de Wit praten we over de nieuwste ontwikkelingen op het gebied van Machine Learning. In deze blog krijg je concrete voorbeelden hoe je als bedrijf Machine Learning nu al kunt inzetten. En Matthijs deelt zijn favoriete trend die gaat zorgen voor ongekende mogelijkheden in software.

De komst van de AVG heeft ervoor gezorgd dat er vanuit de (semi)overheid meer aandacht is voor gedecentraliseerde IT-oplossingen. Met deze vorm van overheid software zou de privacy van burgers verzekerd zijn, kosten laag blijven en werken betrokken instellingen beter samen. Maar gaat dat altijd op? Bart Matthaei ging in gesprek met Merijn Windemuller van Stichting Netwerk Gerechtsdeurwaarders (SNG) over de voor- en nadelen van decentralisatie in het (semi)overheid domein. Wanneer is het beter om te kiezen voor een gecentraliseerde oplossing en wanneer biedt een decentraal IT-systeem juist kansen? In dit artikel vind je de vragen waarmee je zelf bepaalt welke oplossing past bij jouw vraagstuk.

(Semi)overheid beweegt richting decentralisatie

Privacy en dataveiligheid zijn door de AVG steeds belangrijkere thema’s voor de (semi)overheid. Overheid software komt regelmatig onder vuur en wordt, mede door een aantal peperdure mislukte IT-projecten van de centrale overheid, gezien als inefficiënt. Daarnaast maken verschillende partijen zich niet alleen zorgen over de veiligheid van de verzamelde data maar juist over wélke data er allemaal verzameld wordt en voor wie deze toegankelijk is. De hedendaagse bestuurder vraagt zich dan ook af: ‘Kan dat niet efficiënter, veiliger en doelgerichter ingericht worden met een gedecentraliseerde oplossing?’

Kan de inrichting van overheid software efficiënter, veiliger en doelgerichter met data-decentralisatie?

Consequenties van data-decentralisatie voor overheid software

Bart Matthaei van Ambrero ziet dat (semi)overheid door de komst van de AVG meer aandacht heeft voor decentralisatie maar zet verschillende vraagtekens bij deze decentralisatiedrang:

“Elke instantie en bestuurder wil, gedwongen door de AVG, de privacy en dataveiligheid zo goed mogelijk op orde hebben. Voor hen is een decentrale oplossing vaak ideaal omdat ogenschijnlijk risico’s worden voorkomen. Maar wat heeft dit voor gevolgen verderop in de keten? Waar moet een burger zich melden als bepaalde informatie onjuist is? Wie is er verantwoordelijk als het mis gaat?

Met SNG zijn we al een aantal keer, vanuit verschillende invalshoeken, in deze materie gedoken. En daarbij kwamen we tot de conclusie dat in veel gevallen, ondanks de voordelen van decentralisatie, een gecentraliseerde oplossing toch de beste keuze is.”

Gecentraliseerd platform Schuldenwijzer brengt partijen bij elkaar

SNG ontwikkelt zich van informatieknooppunt tot leverancier van informatieoplossingen voor (semi)overheid. Ze werken nauw samen met Ambrero, bijvoorbeeld aan Schuldenwijzer waarmee zij gerechtsdeurwaarders, de lokale overheid, schuldhulpverleners en burgers bij elkaar brengen. Directeur Merijn Windemuller legt uit:

“Schuldenwijzer adresseert een maatschappelijk probleem: de schuldenproblematiek. We realiseerden ons al vroeg dat als eerste gekeken moest worden naar het belang en de functionele vraag van burgers met schulden. Zij zijn de belangrijkste betrokkenen. En net als de andere betrokkenen bij schuldenproblematiek hebben zij veel baat bij transparante informatiestromen en -voorzieningen.

SNG is uniek gepositioneerd om als facilitator op te treden in dit proces om drie redenen;

• SNG beschikt over de politiek-juridische domeinkennis
• SNG heeft kennis en ervaring op het gebied van informatisering
• En heeft geen belang bij de uitkomst van processen

Dit heeft ertoe geleid dat alle betrokkenen nu begrijpbaar inzicht hebben in de situatie rondom hun schulden. Op dit moment geeft Schuldenwijzer inzicht in de beslagen van gerechtsdeurwaarders, dit wordt in de nabije toekomst uitgebreid.

En deze ontwikkeling zien we vaak terug in overheidsland, informatiesystemen dienen steeds meer belanghebbenden. Informatievoorziening was altijd sectoraal of ministerieel geregeld maar nu komen er ketens en voorzieningen die dat horizontaal doorkruisen en dat raakt een grote verscheidenheid aan belangen. Het vanuit de inhoud borgen van deze belangen bij de realisatie van informatieoplossingen is dé specialiteit van SNG.”

Centrale oplossing beantwoordt functionele vraag

Schuldenwijzer is dus een voorbeeld van een gecentraliseerde oplossing, Windemuller is er van overtuigd dat centralisatie ook bij andere (semi)overheid software een betere keuze is:

“Neem bijvoorbeeld de Basisregistratie Personen (BRP), die was vroeger decentraal geregeld. Elke gemeente had een eigen registratie maar daarin ontstonden zogenaamde ping-pong-berichten. Verhuisberichten waarin beide registers naar de ander wezen als de woonplaats van een persoon. Onhandig als je wil bepalen waar iemand woont. Tegenwoordig is de gemeentelijke registratie gekoppeld aan een centrale database die het meest valide uitgangspunt kiest. Daar vind je een antwoord op de vraag: ‘waar woont persoon x?’. Een centraal systeem kan een dergelijke praktische, functionele vraag dus beter beantwoorden dan een decentraal systeem.

Daarnaast is er de veiligheid- en privacy vraag. Ik denk dat een centraal systeem vaak beter te beveiligen is dan een decentraal systeem. Een decentraal systeem heeft ‘multiple points of failure’ terwijl een centraal systeem een ‘single point of failure’ heeft. Het is efficiënter om dat enkele punt uitzonderlijk goed te beveiligen dan een verscheidenheid aan punten waarmee je dezelfde data kan ontsluiten.

Maar er zijn natuurlijk ook vraagstukken waarbij een decentrale oplossing beter past. Dat is waar veel projecten de mist in gaan, ze beginnen bij de voorkeurstechniek of technologie en passen die toe op het vraagstuk. Volgens SNG kom je tot de beste oplossing door eerst te bepalen wat functioneel nodig is en dan de bijpassende technische oplossing te bedenken. Zeker als je informatie veilig én accuraat én efficiënt moet verwerken krijgt een gecentraliseerde oplossing dan de voorkeur.”

Overheid software – belangrijke vragen rondom (de)centralisatie

Decentralisatie is een veelbelovend idee. Gebruik de beste, nieuwste ideeën uit de markt om overheid software te verbeteren, sneller nieuwe initiatieven te ontplooien en privacy te borgen. Bijvoorbeeld door middel van blockchain oplossingen.

In de praktijk is echter de verscheidenheid aan betrokkenen en belangen vaak te groot om een gedecentraliseerde oplossing toe te passen. De kosten, zowel financieel als qua gebruiksgemak en functionaliteit, zijn al snel te groot.

We zetten een aantal belangrijke argumenten om te kiezen voor een gecentraliseerde oplossing op een rijtje:

Zijn er complexe functionele gebruikseisen?

Bij een decentrale oplossing is het aan iedere deelnemer om de beschikbare data zo te ordenen dat zij het juiste antwoord op hun functionele vraag krijgen. Een gebruiker stelt bijvoorbeeld de vraag ‘woont persoon x op adres y?’ en het systeem geeft hierop een simpel antwoord, ja of nee. Het systeem geeft niet alle personen die wonen op adres y weer, of de adressen van alle mensen die toevallig de naam x hebben. Privacy blijft verzekerd.

Maar wat gebeurt er als er tegenstrijdige informatie in het systeem staat? Persoon x woont volgens het systeem bijvoorbeeld zowel op adres y als op adres z. Waar moet de schuldhulpverlener zich dan melden? Een gecentraliseerd systeem houdt vanaf het begin rekening met de functionele gebruikseisen van gebruikers. Bijvoorbeeld door dit soort tegenstrijdigheden aan te kaarten en de gebruiker daarvan op de hoogte te stellen. Daarnaast kan een gecentraliseerd systeem verschillen tussen deelnemers, denk aan verschillende berichtversies, compenseren. Het kan aangeleverde data uniformeren zodat de vragen aan het systeem altijd beantwoord worden. Dat is met name op het gebied van ketenbeheer een enorm voordeel.

Wat is het belang van de data kwaliteit?

Wie is er verantwoordelijk voor de aangeboden informatie? Of, om in de wereld van SNG te blijven: wat als iemand – door identiteitsfraude – ten onrechte verantwoordelijk gehouden wordt voor bepaalde schulden? Bij een gecentraliseerde oplossing is er één instantie waar de burger informatie kan inwinnen terwijl bij decentralisatie het moeilijker is om een antwoord te vinden en de informatie te corrigeren.

Tegelijkertijd zijn er genoeg toepassingen waarbij de datakwaliteit niet cruciaal is en eventuele schade voor bijvoorbeeld burgers op het gebied van privacy beperkt is. Een decentraal informatiesysteem geeft samenwerkende instanties dan wellicht de flexibiliteit en beperkte verantwoordelijkheid waardoor ze snel tot samenwerking kunnen komen.

Wie is eigenaar en beheerder van de data?

De burger is in toenemende mate eigenaar van zijn of haar data. Waar vroeger een instantie of bedrijf eigenaar van een bepaald dossier was wordt dat nu steeds vaker toegeschreven aan de burger. Deze heeft wettelijk gezien recht op inzage en kan zelfs verzoeken om verwijdering van alle gegevens. Wie kan dit realiseren? Bij een gecentraliseerde (semi)overheid software is het antwoord op deze vraag duidelijk maar wie coördineert dit bij een decentrale oplossing?

Zowel bij centrale als decentrale software-oplossingen moet dit onderwerp tegenwoordig voorop staan. Maar waar een centrale oplossing een relatief simpel proces kan hanteren moet dit vraagstuk bij een decentrale oplossing zo vroeg mogelijk behandeld worden.

Hoe zit het met de kosten?

Bij gelijke eisen voor wat betreft de kwaliteit, betrouwbaarheid en beschikbaarheid van het systeem zijn de kosten voor een gecentraliseerd systeem hoger dan voor de gebruiker van een gedecentraliseerd systeem. Daar staat tegenover dat de gezamenlijke kosten van alle gebruikers van het gedecentraliseerde systeem hoogstwaarschijnlijk hoger zijn. Zij betalen namelijk allemaal voor een eigen infrastructuur, onderhoud, training en beheer.

Echter zo’n eenvoudige redenatie is in sommige gevallen te kort door de bocht. Een decentraal systeem zou namelijk wel degelijk kostenefficiënter kunnen zijn, bijvoorbeeld als de functionele gebruikseisen, informatiebehoefte en betrokkenheid van gebruikers sterk onderling verschilt. Een grootgebruiker heeft dan hogere kosten dan de gebruiker die maar één aspect van het informatiesysteem uitleest. Een decentraal systeem zou dus een goede oplossingen kunnen zijn om de verantwoordelijkheid of belangen en de impact daarvan op de kosten te kunnen wegen in een samenwerking.

Wat verwacht de burger van overheid software?

Neem het ministerie van Defensie en het ministerie van Justitie en Veiligheid. Dit zijn in veel opzichten twee aparte, zelfstandig opererende ambtelijke organisaties. Ziet de burger dit ook zo? Of denkt de burger aan één overheid? Ditzelfde vraagstuk speelt natuurlijk op gemeentelijk en provinciaal niveau en ook bij semioverheid is er soms verwarring. Waar ligt de verantwoordelijkheid en waarmee is het belang van de burger het best gediend?

Dit vraagstuk is relevant voor alle (semi)overheidsinstanties en wordt uitvergroot door het (de)centralisatie vraagstuk en hoe dit samenspeelt met de AVG. Wat ons betreft een vraag die al vroeg in het proces beantwoord dient te worden.

Advies over (semi)overheid software op maat?

Heb je zelf een vraagstuk dat dit thema raakt? We stellen met plezier ook jou de vragen waarmee je zelf bepaalt welke route het best past.

Iedereen kent inmiddels wel de kracht van data: performance kunnen meten, trends ontdekken, voorspellingen kunnen doen. Allemaal zeer waardevol. In dit blog bespreken we een essentiële tool om dit soort analyses snel uit te voeren: NoSQL (spreek uit: nosiekwol). Wat is het en wat levert het je op?

Zoals je waarschijnlijk wel weet, zit achter elke applicatie een database. En een sterke vrouw, maar dat laten we even buiten beschouwing. In de database worden op een gestructureerde manier gegevens vastgelegd: elke type gegevens (bijvoorbeeld boeken, genres, auteurs) wordt in een eigen tabel vastgelegd. Via relaties worden daarbij de onderlinge verbanden gelegd die je laten weten dat het boek The Hitchhiker's Guide to the Galaxy daadwerkelijk een Science Fiction roman is, geschreven door Douglas Adams.

Voor als je systeem niet meer vooruit te branden is

Toch heeft dit gestructureerde dataformat ook beperkingen en daar lopen steeds meer organisaties tegenaan. Je hoeft ook geen genie te zijn om te begrijpen dat het doorzoeken van immense hoeveelheden data, door steeds meer gebruikers, zijn grenzen kent. Zeker wanneer er grote volumes data worden verwerkt, zorgt de onderlinge afhankelijkheid tussen databronnen voor vertraging. Een extra database erbij, of meer processing power, is lang niet altijd de beste oplossing. Maar wat dan wel?

Versnellen met indexeringen versus NoSQL

Tragere databases, en daarmee dus alle applicaties die eraan gekoppeld zijn, worden nog wel eens geoptimaliseerd met behulp van bijvoorbeeld indexering: een soort inhoudsopgave waarmee de database kan terugvinden waar hij bepaalde gegevens heeft opgeslagen. Hiermee gaat het zoeken sneller. Echter, dit voordeel kan teniet gedaan worden doordat de database bij elke toevoeging de indexering moet bijwerken. Dat maakt de database dus weer trager.

Anders gezegd: de meeste databases kunnen wel een zoekassistent gebruiken. En die zijn er in de vorm van NoSQL databases.

Hoe werkt dat dan?

Vooropgesteld: er is niks mis met de gestructureerde opzet van data. Sterker nog: het is essentieel voor bijvoorbeeld de datakwaliteit binnen je applicatie. Maar voor het doorzoeken van grote volumes data is het fijn om een systeem te gebruiken dat daarvoor geoptimaliseerd is.

In de meeste gevallen wordt een NoSQL database voor deze specifieke toepassing naast de gestructureerde database geplaatst. De NoSQL database bevat als het ware een kopie van de database, maar dan ingericht in format dat is bedoeld voor snelle dataverwerking. Op deze manier werken beide databases effectief aan het doel dat ze dienen.

Elasticsearch, een NoSQL database, waar we bij Ambrero mee werken, haalt als het ware de hinderlijke en vertragende ‘joins’ uit de database. Joins zijn combinaties van records uit meerdere tabellen. Het resultaat zijn overzichten waarin verschillende aan elkaar gerelateerde gegevens bij elkaar zijn gezet. Bijvoorbeeld: het boek The Hitchhiker’s guide van Douglas Adams met het genre SF. Het lijkt een beetje op een zoekmachine als Google maar dan voor je eigen database.

En wat levert NoSQL je op?

Nou zul je je misschien afvragen wat NoSQL voor jou kan betekenen. Ga maar eens na binnen je organisatie wat er allemaal gemeten wordt en welke informatie je uit die data zou kunnen halen als die data altijd beschikbaar zou zijn. We zetten de belangrijkste voordelen op een rij:

• Supersnel zoeken uiteraard.
• De mogelijkheid om gegevens uit verschillende systemen te combineren.
• Inzichten, omdat je grote hoeveelheden informatie automatisch kunt verwerken.
• Schaalbaarheid: je bent niet langer afhankelijk van de complexe gegevensstructuren in je applicatie. Bovendien staat de NoSQL database los van de applicatie en kun je hem makkelijk op een andere omgeving draaien.

We hebben NoSQL toegepast bij de ontwikkeling van het klantenportaal voor Stichting Beter Leven keurmerk. Behalve zeer tevreden gebruikers leverde ons dit ook een Computable Award nominatie op.

‘Beste heer Verhuisd. In de bijlage sturen wij u het tuinhuisje voor de door u bestelde factuur. Het totaalbedrag ad 0,12 EUR kunt u overmaken op rekening 3268 AB tnv 14 dagen’. Tja, dat krijg je als je werkt met sterk verouderde, onvolledige en dus onbetrouwbare databases.

Een beetje gechargeerd natuurlijk, maar je begrijpt waar we naartoe willen. Met gedegen kennis van dataconversie en een vleugje magie maken we daar een effectieve en toekomstbestendige applicatie van.

Foutgevoeligheid in data

Tom Konijn is Software Ontwikkelaar bij Ambrero en heeft de nodige dataconversies op zijn naam staan. Hij snapt maar al te goed waar de schoen kan wringen. “Data zijn zoals bekend pas echt informatie als ze relevant, compleet, accuraat en actueel zijn. Dat is een absolute voorwaarde als je, bijvoorbeeld als Operationeel Manager, op basis van informatie beslissingen moet nemen. Veel organisaties hebben hun mond vol over Business Intelligence, maar werken met vaak zeer onbetrouwbare gegevens. In de meeste gevallen zitten die verstopt in een woud van Excel-bestanden waarvan niemand precies weet wat de onderliggende systematiek is. Is die wel duidelijk, dan zijn gegevens vaak niet structureel bijgehouden of onvolledig en dus foutgevoelig.”

AVG-proof database

“Even vragen aan degene die de bestanden ooit heeft aangemaakt biedt ook lang niet altijd uitkomst. Die is in veel gevallen namelijk allang vertrokken. Daarnaast kom ik systemen tegen die qua capaciteit aan hun max zitten. Manager niet blij en Functionaris Gegevensbescherming (AVG) ook niet, daar waar het persoonsgegevens betreft. Je kunt niet zien wie, wat gewijzigd heeft en wanneer. Dit ondervang je door een audit trail toe te voegen aan je nieuwe applicatie. Ook kan iedereen overal bij. Daarom is het bij een nieuwe applicatie raadzaam meteen gebruikersprofielen en autorisaties in te stellen zodat niet iedereen bij alle velden kan.”

Oude database overzetten

“Onlangs nog heb ik voor een bedrijf de gegevens van de oude database geautomatiseerd omgezet naar een webapplicatie. Dat heeft als voordeel dat je niet op elke pc updates hoeft uit te voeren. En iedereen kan er overal vandaan bij. Door data systematisch en geautomatiseerd te converteren kun je bovendien gegevens harmoniseren of formatteren. Bijvoorbeeld alle postcodes in één klap naar hoofdletters in plaats van kleine letters.”

Voordelen van dataconversie

“Dit was trouwens niet de eerste klant die verbaasd was over hoe snel en betaalbaar alle oude data konden worden omgezet”, aldus Tom. “Maar veel belangrijker is natuurlijk het feit dat managers voortaan sneller en beter inzicht hebben in de daadwerkelijke situatie. Zeker wanneer bestaande data met relevante, externe data worden gecombineerd. Je kunt, in tegenstelling tot bijvoorbeeld Excel, ook nog eens met meerdere personen tegelijk in bestanden werken. Heb je nu alles op de rit, dan is de weg straks ook vrij voor toepassingen op het gebied van Artificial Intelligence. Wat wil je nou nog meer?”