Organisaties beschikken over grote hoeveelheden data afkomstig uit meerdere bronnen, zoals apps, webapplicaties of machinesensoren. Als organisaties deze data maximaal benutten is dit de drijfveer voor elke digitale transformatie. Om de maximale waarde uit de data te halen beschrijft dit artikel de vier belangrijkste trends.

Dit artikel is geschreven voor IT-beslissers die werken in het data domein en verantwoordelijk zijn voor het realiseren van de datastrategie. De leestijd van dit artikel bedraagt gemiddeld zeven minuten.

Organisaties die geen gebruik maken van cloud-computing voeren de data verwerkingstaken uit op on-premise infrastructuur. Het grote nadeel hiervan is dat deze on-premise platformen de benodigde Data Processing Units (DPU’s) missen die cloud providers wel aanbieden. Voorbeelden van deze cloud providers zijn Google Cloud, Microsoft Azure of Amazon Web Services. Deze public cloud providers bieden:

• Elasticiteit: Automatisch op- en afschalen van de benodigde computing resources, voorkomt veel handmatig werk en gebeurt geautomatiseerd veel sneller.
• Schaalbaarheid: Nagenoeg oneindig schalende cloud infra, in tegenstelling tot on-premise infrastructuur die is beperkt tot de capaciteit van de servers.
• Pay-as-you-go: De eigenaar van een computing resource betaalt alleen voor de workloads, in tegenstelling tot een on-premise infrastructuur waarin de eigenaar ook betaalt wanneer de resource niet actief is.

Cloud providers bieden een breed scala aan services die gebruikt kunnen worden voor het inrichten van een data analytics platform. In een eerder artikel wordt aan de hand van Amazon en Microsoft cloud services beschreven welke stappen je kan nemen naar een succesvol data analytics platform.

Een service die jij kan gebruiken om de cloud kosten van jouw organisatie te minimaliseren is de kostenbeheer en facturering service. Deze service, die iedere grote cloud provider aanbiedt, geeft inzicht over het gebruik van computing resources. Daarnaast kan je ook notificaties op deze service bouwen, waardoor je direct op de hoogte wordt gesteld van veranderingen in de kosten.

In een competitieve markt met veel tijdsdruk streven organisaties naar wendbare besluitvorming. Real-time analytics maken het mogelijk voor organisaties om beslissingen te maken op basis van actuele data. Voor het aanbieden van actuele data maak je gebruik van twee processen:

1. Extract Transform Load (ETL), waarbij data eerst getransformeerd wordt voordat deze naar een bronlocatie wordt weggeschreven. ETL wordt vaak gebruikt voor kleinere datasets waarop complexe transformaties plaatsvinden.
2. Extract Load Transform (ELT), waarbij data eerst naar een bronlocatie wordt weggeschreven voordat er transformaties op de data plaatsvinden. ELT wordt vaak gebruikt voor grotere datasets die bestaan uit zowel gestructureerde als ongestructureerde data.

ETL of ELT maakt real-time analytics mogelijk. Dit houdt in dat het extractieproces direct begint zodra er nieuwe data binnenkomt op een bronlocatie. Hou rekening met de volgende uitdagingen om real-time analytics binnen jouw organisatie te implementeren:

1. Het aanpassen van de data-architectuur: Gegenereerde data uit bedrijfsapplicaties lever je in batches aan. Elke batch bevat een grote hoeveelheid rijen met data. Voor real-time analytics lever je data frequenter en in kleine hoeveelheden aan, zodat het systeem deze direct verwerkt en dus actueler is.
2. Het structureren van het real-time analytics project: Voordat je een begin maakt met de implementatie van de doelarchitectuur, is het essentieel om de requirements van alle stakeholders te verzamelen. In een eerder NISI artikel hebben we beschreven hoe je een data solutions project structureert aan de hand van een grondige methodologie.