Er is geen bedrijfsproces te bedenken of het kan wel verbeterd worden met meer informatie. Met meer informatie is het proces efficiënter te maken of beter aangepast aan wat de afnemer wil.
Maar dat het met meer informatie beter kan wil nog niet zeggen dat er een goede business case is om dat te doen. De kosten van meer data verzamelen en verwerken zouden wel eens hoger kunnen zijn dan de baten.
De laatste tijd echter is er echter nogal wat aan het veranderen in de beschikbaarheid van goede big data platforms en dat is gunstig voor veel business cases.
Eerst even over hoe die big data workloads er uit zien. Ze zijn zelden erg constant want analyses worden zelden voortdurend op dezelfde omvang van data gedaan, en voor veel situaties geldt: hoe groter de data set kan zijn, hoe beter het is.
De data die we willen analyseren kwam tot voor een paar jaar geleden meestal van binnen de organisatie en werd in een kostbaar en weinig flexibel datawarehouse opgeslagen. Dat kostte maar zo een miljoen, en een factor tien opschalen was niet eenvoudig.
Tegenwoordig hebben we meer data dan ooit. Dat is een van de drivers van de digitale transformatie van organisaties. Vroeger stond de meeste data binnen de muren van het datacenter. Maar meer en meer organisaties zien dat het zwaartepunt van hun data naar buiten verschuift.
En dan hebben we ook nog vraag naar streaming en real time analytics.
Een ideaal big data platform is dus enorm schaalbaar, wordt afgerekend op gebruik, en heeft goede verbindingen met externe bronnen. En dan wil je eigenlijk ook nog dat men flink door innoveert in dat big data platform.
Dit wijst allemaal naar een cloud gebaseerd big data platform. Cloud diensten hebben immers cloud karakteristieken: brede netwerk toegang, schaalbaar en betalen naar gebruik. Andere cloud voordelen zijn: in de cloud ontstaat een ecosysteem van producten en services, zoals branche specifieke business analytics en intelligence toepassingen die je bij wijze van spreken per uur kunt huren.
Op de schaal waarop we met data willen innoveren kunnen we tegenwoordig eigenlijk niet om cloud heen. De laatste anderhalf jaar is er door de grote cloudproviders (Amazon Web Services, Google Cloud Platform, en Microsoft) enorm geïnnoveerd. Terabyte datasets en input van duizenden records per seconde is nu doodnormaal.
Op het niveau van big data infrastructure komt de innovatie van de grote providers. Het is technisch namelijk best moeilijk om dit goed te doen, en deze organisaties hebben de middelen om dat verder uit te ontwikkelen. Dat wil niet zeggen dat er geen innovatie is van kleine spelers, integendeel. In allerlei niches ontwikkelen die gespecialiseerde oplossingen voor bijvoorbeeld branche specifieke visualisaties.
En natuurlijk moet het ook nog veilig. Dat kan wel, maar is een ander verhaal.
Dit artikel verscheen eerder in Tijdschrift IT Management, een uitgave van ICT Media.
Meer weten over Big Data Foundation? Klik hier.