De groei van The Green Village-dataplatform: van 10.000 berichten per jaar naar 100 miljoen per dag
The Green Village is een regelluw openluchtlaboratorium gevestigd op de campus van TU Delft. Op dit laboratorium wordt gewoond en gewerkt, omringd door projecten op het gebied van duurzaam bouwen, energie en klimaatadaptatie. Op het terrein experimenteren onderzoekers en bedrijven met nieuwe technologieën, systemen en producten, en valideren ze hun duurzame innovaties in de praktijkomgeving van The Green Village.
Van on-premise naar publieke cloud
Het dataplatform van The Green Village begon in 2018 als een kleinschalige, opensource-oplossing die lokaal (on-premise) op de servers van SURF draaide. Dit voldeed in het begin, maar beperkte de schaalbaarheid. Er bestonden nog geen ict-systemen waarmee onderzoekers eenvoudig real-time IoT-gegevens konden gebruiken, en die hen de flexibiliteit boden om het systeem naar eigen wens aan te passen. Door verschillende opensourcetools slim te combineren, ontwikkelde SURF zelf een oplossing in de vorm van een maatwerkplatform.
In de loop van de tijd groeide The Green Village en gebruikten steeds meer onderzoekers de locatie voor hun onderzoek. Daarmee groeide ook de datastroom richting het platform: van minder dan één bericht per seconde, naar bijna 1000 berichten. Dat betekent een sprong van 10.000 berichten in heel 2019, naar bijna 100 miljoen berichten per dag in 2024.
Grafiek: de groei van datastromen richting het dataplatform van The Green Village tussen 2019 en 2024
Bron: David Salek
Legenda
Fase 1: Opensourcesoftware 
Fase 2: Betaalde managed services + aanstelling eigen projectmanager 
Fase 3: Adoptiegroei + aanstelling eigen datamanager  
Professionalisering en opschalen met managed services
Om de enorme toename in dataverkeer op te vangen, stapte SURF in 2021 over van een opensource-oplossing naar betaalde managed services in de public cloud. Dit maakte het mogelijk om het dataplatform van The Green Village verder te professionaliseren en eenvoudig op te schalen. De snelheid en het datavolume op het platform stegen daardoor ruim honderdvoudig.
Ook het team achter The Green Village groeide mee. In november 2020 sloot een projectmanager digitalisering zich aan, twee jaar later kwam daar een datamanager bij. Samen zorgden zij voor het dagelijkse beheer van de datastromen en het koppelen van nieuwe datastromen aan het platform. Dankzij hun inzet nam de datagroei opnieuw een enorme vlucht.
Samenwerking als versneller
De echte doorbraak kwam toen SURF en The Green Village de verantwoordelijkheid voor het dataplatform gezamenlijk op zich namen. Deze structurele samenwerking bleek een gamechanger voor het ontwikkelproces van het platform. Het stelde The Green Village in staat zich verder te ontwikkelen als openluchtlaboratorium voor energie- en klimaatinnovatie in de bebouwde omgeving.
De verzamelde data op het dataplatform van The Green Village groeit met de dag en wordt steeds waardevoller als een unieke bron van informatie voor onderzoek naar energiebeheer. Daarnaast speelt het een steeds belangrijkere rol in het versnellen van de digitale transitie en de ontwikkeling van slimme oplossingen voor de klimaat- en energietransitie.
Opschalen met SURF Cloud Research Consultancy
De SURF-dienst Cloud Research Consultancy helpt onderzoeksinstellingen en bedrijven om soortgelijke cloudoplossingen op te zetten en te beheren. Naast onze kennis en ervaring op het gebied van data-infrastructuur en beveiliging, zijn we expert in het bouwen van cloud-oplossingen met behulp van publieke clouddiensten en de integratie met SURF-dienstverlening. Ook ondersteunen we bij het eenvoudig opschalen van projecten en het efficiënt aanpakken van data-uitdagingen.
Lees meer over wat SURF Cloud Research Consultancy kan betekenen voor jouw onderzoek