Energiemarkt in de Cloud

Dat de energiemarkt dynamisch is, is een understatement. Gedreven door de wereldwijde klimaatverandering realiseert iedere energiemaatschappij dat de dag van morgen een heel andere is dan die van gisteren.

Een van 4Synergy’s klanten, een grote energiemaatschappij in West Europa, is zich daar zeer van bewust en is al decennia bezig zichzelf opnieuw uit te vinden. De focus ligt daarbij zeer nadrukkelijk op ŕenewable energie, maar ook op het verminderen van het verbruik en het vinden van nieuwe bedrijfsmodellen. Zo’n nieuw bedrijfsmodel, alhoewel nog dicht bij de kern, is het leveren van energie management systemen aan met name industrie le klanten. Zij krijgen realtime inzicht in hetenergieverbruik van de diverse machines, maar ook klimaatgegevens, status van machines en gebouwen worden in kaart gebracht. Meten is weten.

DE OPLOSSING IN HOOFDLIJNEN

De oplossing bestaat uit een sensornetwerk dat geïnstalleerd wordt in de gebouwen van de klant. Alles wat te meten is, wordt gemeten. Via slimme compressie en aggregatie-technieken worden de meetwaarden doorgestuurd naar de backoffice. In de backoffice worden de meetgegevens gevalideerd, gecombineerd (bijv. uit het meten van voltage en amperage is de wattage af te leiden) en geaggregeerd. Eindklanten hebben via een web portal nagenoeg realtime inzicht in wat er gebeurt. Ze plotten de meetwaarden op kaarten, stellen alarmen in op trends en meetwaarden en kunnen voorspelling doen op basis van trends. Vrij snel werd duidelijk dat de klassieke technologieën voor het verwerken van deze datastroom tegen schaalbaarheidsproblemen aanliep. De belofte van realtime inzichten in combinatie met afgeleide, virtuele sensoren legde een grotere druk op de processingcapaciteit dan op voorhand gedacht. Met elke sensor erbij kwamen de limieten dichterbij, een niet al te aantrekkelijke situatie voor een snelgroeiend bedrijf. Om dit probleem op te lossen werden de consultants van 4Synergy erbij betrokken.
​

DE TECHNISCHE OPLOSSING IN MEER DETAIL

Onze focus was op de inkomende stroom van sensor metingen en hoe de verwerking daarvan te optimaliseren en vooral schaalbaar te maken. Door middel van een MQTT gateway werd een schaalbare ingang beschikbaar gesteld voor de sensor gateways. De grootste verandering die we doorgevoerd hebben is dat we de bewerking van de gegevens niettijdkritisch gemaakt hebben. Dit kon door alle gegevens, weliswaar maar voor een beperkte tijd, zo snel mogelijk beschikbaar te stellen voor raadpleging (het realtime pad). Hierdoor konden we de groeiende stroom van gegevens op een schaalbare manier verwerken, verrijken en aggregeren. De essentie van de architectuur is gebaseerd op de bekende Lambda architecture, die hierboven wordt weergegeven.

TECHNISCHE PLATFORMEN EN GELEERDE LESSEN

De gehele oplossing is ingericht op een (AWS) cloud platform, met een mix van platform en infrastructurele services. Een van de meest belangrijke keuzes die reeds in het verleden gemaakt was, was het realiseren van het reporting pad met behulp van Spark Streaming op een zelfbeheerde Hadoop cluster (gebaseerd op de Hortonworks distributie). Dit heeft tot heel wat hoofdbrekens geleid. Het zelf optuigen van een dergelijk platform, zeker in een multi-tenant setup, is zeer complex en er kan terecht afgevraagd worden of het niet zinvoller is om managed services te gebruiken. Deze complexiteit werd benadrukt doordat er ook een keur aan managed platform services gebruikt werd (denk aan Kinesis, Athena, Elasticache, DynamoDB) die in verhouding een fractie van de technische uitdagingen gaven. Onder andere op basis van deze ervaringen hebben wij nadien de policy geadopteerd om voor managed services te kiezen, tenzij er zwaarwegende argumenten anderzijds zijn. Het gebruik van deze higher level platform services maakt het mogelijk om te focussen op de zaken waar het echt om gaat, het verwerken en analyseren van de datastromen. Want vergis je niet, de grote hoeveelheid data heeft een zeer complicerende werking op de architectuur en processen. Simpele zaken worden zeer complex als het moet plaatsvinden met grote hoeveelheden data en druk op de tijd hoe lang het duurt om die data beschikbaar te krijgen. En dan is er ook nog iets met kosten.

RESULTAAT

Uiteindelijk is het platform in 2017 in productie gegaan en is het meegegroeid met de groeiende stroom aan berichten. De technische kinderziektes zijn er ondertussen wel uit, en als er issues zijn, zijn die meestal terug te herleiden naar problemen in de data. Maar het oorspronkelijke doel, het kunnen groeien van het aantal klanten met bijbehorende sensoren zonder afbreuk te doen aan het realtime karakter is behaald! Na deze succesvolle live gang heeft 4Synergy deze oplossing ingestuurd bij een competitie van AWS waaruit wij uit 179 andere partijen zijn geselecteerd als de Innovation Award winnaars. Een mooie prestatie!