Achtergrond
Het inventariseren van herbruikbare interieurelementen is tijdrovend, maar ook van groot belang voor circulair bouwen. In welke mate kan technologie dit proces vergemakkelijken? Om antwoord te geven op deze centrale vraag werden twee cases uitgevoerd voor Rotor vzw in het kader van de projecten DigitalDeConstruction en FCRBE, beide gesteund door Interreg North-West Europe.
Wat?
In een eerste case werd getoond hoe automatische inventarisatie van objecten met AI mogelijk is op basis van gewone foto’s. Het inventariseren van objecten of materialen voor een heel gebouw is met deze methode echter nog steeds tijdrovend. Daarvoor zouden bij gebruik van een reguliere camera immers veel foto’s per ruimte moeten worden gemaakt. Deze tweede case keek daarom naar een snelle oplossing voor dit probleem door AI-herkenningen uit te voeren op 360-gradenfoto’s in plaats van op reguliere foto’s. Allereerst starten we met een korte uitleg van 360-gradenfotografie.
360-gradenfotografie
Zoals hieronder te zien is, zijn er bij gebruik van een reguliere camera veel foto’s nodig om een ruimte volledig te documenteren.
Als er plaatsvervangend een zogeheten 360-gradencamera wordt gebruikt, kan er echter met slechts één of hoogstens enkele foto’s worden volstaan. De resulterende panoramische fotobollen zijn gelijk aan de foto’s waarin kan worden rondgekeken, zoals ook het geval is bij Google Streetview.
Dit is dan ook de kracht van 360-gradenfoto’s: gebouwen of locaties kunnen er razendsnel in hun geheel mee worden gedocumenteerd, inclusief de vloer en het plafond, zoals te zien is in de bovenstaande video. Niet alleen is deze methode veel sneller, de kans verkleint daardoor ook dat een locatie opnieuw moet worden bezocht omdat een belangrijk te inventariseren onderdeel per ongeluk niet werd gefotografeerd.
Omdat alles is gedocumenteerd, kunnen dezelfde foto’s ook gebruikt worden om een virtueel werfbezoek af te leggen. Dit is te zien in het onderstaande voorbeeld, dat met zogeheten ‘virtual tour’-software werd gemaakt van het nieuwe WTCB-hoofdgebouw in Sint-Stevens-Woluwe.
Zoals gezegd hebben 360-gradenfoto’s het grote voordeel dat ze alles of in ieder geval een groot deel van de omliggende ruimte capteren in één foto. Zo wordt het voor het eerst mogelijk om een heel huis te documenteren in slechts enkele minuten.
Een complexiteit bij het uitvoeren van 360-gradenfoto’s is dat deze een andere vormgeving hebben. Anders dan reguliere foto’s zijn 360-gradenfoto’s bedoeld om weer te geven als fotobol waarin kan worden rondgekeken. Hierdoor ziet de foto er vrij vervormd uit als deze met een gewone viewer wordt bekeken. Een voorbeeld van het verschil tussen een reguliere foto en een 360-gradenfoto is terug te vinden op de onderstaande foto’s.
Om kwalitatief goede AI-inventarisaties mogelijk te maken moet rekening gehouden worden met de speciale vormgeving van een 360-gradenfoto. Voor het doel van deze case werd daarom een algoritme gebruikt dat op deze speciale vormgeving is afgesteld. Dit algoritme werd toegevoegd aan de AI-pipeline zoals ontwikkeld voor de eerste case.
Voor het doel van deze tweede case was het WTCB aanwezig tijdens een reguliere gebouw inventarisatie van Rotor vzw. Voor het snel vastleggen van de ruimten werd een 360-gradencamera op een driepoot geplaatst. Afhankelijk van de grootte van de ruimten werd geopteerd voor één of enkele 360-gradenfoto’s per ruimte. De gemaakte foto’s werden daarna ter plaatse gevoed aan de AI-pipeline, geïnstalleerd op een reguliere laptop. Uit het resultaat bleek dat AI-herkenningen en inventarisatie van objecten op basis van snel gemaakte 360-gradenfoto’s mogelijk is. In enkele minuten tijd werden de foto’s automatisch geanalyseerd op de aanwezigheid van ramen, tegels, verlichting en schouwen. Een voorbeeld van de herkenning van verlichting en ramen is terug te vinden op de onderstaande foto.
De meeste elementen werden correct herkend. Er waren echter ook uitzonderingen waarin een object foutief voor een ander object werd aanzien. Op de foto hieronder van een open keuken is te zien dat het raam en de verlichting correct werden herkend. Tegelijkertijd zien we één uitzondering (omlijnd met een rood kader), waarbij een stuk glas werd aanzien als verlichting.
In het voorbeeld hieronder is verder ook te zien dat de verlichting aan het plafond correct werd gedetecteerd. Een rood kader rechtsonder in de foto geeft echter aan dat de weerspiegeling van de plafondverlichting in de vloer ook werd aanzien als verlichting.
De bovenstaande twee incorrecte herkenningen kunnen relatief eenvoudig worden voorkomen. Bij elk van deze twee incorrecte herkenningen staat namelijk tevens een getal dat de geschatte nauwkeurigheid aangeeft. Voor de bovenste foto is dit 47 %, terwijl dit voor de correcte herkenningen in de foto 85 % of meer is. Voor de onderste foto is dit respectievelijk 29 % en 90 %. De oplossing in dit geval is dan ook om herkenningen weg te filteren met een nauwkeurigheidspercentage lager dan een ingestelde drempelwaarde.
Er zijn ook voorbeelden van problemen met de automatische herkenningen die relatief minder eenvoudig te verhelpen zijn. Op de foto van de open keuken hierboven is te zien dat er onder het linkerraam en rechtsonder twee lage kasten staan. Uit de context kan worden opgemaakt dat deze kasten binnenin radiatoren bevatten, die echter niet als dusdanig zijn herkend omdat ze grotendeels afgeschermd zijn door de kast die eromheen is gebouwd. Deze onherkende radiatoren zijn illustratief voor de huidige staat van AI gebaseerd op neurale netwerken. Voor een robuuste herkenning van een object is het noodzakelijk om het netwerk niet alleen te voeden met standaardfoto’s (in dit geval van radiatoren), maar ook van uitzonderingsgevallen zoals deze, waarbij de radiator vervat is in een kast en waardoor de gebruikelijke kenmerken van een radiator dus amper zichtbaar zijn. Heeft het netwerk vooraf geen voorbeelden gezien van deze uitzonderingsgevallen, ook wel edge cases genoemd, dan zullen ze als dusdanig ook niet worden herkend.
Conclusie
Deze tweede case onderzocht of het mogelijk is om automatische AI-herkenningen van objecten toe te passen op 360-gradenfoto’s om zo een snelle inventarisatie van gebouwelementen mogelijk te maken. Zoals is gebleken maakt deze methode het mogelijk om complete gebouwen te analyseren en een overzicht te genereren van welk object waar en in welke hoeveelheid aanwezig is. Naast dit resultaat zijn er ook enkele beperkingen in deze case. De inventarisatie vond plaats voor enkele objectsoorten, en dit aantal kan zeker uitgebreid worden om een volledigere inventarisatie te bekomen. Daarnaast is er ruimte voor het verhogen van de kwaliteit van de automatische herkenningen zelf. De kwaliteit hangt af van hoeveel verschijningsvormen het object in kwestie heeft. Des te meer verschijningsvormen, des te belangrijker het wordt dat deze diversiteit naar voren komt in de voorbeelden die aan het AI-netwerk zijn gevoed om van te leren. Zo is te begrijpen dat voor objecten met een of enkele karakteristieke vormen zoals ramen sneller een goede automatische herkenning kan worden verkregen dan voor objecten die zeer diverse vormen kunnen hebben. Voor objecten met meer verschillende verschijningsvormen is het dus zaak de nodige tijd te investeren om ook die objecten met hoge kwaliteit te laten herkennen.
Eindconclusie
In deze case werd onderzocht hoe circulair bouwen ondersteund kan worden met technologie, hier in de context van het versnellen van de inventarisatie van gebouwelementen. Met de resultaten van de case werd aangetoond dat automatische herkenning van gebouwelementen kan worden gecombineerd met het gebruik van 360-gradenfoto’s om een versnelde inventarisatie mogelijk te maken. Een volgende stap kan zijn om meer soorten objecten automatisch te laten herkennen, en daarnaast de robuustheid van de herkenningen zelf verder te verhogen.
Deze case werd mede mogelijk gemaakt door ondersteuning van de volgende projecten: