Achtergrond
De inventarisatie van herbruikbare interieurelementen is tijdrovend, maar ook van groot belang voor circulair bouwen. In welke mate kan technologie dit proces vergemakkelijken? Om antwoord te geven op deze centrale vraag werden twee cases uitgevoerd voor Rotor vzw in het kader van de projecten DigitalDeConstruction en FCRBE, beide gesteund door Interreg North-West Europe.
Wat?
Hier bekijken we de resultaten van de eerste case waarin als proof of concept het automatisch herkennen van interieurelementen werd getest. In een tweede case wordt de mogelijkheid van verdergaande automatisatie bekeken. We starten met een korte uitleg van automatische herkenningen op basis van kunstmatige intelligentie (AI). Daarna wordt getoond hoe AI werd ingezet voor het uitvoeren van de case.
Automatische herkenning met AI
De voorbije jaren is het mogelijk geworden om interieurstukken, materiaalsoorten en andere zaken automatisch te laten herkennen met AI, en daarna te inventariseren. Dit herkenningsproces gebeurt doorgaans aan de hand van zelflerende kunstmatige netwerken. Het voordeel van deze netwerken is dat ze niet handmatig geprogrammeerd hoeven te worden om hun werk te doen. De netwerken leren het uitvoeren van de herkenningstaak namelijk zelf aan de hand van een groot aantal voorbeelden. Het kunnen beschikken over deze voorbeelden (foto’s in deze context) is essentieel.
Voor het doel van deze case werd onderzoek gedaan naar de automatische herkenning van verschillende soorten objecten. Een voorbeeld daarvan is terug te vinden op de onderstaande foto’s. Het kader in de foto linksonder toont de automatische bepaling van de objecten die op de foto te zien zijn, namelijk stoelen, een lamp, een tafel en een houten vloer. Op de foto rechts werd bovendien ook herkend waar de objecten zich op de foto bevinden. Daaruit kan tevens worden afgeleid hoeveel exemplaren van elke soort er op de foto staan. Later zullen we zien dat deze mogelijkheid handig is, bijvoorbeeld om aan de hand van een grote hoeveelheid foto’s automatisch en zeer snel te bepalen hoeveel objecten van welke soort er precies in een gebouw aanwezig zijn.
Proof of concept
In deze case werd getest of veelvoorkomende objecten in gebouwen automatisch herkend kunnen worden op foto’s. De test werd uitgevoerd voor zes typen objecten: ramen, radiatoren, verlichtingsarmaturen, schoorsteenmantels, tegels en parketvloeren. Hiervoor werd een grote hoeveelheid fotovoorbeelden van elk van de typen van het internet verkregen, en werden voor elk van de foto’s handmatig labels toegevoegd die aangeven welk object waar op een foto staat. Dit proces van het labelen van foto’s is tijdrovend, en wordt hieronder geïllustreerd voor een foto waarin elke tegel voorzien wordt van een label (weergegeven als een gekleurd kader rond de tegels):
Na het labelen werden de foto’s gevoed aan een neuraal netwerk. Tijdens een leerfase (ook wel ‘training’ genoemd) van enkele uren leerde het netwerk zelfstandig de verschillende soorten objecten herkennen. Een test uitgevoerd op nieuwe foto’s wees uit dat de verschillende objecten grotendeels goed konden worden herkend, zoals blijkt uit de voorbeelden hieronder.
Op de bovenstaande foto’s geven gekleurde kaders de automatische herkenningen aan. De kleur geeft aan welk type object er is herkend en de naam van dit object staat tevens bovenaan elk kleurkader. Rechts van de naam staat met een cijfer aangegeven wat de geschatte nauwkeurigheid van de herkenning is (1.00 staat voor 100 %).
Het automatisch herkennen van objecten is een belangrijke stap. Vanuit het perspectief van de eindgebruiker vormt dit echter slechts een deel van de eindoplossing. Wat nodig is, is een oplossing die herkenningen uitvoert op een grote hoeveelheid foto’s tegelijkertijd, en die vervolgens de resultaten inventariseert en visualiseert. Om het gebruik te vergemakkelijken, moet de oplossing bovendien bruikbaar zijn op een standaardlaptop of -desktopcomputer, zodat er geen dure hardware aangekocht moet worden. Om dit alles mogelijk te maken werd er een AI-pipeline ingericht. Het gebruik van de gemaakte pipeline wordt hieronder visueel weergegeven.
In de pipeline hierboven wordt getoond hoe enkele muisklikken volstaan om een serie foto’s te laten analyseren op de aanwezige objectsoorten. Kort gezegd: er wordt een folder met foto’s rechtstreeks van de camera naar de desktop gesleept, dan wordt de AI-pipeline opgestart, waarna de inventarisatie automatisch wordt gegenereerd. De laatste stap is een visualisatie van de inventarisatie in MS Excel. De pipeline kan worden ingesteld op basis van gratis software en werkt op een reguliere pc of laptop. Een voorbeeld van het eindresultaat van de analyse:
In de figuur geven de staven het aantal en het soort object aan dat op elk van de foto’s staat. Elk type object is weergegeven met een eigen kleur. De data van deze output is beschikbaar voor verwerking in een database. Daarnaast worden de herkende objecten per foto toegevoegd aan de metadata van die foto. Stel dat men op zoek is naar alle foto’s met een object van een bepaald type, dan is het aan de hand van de toegevoegde metadata mogelijk om al die foto’s automatisch te vinden via een simpele zoekopdracht.
Conclusie
Uit deze eerste case kwam naar voren dat het mogelijk is om objecten automatisch te herkennen op foto’s, een inventarisatie te maken op basis daarvan en deze intuïtief te visualiseren voor verder gebruik. In een tweede case kijken we naar verdergaande automatisatie van deze methode.
Deze case werd mede mogelijk gemaakt door ondersteuning van de volgende projecten: