Objectherkenning met Deep Learning voor efficiëntere inspecties

Veel organisaties zijn bezig met het optimaliseren van hun (werk-) processen. Waarom deze bedrijven dit doen is voor elke organisatie verschillend, de moet binnen de krapte van de huidige arbeidsmarkt blijven leveren, de ander zet in op CO2 reductie en wil een bijdrage leveren aan klimaatdoelstellingen. De nieuwste technologieën om deze verbeteringen te realiseren bieden een belangrijke gereedschapskist. In deze kist zitten onder andere: Internet of Things, het benutten van de Cloud, maar ook Machine Learning en Artificial Intelligence.

In dit blog laten we zien hoe je met TensorFlow en Keras auto's herkent in luchtfoto's, door een statistisch model te voeden met voorbeelden. Voor de detectie van auto's in ortho luchtfoto's met Keras voerden wij in samenwerking met Stedin een Proof Of Concept (POC) uit om de mogelijkheden aan te tonen.

Objectherkenning in luchtfoto's

Artificial Intelligence (AI) is steeds belangrijker in het Geo en GIS domein. Door de grote hoeveelheden beschikbare data is hoogwaardige data-analyse steeds belangrijker. Daarbij zien we dat vrijwel alle informatie een locatiecomponent heeft. De technologie stelt ons in staat om op basis van statistische modellen Machine Learning (ML) en AI in te zetten om objecten te herkennen in luchtfoto's.

Probleem

Bovengrondse infrastructuur wordt zo geplaatst dat de kans op aanrijdingen minimaal is. Dat betekent dat deze infrastructuur beschermd wordt tegen aanrijdingen door het plaatsen van paaltjes of een vangrail. Ook kan de infrastructuur in veel gevallen buiten bereik van het verkeer worden geplaatst achter struiken of in een groenvoorziening. De situatie op het moment van aanleg blijft echter niet altijd gelijk en zo kan het gebeuren dat de struiken verwijderd worden en daarvoor in de plaats een parkeerterrein komt. Hierdoor neemt de kans op aanrijdingen toe, maar deze situaties worden niet altijd bekend gemaakt. Het automatisch opzoeken van deze veranderingen heeft daarom de voorkeur.

Dataset en Dataprocessing

De dataset zijn luchtfoto's uit de landsdekkende PDOK Web Map Service. Het uitgangspunt van machine learning is dat er een training dataset met voorbeelden beschikbaar is. ArcGIS Pro maakt het makkelijk met minimale handmatige acties de data uit de luchtfoto's daarvoor beschikbaar te stellen, met hulp van de ‘Export Training Data For Deep Learning' tool. Het resultaat zijn gelabelde foto's met een formaat van 28*28*3 (hoogte * lengte * RGB) , dus foto's waarvan de computer weet of er een auto in te zien is of niet. Hiermee kunnen we met Deep Learning aan de slag.

Deep Learning Foto Classificatie met Keras CNN

Met een eenvoudige Convolutional Neural Network (CNN) is het mogelijk objecten in de luchtfoto's te herkennen. Keras, een Deep Learning library in Python gebaseerd op Tensorflow, is het framework waarmee wij dit CNN ontwikkelden.

Typisch CNN: Aphex34, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=45679374

Resultaten

Het resultaat van het model is dat het auto's herkent met een nauwkeurigheid van ongeveer 96 procent op de test set. De volgende plot laat tiles uit de testdata zien, waar ons model de auto herkende:

Met een hoge nauwkeurigheid zijn er nog altijd situaties waar het verkeerde wordt voorspeld. In de onderstaande twee afbeeldingen uit de test set zijn auto's gelabeld, maar het model herkent deze niet. Door het model verder te verbeteren kunnen dit type fouten (false positives & false negatives) steeds meer worden voorkomen:

Volgende stappen

De mooie resultaten van deze POC tonen aan hoe krachtig dit soort modellen zijn. De bounding box die nu gebruikt wordt is afhankelijk van de gesegmenteerde foto's. Het detecteert nog niet precies welke pixels een auto representeren, maar alleen of er een auto op de foto te zien is. Met hulp van het YOLO-algoritme is het mogelijk een gerichtere uitkomst te krijgen. Verder zijn er ontzettend veel andere toepassingen te bedenken voor deze technologie, zoals de detectie van zonnepanelen of andere soorten objecten.

Geospatial domeinkennis wordt steeds meer gevraagd in Data Science teams bij onze klanten. De kracht van Geo in samenwerking met de nieuwste ontwikkelingen in ML en AI creëert vele mogelijkheden om nog meer inzichten uit data te halen.

Wil jij meer weten over hoe dit model is gebouwd of heb je ondersteuning nodig met geospatial data in jouw Data Science Team, aarzel dan niet om contact met ons op te nemen.