Kleurrijk prentje maakt onderzoekers onzichtbaar voor intelligente camera's

“Slimme detectiesystemen maken gebruik van patroonherkenning”, zo zei professor Toon Goedemé. “Ze bestaan uit een camera, die beelden registreert, en software die de beelden automatisch interpreteert. Als je die systemen traint met beelden van verschillende mannen en vrouwen, dan slagen ze er na verloop van tijd in om mensen te herkennen en hen te onderscheiden van om het even welk object. Ook al verschillen we van grootte, haarkleur, of gelaat: het algoritme identificeert ons als mens."

"Slimme detectiesystemen zijn daardoor erg geschikt voor beveiliging. Ze geven zelfs automatisch een signaal zodra er zich een indringer in het zicht van de camera’s begeeft, ook al probeert die zich te verstoppen. Vroeger had je daarvoor bewakers nodig die urenlang naar schermen moesten turen. Een saaie job, die ondertussen stilaan verleden tijd is.” Professor Goedemé is het hoofd van de onderzoeksgroep EAVISE (Embedded and Artificially Intelligent Vision Engineering) aan de Campus De Nayer. 

Toch zijn slimme detectiesystemen niet helemaal onfeilbaar. Soms hebben ze het moeilijk om bepaalde patronen te herkennen. Wereldwijd proberen onderzoekers de achilleshiel van detectiesystemen bloot te leggen en kleine veranderingen kunnen daarvoor volstaan. Zo kan je met een kartonnen nepbril een gezichtsherkenningssysteem helemaal in de war brengen.

Het team van professor Goedemé ging nog een stapje verder. Masterstudent Simen Thys en postdoc Wiebe Van Ranst zijn er in geslaagd om YOLO te misleiden, één van de meest populaire algoritmes om objecten en personen te detecteren. 

De onderzoekers hielden een kartonnen bord van 40 op 40 centimeter voor hun lichaam, met daarop een kleurrijke print. Dat volstond om YOLO beet te nemen: wie het bordje draagt, wordt onzichtbaar voor het systeem.

Heel bijzonder, volgens professor Goedemé. “Er waren al tests met mensen die een T-shirt droegen met de afbeelding van een vogel. Het algoritme herkende geen persoon, maar detecteerde wel een vogel. Ons patroon, dat nota bene door artificiële intelligentie ontworpen is, maakt mensen onzichtbaar. Wie het bordje draagt, wordt niet gedetecteerd, noch als mens, noch als object. Hoe het komt dat precies dit patroon YOLO om de tuin heeft geleid, weten we niet. Algoritmes maken nu eenmaal gebruik van miljoenen parameters. Voor ons is dit een zwarte doos.”

De onderzoekers zijn enthousiast, maar waarschuwen meteen voor andere beveiligingslekken.

“Hoe het nu verder moet? Simpel. We hebben een kwetsbaarheid vastgelegd. Nu moet het lek gedicht worden. In dit geval zou je het algoritme kunnen aanleren dat mensen die een identiek bordje vasthouden ook mensen zijn. Op zich is dit lek dus eenvoudig te dichten. Alleen mag je ervan uitgaan dat YOLO nog andere zwakke punten heeft. Een plaat met een print is eigenlijk een minimale aanpassing. Iedereen houdt wel eens iets in zijn handen. Er zijn met andere woorden waarschijnlijk nog andere patronen die het systeem kunnen misleiden. Of we ooit alle beveiligingslekken kunnen dichten? Dat denk ik niet. Ik zei het al: zo'n algoritme is een 'black box'. Dit is het begin van een wapenwedloop”, zo zei Goedemé in een persbericht van de KU Leuven.

Gespecialiseerde sites hebben het nieuws al gretig opgepikt. De video die de onderzoekers online hebben gezet, is ondertussen door bijna 100.000 mensen bekeken. “Ons onderzoek is cool, maar we zijn toch verrast dat de technologiewereld het zo gehypet heeft. Anderzijds is het een toepassing die tot de verbeelding spreekt. Het idee dat je jezelf met een kleurrijk bord onzichtbaar kunt maken voor veiligheidscamera’s, vinden mensen duidelijk intrigerend.”

Een wetenschappelijk artikel over de kwestie is gepubliceerd in arXiv.