ab-c media weblab - experimenten met erfgoed
5 jul 2011 Arjan den Boer

Schilderijen herkennen en verkennen met smartphones

Onlangs is de collectie van Getty Museum in Los Angeles ontsloten via beeldherkenning met Google Goggles. Bezoekers houden hun cameratelefoon voor een schilderij; die herkent welk kunstwerk het is en toont bijbehorende info. Vanaf nu is er ook een Nederlands voorbeeld: dit weblab maakt de schilderijencollectie van het net heropende Kasteel Amerongen op deze manier 'herkenbaar'. Ik gebruik hiervoor een alternatief voor Google Goggles: lookthatup. Een tweede demo gaat een stap verder: individuele details op één schilderij worden herkend en voorzien van informatie. Een nieuwe manier om schilderijen te verkennen.

Zelf uitproberen

De toepassing werkt met de echte schilderijen in Kasteel Amerongen; door het hele kasteel is gratis Wi-Fi beschikbaar. Proberen kan ook achter de computer als je de smartphone voor het scherm houdt. Demo 1 werkt met de app Lookthatup op de iPhone. Demo 2 werkt met Junaio voor iPhone, iPad 2 en Android. Volg de instructies bij de demo's.

Schilderijencollectie Kasteel Amerongen

Tijdens de recente restauratie van Kasteel Amerongen is ook de schilderijencollectie - voornamelijk portretten van adellijke bewoners - onder handen genomen. Over de schilderijenrestauratie is een interessante bijdrage met video verschenen in het restauratieblog. In het heringerichte kasteel zijn de schilderijen mooi uitgelicht, en soms betrokken bij de projecties van Peter Greenaway. In een ingericht kasteel horen echter geen tekstbordjes. Om toch informatie over een schilderij te tonen is een mobiele toepassing met beeldherkenning dus perfect geschikt. Beeldherkenning is in een museum ook een alternatief voor locatiebepaling (GPS werkt niet binnenshuis) of QR-codes (vereisen dat er een zichtbare code wordt geplaatst).

De schilderijen en de gegevens daarover komen later dit jaar ook voor bezoekers beschikbaar op touchscreens in het kasteel. Daar worden ze gepresenteerd met behulp van Pivot. Voor deze demo zijn de schilderijen alvast in Pivot beschikbaar (demo 1). Leuk om vast te bekijken, maar ook handig om de beeldherkenning vanachter de computer uit te proberen. Het werkt namelijk net zo goed op een foto in een boek of op een beeldscherm als op het originele schilderij.

Hoe beeldherkenning werkt

Een mobiele beeldherkenningstoepassing vergelijkt het beeld van de telefooncamera met een foto in een beelddatabase. Door patroonherkenning worden variabelen zoals belichting, focus en kijkhoek zo veel mogelijk gecorrigeerd. Voor dit weblab heb ik afbeeldingen van de Amerongse schilderijen gestuurd aan de database-beheerders van lookthathup. Je kunt zelf individuele foto's toevoegen aan die database, maar in samenwerking met LTU Technologies is er een automatische import gedaan. Daarmee zijn de schilderijen allemaal te herkennen met de iPhone-app Lookthatup. We hebben ook een aangepaste app die er mooier uitziet en de info directer toont, die ik gebruik in de video in Kasteel Amerongen. Beschikbaar stellen van die app in de App Store vergt echter meer tijd en investering, dus dat komt misschien later.

Bij een praktijktest in het kasteel blijkt de beeldherkenning goed te werken, ook als je niet recht voor een schilderij staat, als het beeld spiegelt of als je op een detail richt. Alleen als het erg donker is laat Lookthatup het afweten, zoals in sommige ruimtes met projecties van Peter Greenaway en als de schilderijen hoog boven de bezoekers hangen, zoals in de Galerij. De resultaten zijn het best in de hal en Grote Zaal op de eerste verdieping, waar ook de meeste portretten hangen.

Schilderijen verkennen met Augmented Reality

De mogelijkheden van Goggles en lookthatup zijn interessant, maar in combinatie met augmented reality zijn er geavanceerdere toepassingen mogelijk. Die heb ik uitgeprobeerd op een schilderij van Hendrik Keun uit ca. 1775 van de Utrechtse Weerdpoort en omgeving (vlak bij ons kantoor).

Met behulp van de app Junaio (zie ook de weblabs van Ilonka) heb ik een aantal details op het schilderij voorzien van informatiepunten. Door je smartphone of iPad 2 voor het schilderij (of een foto ervan) te houden ze je op die plekken icoontjes verschijnen die je kunt aanklikken. Zo kom je te weten wat er waar op het schilderij is afgebeeld, en in dit geval geef ik er links bij naar Wikipedia voor meer informatie. Naar mijn weten is dit nog niet eerder zo gedaan. Als het verder wordt uitgewerkt en de techniek nog betrouwbaarder wordt (nu 'dansen' de icoontjes nog een beetje) biedt dit hele nieuwe mogelijkheden om schilderijen te verkennen en van context te voorzien.

Reageren

Arjan den BoerArjan den Boer
ab-c mediae-mailLinkedinwebsite Arjan den BoerGoogleTwitter
14 weblabs
zoom visualisaties panoramafotografie mobiel zoektechniek 3d augmented reality stereofotografie geo gps mashups
achtergrond Hendrik Keun, Gezicht op de Weerdpoort en omgeving, ca. 1775. Particuliere collectie.
twitter rss info