Augmented Reality-tijdreis op het Domplein

Voor het nieuwe bezoekerscentrum van de stichting Domplein 2013 in Utrecht heeft DeroDe3D virtuele 3D-reconstructie-scènes gemaakt van verschillende periodes uit de geschiedenis van het Domplein, zoals het Romeinse castellum in 250 en het middenschip van de Domkerk vóór de verwoesting door een orkaan in 1674. In dit weblab probeer ik hoe deze scènes met behulp van Augmented Reality de bezoekers van het plein door de tijd kunnen laten reizen.

Zelf uitproberen? Dat kan met iPhone en Android op het Domplein (zie verderop) maar ook gewoon achter de computer; klik dan op het tabblad demo (en gebruik vooral de fullscreenknop rechtsonder).
Nieuw: nu ook rondkijken in de opgravingskuil van september 2011. Klik in de demo op de knop opgraving. Panorama gemaakt door Bumos i.o.v. dienst Erfgoed van de gemeente Utrecht.

Augmented Reality Browsers

Augmented Reality of Toegevoegde Realiteit is het projecteren van virtuele beelden over de werkelijkheid heen. Hierbij wordt gebruik gemaakt van een camera, zoals een webcam of smartphone met camerafunctie. Een bekend voorbeeld van Augmented Reality is de buitenspel-lijn die vaak bij voetbalwedstrijden wordt weergegeven.

Om Augmented Reality op een smartphone te kunnen bekijken is er een Augmented Reality Browser nodig. Dit is een applicatie die virtuele beelden over het camerabeeld weergeeft. Dat gebeurt op basis van de GPS-coördinaten en het kompas van de telefoon, waarmee de locatie en kijkrichting worden bepaald. Op dit moment zijn er twee AR-Browsers die ook 3D ondersteunen. Dit zijn het Nederlandse Layar en het Duitse Junaio. Voor dit weblab gebruik ik beide AR-Browsers, die allebei geschikt zijn voor iPhone en Android.

Voor wie geen smartphone heeft én voor gebruik op de iPad heb ik ook een versie gemaakt die werkt met Flash of HTML5, via de panorama-viewer krpano. In combinatie met de gyroscoop-functie (bewegingsdetector) van de iPad 2 en de iPhone-4 is het effect soms bijna even overtuigend als met een AR-Browser. Helaas is een combinatie van camerabeeld en virtuele inhoud met krpano niet mogelijk. 

Panorama of 3D-scènes

Een nadeel van 3D-scènes in Augmented Reality Browsers is de beperkte kwaliteit. Omdat de gebruiker steeds van positie verandert moet de AR-browser het 3D-model telkens opnieuw renderen. Omdat smartphones nog weinig rekenkracht hebben ten opzichte van normale computers, moeten de modellen heel licht blijven. Dit betekent weinig detaillering, wat soms onaantrekkelijke beelden oplevert. De oplossing die ik hiervoor heb gevonden is om panorama-renderings van 360 graden te maken van de 3D-scènes. De scènes laden dan licht in de AR-browser maar blijven visueel aantrekkelijk. Het panorama-beeld wordt als het ware aan alle kanten om de kijker heen getoond. Het nadeel van deze aanpak is dat je alleen vanuit het midden van de scène kunt kijken en niet kunt rondlopen om het perspectief te veranderen.

Junaio

Junaio is een Augmented Reality Browser met 'Channels' die door iedereen gemaakt en bekeken kunnen worden. Als je een Channel wilt aanmaken dan kun je je gratis aanmelden op de website van Junaio. Er zijn verschillende tutorials te vinden met voorbeeldmateriaal om zelf ook een Channel aan te maken.

Voor het maken van de panorama in Junaio heb ik eerst een kubus gemaakt in 3D Studio Max. Het panorama is hiervoor verdeeld in zes vlakken. In de voorbeeldanimatie is te zien hoe de vlakken samen de kubus vormen. Op deze manier ontstaan de vlakken boven, beneden, voor, achter, links en rechts. Het is belangrijk om ervoor te zorgen dat het middelpunt van de kubus gelijk is aan het middelpunt van het 3D-programma; hierdoor blijft de kijker altijd in het midden van het panorama.

Om een 3D-model in Junaio te zetten moet het model eerst worden opgeslagen als object (.obj). Daarna moet deze op de website van Junaio worden versleuteld. Dit bestand wordt samen met de gebruikte textures (afbeeldingen op het oppervlakte van het 3D-model) geplaatst in Junaio.

Junaio bepaalt wat de gebruiker te zien krijgt aan de hand van de GPS-locatie en het kompas van de telefoon. Het is echter ook mogelijk om geen locatie aan het 3D-model te hangen, zodat het overal bekeken kan worden. Sinds begin april is er ook een versie van Junaio voor de iPad 2. Hierdoor zijn de Channels op het grote scherm te bekijken. Omdat de Channels vaak via het mobiele netwerk moeten worden gedownload kunnen de textures in de modellen niet te zwaar zijn. Voor de iPhone is dit prima maar bij de iPad 2 worden de afbeeldingen wat vaag. Maar in combinatie met de transparante panorama's is dit wel een hele mooie belevenis.

Voor dit weblab hebben we ervoor gekozen dat dit Channel op elke willekeurige locatie kan worden bekeken - al is het effect natuurlijk het mooist op het Domplein. De naam van dit Channel is: 360 Domplein Utrecht

Layar

Layar is een Augmented Reality Browser gemaakt door het Nederlands bedrijf Layar. In Layar wordt er gewerkt met layers (lagen met informatie). Een bekende Layer is die van de website Funda. Door om je heen te kijken met je smartphone kun je zien welke huizen er in je omgeving te koop staan.

Om een panorama in Layar te tonen heb ik een 3D-cilinder gemaakt. Hier is aan de binnenkant de texture geplakt van het panorama. Ook bij Layar moet het 3D model worden opgeslagen als object en daarna omgezet naar een .l3d bestand, via een converter die te downloaden is op de website van Layar.

De cilinder is geplaatst op het Domplein. Ik heb daarvoor gekozen omdat dit model beter tot zijn recht komt op het moment dat deze ter plekke wordt bekeken. Als je het Domplein nadert zie je de buitenkant van de cylinder met een paar 'doorkijkjes' en de melding 'panorama inside'. Voor wie dit zelf wil bekijken, de naam van de Layer is: weblab ab-c media

Doordat Layar de 3D-modellen altijd standaard belicht is het helaas (nog) niet mogelijk om een compleet 360° panorama in Layar te zetten, zoals in Junaio. De belichting geeft schaduwen op de vlakken en daardoor lopen de textures van de panorama's niet mooi door.

krpano

krpano is een Flash- en HTML5-viewer waarmee panorama's bekeken kunnen worden in de webbrowser op een computer of op de iPhone of de iPad. Op de computer en de iPhone 3G en eerste iPad kunnen de panorama's bekeken worden door er doorheen te scrollen. Met komst van de gyroscoop (bewegingsdetector) in de iPhone 4 en nu ook in de iPad 2 kunnen de panorama's ook bekeken worden door het apparaat zélf rond te bewegen. Hierdoor krijgt de gebruiker het idee zelf rond te kijken, als door een camera die terug in de tijd kijkt. Dit kan uiteraard op elke locatie, maar ter plekke op het Domplein is het effect extra spectaculair.

Schakelen tussen periodes

In de versies voor Junaio en krpano (webbrowser) is het mogelijk om te 'schakelen' tussen drie periodes: 250 (Romeins castellum), 1674 (Gotisch middenschip van de Dom) en 2011 (heden). In krpano wordt een overvloeier getoond tussen de periodes. Ondertussen blijven de panorama's de juiste kant op kijken. Zo is het dus heel makkelijk om te zien hoe een bepaalde plek in de loop der tijd veranderde. Als je bijvoorbeeld naar het noorden kijkt zie je eerst de toegangspoort van het Romeins castellum, dan de muur van het middenschip van de Dom en tot slot het Utrechts Centrum voor de Kunsten dat nu op die plek aan het Domplein staat. Voor dat laatste heb ik een panoramafoto gemaakt van het Domplein nu.

Verantwoording

Voor dit weblab is er gebruik gemaakt van zeer nauwkeurige 3D-scènes. Dit heeft een belangrijke invloed op de beleving van de kijker. Zonder deze precisie zouden de panorama's minder interessant zijn om naar te kijken. Op de website van DeroDe3D is de verantwoording te zien van het gotische Dominterieur en van het romeinse Castellum.