Technologien des Projektraums Medienkunstraum
Vision des Medienkunstlabor - Dezember 2007
Medienkunst ist zu einem wichtigen Aspekt in unserem Kulturkreis geworden. Die neuesten Entwicklungen der Medienkunst finden meist im Bereich der „digital arts“ statt. Algorithmen und Computertechnologien sind dabei ein zentraler Bestandteil.
Neueste Entwicklungen in der Technologie fließen dabei in diesen Bereich stärker ein als in anderen Kunstsparten. Die treibende Kunst in der Technologieentwicklung findet in Labors, Forschungsstätten und Hochschulen statt. Soll neue richtungweisende Medienkunst in diesem Sinne erschlossen werden, ist es wichtig, die Kooperation mit diesen Stätten zu suchen. Für die Integration der Technologien dieser in die Kunstproduktion und -realisierung sind entsprechende Orte notwendig, wo Medienkunstwerke getestet und implementiert werden können. In diesem Sinne ist ein Medienkunstlabor ein Ort der Kooperation, der Systemintegration, eine Schnittstelle zwischen Forschung, Wissenschaft und Kunst und vor allem ein Ort der Implementierung neuer Medienkunstwerke, also ein Projektraum "Medienkunst".
Ziel des Projektraums ist ein zukunftsweisendes Environment für neue Ansätze in der technologieorientierten Medienkunst zu kreieren. Der Medienkunstraum (MKR) selbst wird zur Randbedingung für neue Werke und ein Forschungsgegenstand.
Nach dem Entwicklungsprozess anhand von Kunstproduktionen ist er nicht nur eine neue Maschine sondern auch richtungweisendes Statement zum Diskurs von Technologie und Kunst und damit dessen Stellenwert in unserer Gesellschaft.
Audio Environment: Ambitioniert 3D
Klang und Musik wird in der europäischen Kultur spätestens seit der Renaissance ein räumliches, skulpturales Aspekt zugemessen, aber erst die heute verfügbaren Technologien der neuen Medien ermöglichen die beliebige 3-dimensionale Verteilung von Sound, sei es im virtuellen Raum durch Kopfhörerwiedergabe oder im Realraum über Mehrkanal-Lautsprechersysteme. KomponistInnen, KlangkünstlerInnen und TonmeisterInnen soll damit die Möglichkeit an die Hand gegeben werden ein räumliches Klangdesign für verschiedenste Aufführungssituationen zu erstellen.
Bei „3D Ambisonics“ wird Klang als räumliches, skulpturales Phänomen verstanden und zielt auf die Entwicklung eines universell einsetzbaren Klangenvironments ab, bei dem Klang in seiner räumlichen Verteilung geformt werden kann. Dabei setzt auf ein abstraktes Kodierungsformat auf, das unabhängig von der konkreten Wiedergabesituation – in verschiedensten Environments – verwendet werden kann, wobei im MKR eine Referenzimplementierung für den Multimediabereich entwickelt wird. Dabei können verschiedenste Spatialisierungstechniken parallel angewandt werden und somit auch mit den kontrastierenden Techniken gearbeitet werden.
Zusätzlich werden virtuelle Räume mittels Mikrofonierung und Raumsimulationen dem akustischen Realraum überlagert und somit veränderliche Akustiken mittels Raum in Raum Verhallung ermöglicht.
Funktion
Ausgangspunkt der Überlegung ist, dass jede Klangumgebung durch seine Randbedingen definiert werden kann, diese kann als einhüllende Membran gedacht werden. Innerhalb dieser Membran können wir nun das geünschte Schallfeld erzeugen, indem diese an mehreren Orten von Lautsprechern angeregt wird. In so einer Sphäre hören wir dann als Klänge, Geräusche und ambients, die durch das Schallfeld repräsentiert werden und uns umgeben.
Dazu werden, unter anderem, Wellenfeldsynthese und Ambisonics als Technologie eingesetzt. Bei Ambisonics können Klänge in einer Sphäre, meist reicht eine Hemisphäre, spatialisiert werden und somit beliebige Klang-Umgebungen geschaffen werden. Im Gegensatz zu Wellenfeldsynthese kommt Ambisonics mit weniger Lautsprecherkanälen aus und beherrscht die 3. Dimension. Die Anzahl der zu spatialisierbaren Quellenkanäle ist nur von der Rechenleistung der Computer begrenzt. Dieses Schallfeld wird mit einer fixen Anzahl von Audiosignalen, den Ambisonics-Bus, vollständig beschrieben.
Im Gegensatz zu binauralen Render-Environments, aktive 3D-Audioalisierung wobei für jeden Besucher ein Stereosignal errechnet wird, welches mittels Kopfhörer bereitgestellt wird, sind Ambisonics-Beschallungen passiv, also ohne Adaption der Hörenden benutzbar.
Die generierte Klangwelt wird über die Ambisoncs-Anlage zugespielt und mischt sich mit den realen Klängen im Raum. Mittels Verwendung von Mikrofonen können Reflexionen der analogen Klangerzeuger im Raum nachgebildet werden und damit eine virtuelle Akustik des Raumes simuliert werden. Als Grundalge zu den virtuellen akustischen Räumen dienen sowohl die Nachbildung realer Räume als auch die Konstruktion fiktiver, im realen nicht existierender Räume. Somit könnten mittels beliebigen Reaktionen auf dem Klang im Raum reaktive und unatürliche Akustiken erzeugt werden.
Diese Technologien eignen sich besonders zur Implementierung von virtuellen Klangwelten als Acoustic Augmented Reality.
Eine der Referenzimplementationen ist der IEM-Cube. Im MKL soll diese Technologie an die Gegebenheiten des Raumes unter Verwendung von oversampled Ambisonics angepasst und von Kunstproduktionen eingeforderten zusätzlichen Möglichkeiten für die jeweiligen Kunstproduktionen ausgestattet werden.
Display Environment
Großflächige Displays erfreuen sich seit geraumer Zeit großer Beliebtheit in der Kunstszene, in öffentlichen Räumen, im Bereich der Informationsvisualisierung und für interaktive Multi-User Installationen. Sinkende Kosten für benötigte Hardware Komponenten erlauben dabei breite Einsatzmöglichkeiten.
Im Bereich der Medienkunst sind immersive, komplett virtuelle Display-Umgebungen für einen aktiven Benutzer stark verbreitet (s. z.B. „CAVE“, Curved Displays). Das benötigte Hardware Setup für diese Installationen ist meist fix installiert, weitläufig und kostenintensiv.
Nicht nur im Medienkunstbereich, sondern auch als interaktive Installationen im öffentlichen Raum, finden großflächige planare Displays starke Verbreitung. Dabei handelt es sich meist um interaktive Wand-, Tisch- oder Boden-Displays. Oftmals werden Displays dabei von mehreren Projektoren bespielt („Tiled Displays“). Mit Hilfe von Kameras („Projektor Kamera Systeme“) können dabei Verzerrungen („Keystoning“) und Überlappungsbereiche der Projektoren auf Software-Basis kompensiert werden.
In zahlreichen Forschungsprojekten werden Projektor Kamera Systeme bereits auch für unebene Oberfläche eingesetzt. Dabei passiert die Kompensierung der, durch die Unebenheiten hervorgerufenen, Verzerrungen entweder für eine getrackte Benutzerposition (s. z.B. Bimber's „Smart Projector“) oder von einem neutralen Betrachterstandpunkt (s. z.B. Raskar's „iLamps“).
Für die Visualisierung eines Medienkunstraumes wird eine Raum-adaptive Multi-Projektor Lösung gewünscht. Anstelle eines virtuellen Raums im Raum soll der Raum selbst in eine interaktive Display-Fläche verwandelt werden. Annähernd alle vorhandenen Oberflächen im Raum sollen dabei als Displays zur Verfügung stehen – über Wände und Raumecken zu Tischflächen und etwaige Objekte im Raum. Das Display Environment soll automatisch diese Oberflächen registrieren und ein dreidimensionales Modell der Displays im Raum erstellen. Mit Hilfe des zugrunde liegenden Modells sollen Keystoning und Überlappungen für einen neutralen Betrachterstandpunkt auf Betriebssystem-Ebene kompensiert werden.
Funktion
Projektoren und Kameras werden an den gewünschten Stellen positioniert. Im Kalibrierungsprozess registriert das Projektor Kamera System alle Display Flächen mit Hilfe von Structured Light Techniken. Mit Hilfe der Kalibrierungsdaten können die Kamera Positionen geschätzt und damit eine 3D Rekonstruktion aller Display Flächen erstellt werden. Basierend auf diesem 3D Modell kann ein geometrisches Warping der projizierten Bilder für einen neutralen Betrachterstandpunkt berechnet werden, womit das Display wie ein physisches Poster erscheint, das auf eine beliebige Oberfläche angebracht wurde. Da Displays sehr wahrscheinlich von mehreren Maschinen bespielt werden, ist es nötig, Applikationsfenster auf Betriebssystem-Ebene migrieren und duplizieren zu können.
Das erstellte 3D Modell steht ebenso für andere Operationen zur Verfügung und kann in die Gestaltung beliebter Installationen einfließen. Kombiniert mit einem Personentracking mit Hilfe der kalibrierten Kameras, könnten zukünftig die Positionen der Betrachter ermittelt werden, ohne zusätzliche Hilfsmittel („Tracking Targets“) am Benutzer anbringen zu müssen. Gestenerkennung könnte eine zusätzliche Interaktionsmöglichkeit darstellen.
