VJing ist der Teil einer Clubnacht, den niemand beim Namen nennt, den aber jeder spürt: die Visuals hinter dem Pult, die stehen oder fallen, je nachdem, ob die Software in Echtzeit mithält. Resolume hat genau hier eine echte Lücke geschlossen. Version 7.28 von Avenue und Arena, erschienen am 22. September, bringt Computer Vision als nativen Baustein, und vor allem: sie verlässt die Maschine nie.

Was ändert sich technisch wirklich?

Das Update führt zwei neue Low-Level-Knoten in Wire ein, Resolumes knotenbasierter Patch-Umgebung: Human Segmentation und Depth Estimation. Human Segmentation trennt eine Person Bild für Bild vom Hintergrund; Depth Estimation erzeugt aus einem simplen 2D-Kamerabild eine Tiefenkarte, ganz ohne Tiefensensor. Darauf aufbauend liefern Arena und Avenue sechs fertige Effekte: Background Removal, Depth Blur, Depth Field, Depth Displace, Depth Pixelation und Depth Shift, dazu einen neuen Depth-Blendmodus, der Ebenen nach scheinbarer Distanz statt nur nach Alphakanal mischt. Da jeder Effekt selbst ein Wire-Patch ist, kann ein VJ ihn öffnen, umverdrahten oder aus denselben zwei Knoten einen komplett eigenen Effekt bauen, so der Überblick von CDM zum Release.

Depth Estimation bringt zeitliche Filterung und Glättung mit, die gezielt das Flackern zwischen Frames reduzieren sollen, die Schwäche, die Echtzeit-Tiefenmapping bisher live unzuverlässig gemacht hat. Das Update fügt außerdem Group FFT hinzu, womit audioreaktive Effekte Frequenzdaten aus mehreren Ebenen gleichzeitig ziehen können, sowie ein Zurücksetzen per Rechtsklick im Wire-Node-Editor.

Warum zählt die lokale Verarbeitung mehr als die Effekte selbst?

Jeder dieser Effekte könnte theoretisch an einen Cloud-Computer-Vision-Dienst ausgelagert werden, viele Videotools tun das bereits. Für einen VJ, der live in einem Club oder auf einer Festivalbühne mixt, ist das keine Option: Ein Netzwerkaussetzer mitten im Set bedeutet ein eingefrorenes Bild oder einen abgebrochenen Feed vor tausenden Menschen, und einen Kamerafeed nach außen zu schicken wirft eigene Datenschutzfragen auf, wenn dieser Feed das Publikum zeigt. Resolumes Ansatz hält Segmentierung und Tiefenschätzung vollständig auf der Hardware des VJs, ohne Umweg und ohne dass Daten die Maschine verlassen. Das ist die eigentliche Neuigkeit: nicht dass es Hintergrundentfernung gibt, sondern dass sie ohne die Latenz und Abhängigkeit der Cloud auskommt.

Die Modelle lokal laufen zu lassen heißt, dass die Visuals auch dann leben, wenn das Internet im Club es nicht tut.

Für wen ändert das wirklich etwas?

Jeder VJ oder visuelle Künstler, der Arena oder Avenue in Clubs, auf Festivals oder bei Installationen einsetzt, hat jetzt Echtzeit-Personensegmentierung und Tiefeneffekte, ohne eine Tiefenkamera zu kaufen oder eigene Computer-Vision-Software zu schreiben. Das verkürzt auch den Abstand zwischen Resolume und der Welle KI-gestützter Visual-Tools, die auf Cloud-Inferenz gesetzt haben, während die Zuverlässigkeit erhalten bleibt, die Live-Produktion braucht.

Warum es wichtig ist

Visuals sind zunehmend Teil davon, wie sich ein House- oder Techno-Event verkauft, von der Festivalhauptbühne bis zum Warehouse mit Videomapping, und die Software dahinter ist fast so entscheidend geworden wie die des DJs nebenan. Lokale Computer Vision streicht eine der letzten legitimen Ausreden für einen visuellen Absturz mitten im Set.

Was wir denken

Das ist die Art Update, die nie viral geht, aber einen Workflow wirklich verändert: Ein VJ kann jetzt eine Person live aus ihrem Hintergrund lösen oder aus einer simplen Webcam eine falsche volumetrische Tiefe simulieren, ganz ohne Internetabhängigkeit. Das zählt für den Dancefloor mehr als noch ein Synth-Plugin, denn wenn die Visuals hängen bleiben, spürt das der ganze Raum.