Il VJing è quella parte della serata in club che nessuno nomina ma che tutti sentono: le immagini dietro la consolle che reggono o crollano a seconda che il software tenga il passo in tempo reale. Resolume ha appena colmato un vuoto reale in questo campo. La versione 7.28 di Avenue e Arena, uscita il 22 settembre, integra la computer vision come blocco nativo, e soprattutto non lascia mai la macchina.

Cosa cambia davvero sotto il cofano?

L'aggiornamento introduce due nuovi nodi di basso livello in Wire, l'ambiente di patch modulare di Resolume: Human Segmentation e Depth Estimation. Human Segmentation isola una persona dal proprio sfondo, fotogramma per fotogramma; Depth Estimation costruisce una mappa di profondità partendo da un semplice flusso video 2D, senza bisogno di un sensore di profondità. Su questa base, Arena e Avenue portano sei effetti pronti all'uso: Background Removal, Depth Blur, Depth Field, Depth Displace, Depth Pixelation e Depth Shift, oltre a una nuova modalità di fusione Depth che compone i livelli in base alla distanza apparente e non solo all'alfa. Poiché ogni effetto è a sua volta una patch Wire, un VJ può aprirlo, ricablarlo o costruire un effetto del tutto personale a partire dagli stessi due nodi, secondo la panoramica di CDM sul rilascio.

Depth Estimation include un filtraggio e uno smoothing temporali pensati per ridurre lo sfarfallio tra un fotogramma e l'altro, il difetto che ha reso a lungo la mappatura di profondità in tempo reale poco affidabile dal vivo. L'aggiornamento aggiunge anche Group FFT, che permette agli effetti audio-reattivi di attingere dati di frequenza da più livelli contemporaneamente, oltre a un reset con clic destro nell'editor dei nodi Wire.

Perché l'elaborazione locale conta più degli effetti in sé?

Ognuno di questi effetti potrebbe, in teoria, essere delegato a un servizio di computer vision nel cloud, molti strumenti video lo fanno già. Per un VJ che mixa dal vivo in un club o su un palco da festival, questo non è un'opzione: un intoppo di rete a metà set significa un fotogramma congelato o un flusso interrotto davanti a migliaia di persone, e inviare un flusso video all'esterno pone anche questioni di privacy quando quel flusso inquadra il pubblico. L'approccio di Resolume mantiene la segmentazione e la stima della profondità interamente sull'hardware del VJ, senza andata e ritorno e senza che alcun dato esca dalla macchina. È questa la vera notizia: non che esista la rimozione dello sfondo, ma che esista senza la latenza e la dipendenza che il cloud impone.

Far girare i modelli in locale significa che le immagini restano vive anche se la rete del locale non lo è.

A chi cambia davvero il lavoro?

Ogni VJ o artista visivo che usa Arena o Avenue in club, festival o installazioni ha ora segmentazione umana ed effetti di profondità in tempo reale senza comprare una camera di profondità né scrivere codice di computer vision su misura. Questo riduce anche il distacco tra Resolume e l'ondata di strumenti visivi potenziati dall'IA che si sono appoggiati all'inferenza cloud, mantenendo però le garanzie di affidabilità che la produzione live richiede.

Perché conta

Le immagini sono sempre più parte di come un evento house o techno si vende, dal palco principale di un festival al warehouse con video mapping, e il software che gestisce quello spettacolo è diventato quasi determinante quanto quello del DJ accanto. La computer vision locale toglie una delle ultime scuse valide per un crollo visivo a metà set.

Cosa ne pensiamo

Questo è il tipo di aggiornamento che non farà mai notizia ma che cambia davvero un flusso di lavoro: un VJ può ora ritagliare una persona dal proprio sfondo o simulare una falsa profondità volumetrica partendo da una semplice webcam, dal vivo, senza alcuna dipendenza da internet. Conta più per la pista da ballo di un altro plugin per synth, perché quando le immagini si bloccano, tutta la sala lo sente.