Netflix lanceert AI-model dat objecten uit video kan wissen

In dit artikel:

Netflix en onderzoekers van de universiteit INSAIT hebben VOID uitgebracht (Video Object and Interaction Deletion), een open-source AI-model dat niet alleen objecten uit video verwijdert maar ook de fysieke consequenties van die verwijdering voorspelt en genereert. Het model, sinds 3 april beschikbaar voor studio’s, onderzoekers, ontwikkelaars en technisch onderlegde hobbyisten onder een Apache 2.0‑licentie, automatiseert een taak waar VFX‑teams normaliter weken aan werken en voorkomt onlogische artefacten zoals “zwevende” voorwerpen na verwijdering.

VOID bouwt op CogVideoX (een videovariant van Stable Diffusion) en introduceert een zogenoemde quadmask die vier categorieën onderscheidt: het doelobject, overlappende zones, door de verwijdering beïnvloede regio’s (bijv. vallende voorwerpen) en de achtergrond. De verwerking verloopt in twee stappen; een optionele tweede ronde gebruikt optische flow om vervormingen te stabiliseren en de dynamiek van de scène consequenter te houden dan eerdere methodes zoals Runway, ProPainter en DiffuseEraser.

Omdat echte video‑paren met en zonder hetzelfde object schaars zijn, genereerden de onderzoekers synthetische trainingssets: HUMOTO (fysicasimulaties in Blender) voor mens‑objectinteracties en Kubric voor botsingen tussen objecten. Door de natuurkunde opnieuw te berekenen nadat een element is verwijderd, leerde VOID plausibele fysieke reacties te produceren.

Kort gezegd biedt VOID een technisch geavanceerde, vrij toegankelijke oplossing om objecten realistisch uit video’s te wissen en de daaropvolgende fysieke veranderingen mee te modelleren — wat VFX‑werk kan versnellen en democratiseren, maar ook vragen oproept over misbruiksmogelijkheden bij beeldmanipulatie.