NVIDIA rilascia quattro modelli Cosmos 3 per simulare il mondo

Il 5 novembre 2026, NVIDIA ha annunciato l'aggiunta di quattro nuovi checkpoint a pesi aperti alla famiglia di modelli Cosmos 3. Questi sistemi rientrano nei cosiddetti world model (modelli del mondo), ovvero architetture di intelligenza artificiale capaci di comprendere la dinamica dell'ambiente e prevederne l'evoluzione visiva e fisica, con applicazioni mirate alla robotica e alla guida autonoma multisensoriale.

Cosa è stato annunciato

I quattro nuovi modelli derivano dal post-training di Cosmos 3 Nano e contano 16 miliardi di parametri addestrabili ciascuno. Ognuno è stato sviluppato per compiti specifici all'interno della simulazione interattiva:

• Cosmos3-Nano-Transfer-Auto: modello bidirezionale per la generazione non in tempo reale (offline) di dati sintetici di guida. È in grado di produrre video sincronizzati per un massimo di 11 inquadrature contemporanee (comprese lenti fisheye) e supporta la generazione combinata di immagini RGB e dati LiDAR (tecnologia che misura le distanze tramite impulsi laser). La struttura della scena e il traffico sono controllati tramite World Scenario Map (WSM), mentre le condizioni meteo, di luce o l'orario possono essere impostati tramite descrizioni testuali.
• Cosmos3-Nano-Sim-Auto: variante derivata per distillazione (processo di ottimizzazione che riduce i passaggi di calcolo necessari) da Transfer-Auto. È ottimizzata per lo streaming continuo e interattivo: genera sequenze video e LiDAR sincronizzate in pochi passaggi operativi, basandosi sulla cronologia dei frame precedenti e sugli input di guida.
• Cosmos3-Nano-Sim-Transfer: riceve i controlli geometrici e spaziali provenienti da un simulatore fisico (profondità, segmentazione semantica, contorni e layout) insieme a un prompt testuale, traducendoli in video fotorealistici utilizzabili per valutare le strategie di controllo.
• Cosmos3-Nano-Sim-Bimanual: simula l'interazione con l'ambiente prevedendo l'aspetto visivo conseguente alle azioni di robot bimanuali (a due braccia) o al movimento delle telecamere. Supporta piattaforme robotiche come YAM e AgiBot attraverso una sequenza di controllo a 59 parametri.

Cosa cambia per chi usa l'AI

Per i team di ricerca e le aziende attive nella mobilità autonoma e nella robotica, questi modelli forniscono un'infrastruttura aperta per creare banchi di prova virtuali. Invece di dover raccogliere costose registrazioni su strada o configurare allestimenti fisici per ogni variazione atmosferica, gli sviluppatori possono sintetizzare scenari complessi verificando come le telecamere e i sensori 3D rispondono congiuntamente.

Allo stesso tempo, la possibilità di adattare i pesi di partenza a una propria configurazione di sensori o veicoli permette di personalizzare la simulazione prima di procedere alla distillazione per l'uso interattivo in tempo reale.

Disponibilità e requisiti

I checkpoint sono disponibili per il download con licenza OpenMDW1.1, che consente utilizzi commerciali e non commerciali nel rispetto dei termini indicati dalla licenza stessa. Per eseguire i modelli sono necessari un sistema operativo Linux, una scheda grafica NVIDIA, Docker e l'NVIDIA Container Toolkit; l'ambiente di riferimento basato su vLLM-Omni è stato testato su configurazioni hardware GB2.