La generazione di video è il processo con cui si producono filmati da un prompt testuale, una sceneggiatura o uno storyboard: un modello generativo crea fotogrammi coerenti tra loro, aggiunge il movimento e l'audio viene sintetizzato a parte.
Niente gergo, niente formule
Un video generato è una pila di fotogrammi generati che devono concordare tra loro. Dai al modello un prompt, una sceneggiatura o uno storyboard, più immagini di riferimento del prodotto o del parlante. Il modello abbozza i fotogrammi chiave di ogni ripresa, poi riempie il movimento in mezzo, decine di fotogrammi al secondo. La parte difficile è la coerenza temporale: lo stesso soggetto deve essere uguale al fotogramma 1 e al 300, quindi il modello porta con sé una memoria compressa dei fotogrammi passati in ogni nuovo. L'audio è una pista separata: un modello vocale legge la sceneggiatura e un modello musicale la sottofonda, poi tutto viene assemblato. Dove si rompe: la fisica deriva (oggetti che si sciolgono o teletrasportano), mani e sincronia labiale restano incerte, e la coerenza decade dopo pochi secondi. Per questo gli strumenti consegnano clip corte da montare, non un piano sequenza unico. Pensa a bozze e b-roll, non a cinema finito.
Sceneggiatura e asset. Fornisci prompt, storyboard e immagini di riferimento.
Fotogrammi chiave. Il modello abbozza i fotogrammi di ancoraggio di ogni ripresa.
Intermedi. I fotogrammi di movimento vengono generati tra gli ancoraggi.
Coerenza. Una memoria dei fotogrammi passati mantiene lo stesso soggetto ripresa dopo ripresa.
Render. Le riprese vengono montate e sottofondate; voce e musica arrivano per ultime.
La generazione di immagini è il processo con cui si creano immagini nuove da una descrizione testuale o da un'altra immagine: un modello generativo, di solito un diffusion model, trasforma un prompt in pixel passo dopo passo invece di copiare foto esistenti.
LeggiUn diffusion model è un modello generativo addestrato a invertire un processo graduale di rumore: impara a rimuovere rumore passo dopo passo, così in generazione parte da puro statico e lo affina in un'immagine, un suono o altro output coerente col prompt.
LeggiUn modello multimodale è un unico modello AI che gestisce più di un tipo di input e output, testo, immagini, audio, video, ragionando su tutti in una rappresentazione interna condivisa invece di richiedere uno strumento separato per formato.
Leggi§ 04
Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.