Computer Use

Il computer use è la capacità di un agente AI di usare il computer come una persona: legge lo schermo dallo screenshot, muove il cursore, clicca, digita e scorre in qualsiasi software, anche in programmi senza API.

Agenti e automazionecomputer useagente GUIautomazione da schermo
§ 01DefinizioneComputer Use

Niente gergo, niente formule

In parole semplici, che cos'è?

L'agente lavora a loop di screenshot. Cattura lo schermo, il modello legge l'immagine come faresti tu, decide la prossima azione sull'interfaccia (clicca qui, digita quello, scorri) e un controllore la esegue tramite il livello di accessibilità o di input del sistema operativo. Poi uno screenshot nuovo conferma cosa è successo e il loop riparte. È così che automatizzi il software che nessuno riesce ad automatizzare: l'ERP del 2009, il portale doganale, il sito di prenotazione del fornitore, nessuno con una API. Si rompe in tre modi: layout fragili (un bottone spostato rompe il flusso), latenza (ogni passo è un viaggio screenshot, modello, azione) e rischio (un agente che sa cliccare “salva” sa cliccare anche “invia”: permessi e log non sono optional).

§ 02Come funzionaScreenshot, decidi, clicca, verifica, ripeti
  1. 01

    Vedi. Cattura lo schermo e leggilo come una persona.

  2. 02

    Decidi. Scegli la prossima azione: clic, digitazione, scroll.

  3. 03

    Agisci. Eseguila tramite il livello di input.

  4. 04

    Verifica. Uno screenshot nuovo conferma che l'azione è andata.

  5. 05

    Ripeti o fermati. Gira finché il compito è fatto o un permesso ti ferma.

§ 04

Vuoi che funzioni davvero nella tua azienda?

Progettiamo e rilasciamo sistemi AI con permessi, log e approvazione umana. Si parte con una call di scoping di 30 minuti.