Un agente AI può fare i test del tuo software?
In parte sì. Puoi scrivere un test come una frase, per esempio "aggiungi la maglietta al carrello e controlla che il carrello la mostri". Poi un agente AI lo esegue sul sito, come farebbe una persona. Funziona meglio se l'agente ricorda i passaggi già riusciti e se un controllo indipendente conferma l'esito.
A fine ottobre InfoQ, testata per chi sviluppa software, ha raccontato Bug0 QA Agent, una libreria della società LinearBytes. Chi scrive il test elenca i passaggi in inglese semplice, dentro Playwright, uno strumento che controlla i siti in automatico. La prima volta l'agente guarda la pagina e prova le azioni. Quando un passaggio riesce, lo salva e le volte dopo lo ripete senza chiamare l'AI.
Come funziona, in pratica?
- Scrivi i passaggi come frasi: apri il sito, scegli il prodotto, aggiungi al carrello.
- La prima volta l'agente legge la pagina e decide dove cliccare.
- Il passaggio riuscito viene salvato e ripetuto in pochi istanti, senza chiamate all'AI.
- Se il sito cambia e il passaggio salvato non funziona più, l'agente lo ricalcola e lo salva di nuovo.
- L'esito finale lo giudicano due modelli diversi, Claude e Gemini. Se non sono d'accordo, decide un terzo modello.
Ci sono dei limiti. Il salvataggio vale solo per i passaggi con una sola azione: quelli più lunghi passano dall'agente a ogni giro, e i controlli finali chiamano l'AI ogni volta. Bug0 la presenta come libreria open source. InfoQ precisa che la licenza permette di leggere e usare il codice, con limiti per chi vuole farle concorrenza nei primi due anni.
Chi lo usa già in un'azienda grande?
Epsilon, società di dati e marketing del gruppo Publicis, ha raccontato sul blog di AWS come usa Amazon Nova Act, l'agente di Amazon che lavora dentro il browser. I suoi test sono istruzioni in inglese, come "conferma che il saldo dei punti è visibile". Le può leggere anche chi non scrive codice, e reggono meglio i cambi di grafica.
Epsilon non ha buttato i vecchi test scritti in codice: li ha affiancati. Secondo le sue misure interne, un percorso di 18 passaggi si scrive in 5-10 minuti, contro 30-90 minuti per lo stesso test in codice. Una volta trovato il percorso giusto, lo salva e lo ripete, e dichiara che i percorsi salvati passano sempre. Sono numeri dell'azienda, pubblicati da AWS e non verificati da altri.
Perché conta per la tua azienda?
Se hai un e-commerce o un gestionale web, ogni aggiornamento può rompere qualcosa: il pagamento, l'accesso, l'invio del preventivo. I test automatici classici se ne accorgono, ma si rompono anche loro quando cambia un pulsante. Qualcuno li deve sistemare a mano, e spesso si smette di farlo.
Un test scritto come frase somiglia al modo in cui l'ufficio descrive il lavoro. Il responsabile commerciale può leggere "invia un preventivo di tre righe e controlla che al cliente arrivi la mail" e dire se il controllo è giusto.
Il costo va messo nel conto. Ogni chiamata all'AI ha un prezzo e richiede qualche secondo per passaggio. Per questo conta quanti passaggi si riescono a salvare e ripetere senza AI.
C'è anche un rischio: un agente può dire che un test è passato quando non lo è. Google, nel progetto PageBreak sulla sicurezza dei propri siti, conta un problema solo quando lo conferma un controllo scritto da persone. La nostra lettura: lo stesso principio vale per i test, l'AI esegue e un controllo fisso conferma, per esempio la mail arrivata al cliente o la riga salvata nel gestionale.
E noi?
Nel nostro servizio di sviluppo software il controllo qualità fa parte del lavoro, dall'analisi alla produzione. L'Oncologica LIMS, che gestiamo in produzione, ha elaborato oltre 6 milioni di campioni con un errore di scansione dello 0,5%.
Come useremmo un agente per i test: partiremmo dai due o tre percorsi che portano ordini o pratiche, accanto ai test che hai già. Ogni esito importante lo confermerebbe un controllo fisso, non solo il giudizio dell'AI.
Quindi cosa fai?
- Se il tuo sito o gestionale si rompe spesso dopo gli aggiornamenti, parti dal percorso che si rompe più spesso e scrivilo come frasi.
- Se hai già test automatici che funzionano, tienili: l'agente si aggiunge, non li sostituisce.
- Se un errore costa caro, come un pagamento o un ordine, fai confermare l'esito da un controllo fisso.
- Se i passaggi sono lunghi e cambiano spesso, misura prima quanto costano le chiamate all'AI a ogni giro.
“Un test scritto a parole lo può rileggere chi conosce il lavoro. L'esito, però, lo conferma un controllo che non sbaglia come l'AI.”
DBrothers — sui test del software fatti da un agente
Domande frequenti
Posso scrivere i test in italiano?
Gli esempi pubblicati da Bug0 e da Epsilon sono in inglese, e nessuna delle due fonti parla di test scritti in italiano. Va provato sul tuo caso prima di contarci.
Serve un programmatore?
Per installare e collegare lo strumento sì: Bug0 è una libreria per Playwright e Nova Act gira su AWS. Per scrivere e rileggere i passaggi no, ed è il vantaggio principale.
Quanto costa?
La libreria di Bug0 si scarica dal suo archivio pubblico, mentre le chiamate ai modelli AI si pagano a parte. Bug0 vende anche un servizio gestito, con un ingegnere dedicato, a partire da 2.500 dollari al mese, secondo la sua pagina prezzi.
Indica il percorso del tuo sito o gestionale che si rompe più spesso dopo un aggiornamento. Partiamo da lì per scrivere i primi test a parole e decidere come confermarne l'esito.
