OpenAI ha presentato il suo “classifier“, uno strumento per distinguere tra testo scritto da umani e testo scritto da AI in un articolo pubblicato recentemente. Il “classificatore” è stato creato per combattere la diffusione di false notizie e la frode accademica.
Questo nuovo strumento è stato testato su una serie di testi in lingua inglese e ha dimostrato di avere una precisione del 26% nel riconoscere i testi scritti da AI, ma presenta anche un tasso del 9% di falsi positivi, ossia di etichettare come scritti da AI testi scritti da umani. Tuttavia, la precisione del classificatore migliora con la lunghezza del testo.
OpenAI ha deciso di renderlo pubblico per ricevere feedback sulla sua utilità, ma ha anche sottolineato le sue limitazioni: non deve essere utilizzato come strumento decisionale principale, non è affidabile su testi molto brevi o in altre lingue, e può essere ingannato dalla manipolazione del testo.
Il “classificatore” è stato addestrato su un set di dati contenente testi scritti da umani e da AI su lo stesso argomento. OpenAI ha raccolto i dati da diverse fonti, tra cui la propria piattaforma di pre-addestramento e demo su InstructGPT. Il “classificatore” è stato poi calibrato per mantenere un basso tasso di falsi positivi.
OpenAI riconosce l’importanza dell’identificazione del testo scritto da AI per l’ambiente scolastico e si è impegnata a creare una risorsa preliminare per gli insegnanti sull’utilizzo di ChatGPT e suoi limiti. L’azienda sta collaborando con gli insegnanti degli Stati Uniti per comprendere meglio le loro esigenze e limitazioni e sta cercando feedback sulla risorsa preliminare e su eventuali risorse utili per il corpo docente.
In sintesi, quello appena presentato da OpenAI è un importante strumento per combattere la diffusione di false notizie e la frode accademica, ma l’azienda sottolinea anche i suoi limiti e l’importanza di una comprensione più ampia del suo impatto sul mondo didattico e sulla società in generale.