A pochi giorni dalla presentazione dei nuovi modelli o3 e o4-mini, la società OpenAI, fondata da Sam Altman, ha lanciato un’allerta riguardo ai nuovi modelli di linguaggio. Secondo i risultati di alcuni test interni, questi modelli risultano essere più inclini a generare allucinazioni, errori e affermazioni inventate. La notizia è emersa nei giorni scorsi, suscitando preoccupazione tra gli esperti del settore.
I test condotti su o3 e o4-mini, i più recenti modelli di ragionamento sviluppati da OpenAI, hanno rivelato un incremento significativo del tasso di allucinazioni rispetto ai modelli precedenti, come o1, o1-mini e o3-mini, oltre che rispetto a modelli tradizionali come GPT-4o. I dati mostrano che o3 ha raggiunto un tasso di allucinazioni del 33% nelle domande su PersonQA, mentre o4-mini ha registrato un tasso ancora più elevato, con il 48% dei casi. In confronto, i modelli o1 e o3-mini avevano tassi di allucinazioni rispettivamente del 16% e 14,8%.
Il fatto che i nuovi modelli mostrino un tasso di errore così elevato ha sollevato interrogativi. OpenAI ha dichiarato che non è ancora chiaro il motivo di questo fenomeno. Nel rapporto tecnico relativo a o3 e o4-mini, la compagnia ha sottolineato che sono necessarie ulteriori ricerche per comprendere le cause di un tale incremento delle allucinazioni in relazione alla scalabilità dei modelli di ragionamento.
Un’ipotesi avanzata da OpenAI suggerisce che, sebbene o3 e o4-mini offrano prestazioni migliori in specifiche aree, tendono a generare un numero maggiore di affermazioni, il che può portare a un aumento sia delle affermazioni corrette che di quelle imprecise o allucinate. Questo potrebbe spiegare in parte il motivo per cui i nuovi modelli mostrano un tasso di errore più elevato.
Niko Felix, portavoce di OpenAI, ha dichiarato in una e-mail inviata a TechCrunch che la compagnia sta attivamente lavorando per affrontare il problema delle allucinazioni in tutti i suoi modelli. Ha sottolineato che il miglioramento dell’accuratezza e dell’affidabilità dei modelli è un’area di ricerca in continua evoluzione.
Con l’avanzare della tecnologia e l’implementazione di modelli sempre più complessi, la sfida di garantire l’affidabilità delle informazioni generate rimane cruciale. La comunità di esperti e sviluppatori attende con interesse i futuri sviluppi e le soluzioni che OpenAI e altre aziende del settore potrebbero adottare per ridurre il fenomeno delle allucinazioni nei modelli di intelligenza artificiale.