Un recente studio pubblicato su bioRxiv ha evidenziato come ChatGPT, l’Intelligenza Artificiale del momento, sia in grado di generare abstract di ricerche scientifiche così convincenti da essere spesso scambiati per veri dagli esperti del settore. Questo fatto solleva preoccupazioni circa le implicazioni per la Scienza e la necessità di stabilire dei limiti etici (Microsoft, IBM e le principali religioni ci stanno già pensando) nell’utilizzo di queste tecnologie.
La prova della Northwestern University
ChatGPT è infatti in grado di generare un testo realistico e intelligente in risposta ai prompt degli utenti. Il chatbot è un “large language model“, ovvero un sistema basato su reti neurali in grado di apprendere un compito analizzando grandi quantità di testo generato dagli esseri umani. Dopo il lancio avvenuto a fine novembre, molti ricercatori si stanno confrontando con le questioni etiche legate all’utilizzo di ChatGPT, poiché gran parte del suo output risulta difficile da distinguere dal testo scritto dagli esseri umani. Un gruppo di ricercatori della Northwestern University di Chicago, guidato da Catherine Gao, ha così deciso di utilizzare il chatbot per generare abstract di ricerche scientifiche per verificare se gli esperti del settore fossero in grado di riconoscerli come falsi.
I ricercatori hanno chiesto al chatbot di generare 50 abstract di ricerche mediche basati su una selezione pubblicata in riviste scientifiche come JAMA, The New England Journal of Medicine, The BMJ, The Lancet e Nature Medicine. Successivamente, hanno confrontato questi abstract con quelli originali utilizzando un detector di plagio e un detector di output AI, e hanno chiesto ad un gruppo di ricercatori medici di individuare gli abstract falsi.
I risultati del test
I risultati hanno dimostrato che gli abstract generati da ChatGPT sono passati attraverso il detector di plagio con un punteggio medio di originalità del 100%, il che indica che non è stato rilevato alcun plagio. Il detector di output AI ne ha individuati il 66%, mentre i revisori umani hanno individuato correttamente solo il 68% degli abstract generati e l’86% degli abstract originali. Inoltre, hanno identificato in modo errato il 32% degli abstract generati come reali e il 14% degli abstract originali come generati. Questi risultati sollevano preoccupazioni circa la possibilità che la ricerca falsa possa essere diffusa e utilizzata come base per decisioni politiche e scientifiche errate. Tuttavia, alcuni esperti sostengono che è poco probabile che gli scienziati utilizzeranno ChatGPT per generare abstract di ricerche e che la questione principale non è se gli abstract generati possono essere individuati, ma se possono essere precisi e convincenti. Inoltre, c’è preoccupazione per la dipendenza dai modelli di linguaggio per la ricerca scientifica, poiché questi modelli sono addestrati su informazioni passate e il progresso sociale e scientifico spesso può derivare dal pensare in modo diverso dal passato.
Gli autori dello studio suggeriscono che coloro che valutano le comunicazioni scientifiche, come i paper e i lavori presentati a conferenze, dovrebbero stabilire politiche per identificare e prevenire l’utilizzo scorretto di strumenti come ChatGPT. In sintesi, questo studio dimostra che le tecnologie di AI possono generare testo realistico e plausibile, sollevando preoccupazioni per la diffusione di ricerca falsa e l’utilizzo di informazioni errate nelle decisioni politiche e scientifiche. Sarà importante stabilire politiche e procedure per identificare e prevenire l’utilizzo scorretto di queste tecnologie in ambito scientifico.
