Detecció de l’ús de xatbots?

Una professora ens comenta:

Un company em parla del detector d’IA Turnitin, que és el més fiable i el que fan servir la majoria d’universitats catalanes. Nosaltres hi podem accedir?

Els detectors de coincidències són eines utilitzades principalment en l’àmbit acadèmic per identificar similituds entre un text i altres fonts existents. Serveixen per detectar possibles casos de plagi, analitzar el grau d’originalitat d’un treball i promoure la integritat acadèmica, comparant els documents amb bases de dades de publicacions, treballs previs i continguts disponibles a la xarxa.

L’eclosió dels chatbots basats en intel·ligència artificial ha tingut un impacte significatiu en aquest sector. D’una banda, ha posat en qüestió l’eficàcia dels detectors tradicionals, ja que els textos generats per IA solen ser originals en la forma, però no necessàriament en el fons. De l’altra, ha impulsat el desenvolupament de noves eines orientades a detectar contingut generat per IA, alhora que ha obert un debat més ampli sobre l’avaluació, l’autoria i el valor pedagògic dels treballs escrits en l’educació superior.

Existeixen eines fiables de detecció de text generat per chatbot? TurnItin és fiable en aquest sentit?

Existeixen eines que intenten detectar text generat per chatbots o altres models d’IA, però cap és fiable o definitiva a hores d’ara. La recerca científica i les proves independents coincideixen que aquests detectors tenen limitacions importants i poden donar resultats incorrectes, tant de falsos positius (marcar text humà com a generat per IA) com de falsos negatius (no reconèixer text realment generat per IA).

Hi ha diverses eines al mercat que analitzen patrons lingüístics per estimar si un text ha estat creat per IA. Aquestes poden ser útils com a indicadors orientatius però no s’haurien d’utilitzar com a prova concloent per a decisions importants (p. ex. sancions acadèmiques) perquè:

• La seva precisió general no és alta i pot caure per sota del 50 % en alguns casos.
• Els textos generats per IA parafrasejats o editats són especialment difícils de detectar.
• Fins i tot textos humans complexos o amb cert estil poden ser erròniament classificats com a generats per IA.

Turnitin -conegut sobretot per detectar plagi- ha integrat eines per intentar identificar text generat per IA. Però la seva fiabilitat és limitada. Les versions actuals poden detectar certs textos generats per IA, especialment si tot el text prové directament del model LLM, però la precisió disminueix molt quan el text ha estat modificat o combinat amb aportacions humanes.

Independentment del que proclamen alguns sistemes, estudis acadèmics suggereixen que aquests detectors no són prou fiables per ser usats com a única evidència d’ús d’IA. Hi ha casos documentats en què universitats han suspès l’ús exclusiu de les eines d’IA de Turnitin degut a preocupacions per falsos positius i injustícies.

Actualment a la UVic el nostre sistema de detecció de coincidències és “Originality by Turnitin” (una plataforma que Turnitin va comprar). Però estem a punt de decidir quin contracte farem, i amb quina empresa, de cara als propers anys.

Algunes universitats han abandonat totalment aquest camp. Han decidit que els xatbots estan acabant amb el sector per complet i que l’ús d’aquests detectors ara per ara és només un factor de confusió.

En conclusió, sí, hi ha eines que ofereixen estimacions de si un text és generat per IA, però cap no és infal·lible i totes poden equivocar-se seriosament. Turnitin té funcionalitats d’IA, però la seva fiabilitat no és absoluta ni consistent, i la comunitat acadèmica recomana no basar decisions crucials només en aquestes deteccions. (Una altra cosa és el màrqueting. Turnitin, i d’altres plataformes, diuen que poden detectar l’ús de xatbots: és el seu negoci amenaçat.

En entorns educatius, si més no, recomanem combinar aquestes eines amb avaluacions pedagògiques, tutorització i disseny de tasques que requereixin pensament original.