Presisjon
Ekte.ai kan oppdage tekst generert med de ledende AI verktøyene som ChatGPT og Anthropic AI med en suksessrate på mellom 30-96%, og med en svært lav grad av falske positiver (0,5%). Tjenesten er laget med tanke på å først og fremst minimere falske positiver og deretter å ha så høy presisjon som mulig. Hvor god Ekte.ai er til å gjenkjenne AI generert tekst avhenger av hvor sammenblandet den AI genererte teksten er med original tekst, struktur på teksten og språk. Graden av falske positiver holder seg stabilt lav uavhengig av disse faktorene.
I tillegg er Ekte.ai i stand til å oppdage original tekst som er omskrevet med bruk av kunstig intelligens og AI-generert tekst som er forsøkt maskert med verktøy for parafrasering slik som Quillbot.
Måten Ekte.ai utfører målingene på er ved hjelp av maskinlæring og et treningssett med tekster som inneholder både ekte og AI-generert tekst. Dette gjør at programvaren kan lære seg å gjenkjenne de forskjellige mønstrene og karakteristikkene som er typiske for AI-generert tekst. Vi har forskjellige modeller for norsk bokmål og engelsk og graden av presisjon vil dermed variere fra språk til språk.
Selv om Ekte.ai har en suksessrate på 30% - 96% når det gjelder å oppdage AI-generert tekst, er det viktig å merke seg at det fortsatt kan være en risiko for falske positiver. Dette betyr at det er mulig at Ekte.ai kan feilaktig identifisere en tekst som AI-generert når den egentlig er skrevet av et menneske. Vi har klart å redusere dette til omtrent 0,5% for norsk og engelsk per 16. oktober 2024.
Merk at dette betyr som oftest at kun mindre deler av en tekst blir markert som “Sannsynligvis AI” ved en feil, på samme måte som at man kan få matcher med en plagiatkontroll som ikke nødvendigvis stemmer. Det er derfor viktig å alltid foreta en egen vurdering og gjennomgå tekst som er markert som “Sannsynligvis AI”, på samme måte som man forholder seg til plagiatkontroll. Nedenfor følger noen råd for hvordan man kan bli sikrere på at det faktisk er misbruk av kunstig intelligens som har blitt fanget opp.
Hvordan gjøre sikre vurderinger
Dersom tekst blir markert som “Sannsynligvis AI” kan man ta følgende vurderinger for å ta en sikrere konklusjon:
Omfang i teksten - Desto mer tekst som blir markert som Kanskje AI innad i en tekst, desto større sannsynlighet er det for at teksten er generert med kunstig intelligens.
Omfang på tvers av tekster - Dersom flere tekster skrevet av samme person gir utslag for at det kan være skrevet av kunstig intelligens, jo sikrere kan man være på at det ikke er en falsk positiv.
Formatet til teksten - Ekte.ai er best på å undersøke typiske skoleoppgaver slik som rapporter, essay, fagtekster, analyser og oppgavebesvarelser. Dersom det brukes til å undersøke dikt, manus eller liknende type tekster med mer oppstykket struktur burde man ha lavere tillitt til Ekte.ai sin vurdering.
Oppfølgingsspørsmål - Desto mer tekst som blir markert som Kanskje AI innad i en tekst, desto større sannsynlighet er det for at teksten er generert med kunstig intelligens.