AI och examination

Det som skiljer en AI från andra program är att den är programmerad att göra saker som ser intelligenta ut, till exempel att författa texter.

Att få en dator att komponera text är ingenting nytt, det har gjorts i årtionden. Det som är nytt och har lett till debatt det senaste året är att datorverktyg för textskapande som är tillräckligt bra för att lura en oförsiktig mänsklig läsare har blivit allmänt tillgängliga. Det mest kända verktyget är Chat-GPT, men det finns även flera andra, och utvecklingen går mycket snabbt framåt. Den här texten har ett kort bäst-före datum. 

Högskolans bedömning av studenter bygger till stor del på skrivna texter. Därför känner många lärare en oro för att studenterna skulle kunna fuska med hjälp av AI och använda verktyget som spökskrivare. Rent principiellt och juridiskt skiljer sig detta inte från användning av mänskliga spökskrivare, något som har förekommit i alla tider. Att låta en AI skriva en hemtenta är precis lika mycket fusk som att låta sin smarta kusin skriva den, och de examinationsformer som är sårbara för AI-fusk är även sårbara för kusinens hjälp. Förmodligen har vi alltid haft ett ganska stort mörkertal med hemtentor som skrivits av kusiner, makar, kompisar, och även professionella spökskrivare. AI har bara demokratiserat detta fusk och gjort det tillgängligt även för de underprivilegierade grupper som saknar smarta kusiner och inte har råd med mänskliga spökskrivare. 

Med detta sagt, hur kan en lärare agera för att hantera AI-fusk? Vi kan skilja på proaktiva åtgärder där läraren utformar examinationen på ett sätt som försvårar AI-fusk, och reaktiva åtgärder när examinationen redan är genomförd och fusk misstänks. 

Proaktiva åtgärder 1: ändra examinationsform i kursplanen 

Examinationen i en kurs ska alltid vara en genomtänkt del av kursen och möjliggöra examinators bedömning av studenternas måluppfyllelse. Risken för fusk av olika slag bör vägas in när examinationen utformas. Det betyder dock inte att fuskkänsliga examinationsformer helt ska rensas bort, ibland finns pedagogiska fördelar som överväger. 

Examinationsformer där det är mycket svårt att fuska med AI:

• Övervakad salstentamen. 
• Muntlig examination på campus. 
• Praktiska övningar där en student fysiskt ska göra eller producera något. 
  • VFU, laborationer, skapande i fysiska material...

Examinationsformer där det är ganska svårt, men inte omöjligt, att fuska med AI: 

• Onlinetentamen. 
• Muntlig examination över nätet. 
• Examinerande seminarier. 
• Film. 
• Handlett skrivande, där handledaren följer skrivprocessen. 

Examinationsformer där det är lätt att fuska med AI (eller med mänsklig spökskrivare): 

• Oövervakade skrivuppgifter (hemtentor, reflektioner, recensioner, rapporter…) 
• Digitalt skapande. 

Ett sätt att förebygga AI-fusk är naturligtvis att byta examinationsform till en mer svårfuskad. Detta kräver dock ändring av kursplanen, och kan aldrig göra i pågående kurs. 

Proaktiva åtgärder 2: ändra uppgiften så att den blir svårare för en AI 

En AI är bra på att skapa vissa typer av texter och besvara vissa typer av frågor, men betydligt sämre på andra. Man kan därför förebygga ganska mycket AI-fusk genom att helt enkelt ändra i tentafrågor och motsvarande. Undvik frågetyper som AI är bra på, och ställ i stället frågor som är svåra för AI. 

AI är ganska bra på: 

• Öppna allmänt hållna frågor: 
  • Redogör för Piagets stadieteori om barns utveckling. 
  • Hur uppkommer inflation enligt monetarismen? Vilka är de främsta för- och nackdelarna med vindkraft som energikälla? 
• Vissa typer av problemlösning: 
  • Juridiska fall. 
  • Medicinska diagnoser utifrån symtombeskrivning.
• Skapa digitala bilder och ljud/musik utifrån en allmän beskrivning, eller i en viss stil. 
• Skapa en bild med ett barn som klappar en hund. 
• Skapa en låt i en viss genre. 
• Vissa programmeringsuppgifter. 

AI är idag inte bra på: 

• Relatera till egna erfarenheter. 
• Relatera till sådant som föreläsningsinnehåll eller annat underlag som inte finns på nätet. 
• Dagsfärska frågor – en AI tar tid att träna, och därför är den inte tränad på de senaste nyheterna. ”Reflektera över den pågående debatten om hungriga skolbarn och gröt.” 
• Källhantering – ber man en AI om källor kan det bli rent hittepå. 
• Faktauppgifter – rena sakfel är vanliga i AI-texter. 
• Idiomatiska uttryck – AI tolkar dem gärna bokstavligt. 
• Vissa typer av problemlösning:
  
  • Naturvetenskapliga och tekniska problem. 
  • Andra problem som kräver figurer och beräkningar. 

Generellt är AI bättre på ”standarduppgifter”, uppgifter som allmänt används i liknande form inom ett ämne. Ju ovanligare uppgift, desto svårare för AI. Därför går det att försvåra AI-fusk genom att vara kreativ när man konstruerar uppgiften. Ju originellare uppgift, desto svårare för AI. Som en bonus blir det också svårare för studenten att hitta texter att plagiera. 

Ett tips om man är tveksam är att helt enkelt provköra sina tentafrågor i ChatGPT. Om den ger bra svar bör frågan revideras. Det ger också bra känsla för hur en AI skriver. 

Reaktiva åtgärder – hur avgöra om en inlämnad text är AI-skriven? 

Det finns tyvärr inte något helt säkert sätt att bevisa att en text är AI-skriven. Däremot finns det ganska många kännetecken som kan tala antingen för eller emot AI-fusk. 

Men till att börja med finns det några metoder och argument som inte bör användas: 

• Fråga en AI om den har skrivit texten. Det går utmärkt att mata in en text i t.ex. ChatGPT och fråga om den har skrivit texten. Ofta svarar den ja – men det svaret är helt värdelöst, för den ljuger ofta.  
• Det finns också diverse verktyg på nätet som förmodas kunna avslöja om en text är AI-skriven. Dessa har varierande träffsäkerhet, men alla ger falska positiva utslag – falska anklagelser – för ofta för att kunna användas i disciplinärenden. 
• ”Texten är för bra för att kunna ha skrivits av den här studenten.” Om du som lärare har svårt att tro att just den studenten har skrivit en så bra text kan det vara skäl att kolla lite extra på texten – men din magkänsla är inte i sig nog för en anmälan. Dessutom kan det argumentet upplevas diskriminerande. 

För att bedöma om en text är AI-skriven eller inte kan man komma ganska långt med hjälp av listan från föregående avsnitt med sådant som en AI är bra eller dålig på. Om en text innehåller bra material av de typer som en AI är dålig på att skriva är den sannolikt människoskriven. Språkbehandlingen kan också vara en ledtråd; en AI skriver normalt korrekt vårdat skriftspråk, utan talspråk eller dialekt. Man kan be ChatGPT att skriva dialekt, men resultatet blir oftast överdrivet och onaturligt. 

Tecken på att en text är människoskriven: 

• Språkliga slarvfel, stavfel, talspråk, dialekt. 
• För studenter med utländsk bakgrund: den sortens misstag som andraspråkstalare gärna gör i svenska, till exempel prepositionsfel eller fel ordföljd i bisats. 
• Idiomatiska uttryck korrekt använda. 
• Relevanta källhänvisningar med korrekta sidangivelser.  
  • I synnerhet hänvisningar till kurslitteraturen och annan ”lokal” litteratur. 
• Formaliafel är vanligare i människotext än i AI-text. 
• Trovärdiga beskrivningar av egna erfarenheter. 
  • I synnerhet om det finns konkreta detaljer som går att koppla till VFU eller liknande. 
• Hänvisningar till vad en namngiven lärare har sagt. 
• Kopplingar till dagsaktuella händelser. 

Tecken på ett en text kan vara AI-skriven: 

• Korrekt neutralt opersonligt språk. 
  • Notera dock att duktiga studenter också kan skriva så! 
• Allmänt hållen text, utan konkreta kopplingar till kursen eller egna erfarenheter. 
• Påhittade eller på andra sätt sakligt felaktiga referenser. 
  • Formaliafel tyder däremot på mänsklig författare. 
• Andra sorters påhitt och faktafel. 
  • En mänsklig författare kan göra misstag med fakta, men bara en AI ger sig på att fabulera i en tentamenstext. 
• Idiomatiska uttryck tolkas bokstavligt. 
  • Notera dock att även mänskliga författare kan missa idiom, i synnerhet om språket inte är deras modersmål. 
• Texten saknar helt sådant som AI inte är bra på. 
• Stora stilistiska skillnader mellan textavsnitt, där sådant som är lätt för en AI är skrivet på AI-typiskt sätt, medan sådant som är svårt för en AI är skrivet i mänsklig stil. 
  • Notera dock att samma effekt kan uppkomma genom legitim språkgranskning av delar av texten. 

Det går sällan att fastslå att en text är AI-skriven genom dess positiva kvaliteter, eftersom en duktig student också är bra på det som en AI är bra på. Det man kan fånga en AI på är dess misstag, och framför allt dess påhitt. Det är inte ofta som mänskliga studenter hittar på referenser eller sakuppgifter. En AI gör också andra sorters språkliga misstag, framför allt när språket inte ska tolkas bokstavligt.