– Den er ikke intelligent på noen måte

Da språkmodellen ChatGPT ble lansert mot slutten av fjoråret, fikk den millioner av brukere på rekordtid. Siden har teknologien blitt både hyllet og fordømt i media. Flere har tatt til orde for reguleringer og bremsing av utviklingen. ChatGPTs evne til å svare på alt mellom himmel og jord tok verden med storm, men for oss uten teknologisk bakgrunn byr den kanskje på flere spørsmål enn svar. For hva i all verden er ChatGPT, og er den kanskje for smart for vårt eget beste?

For å bli klokere på dette tar Universitas turen til øverste etasje av Ole-Johan Dahls hus i Forskningsparken. Her holder stipendiat David Samuel og resten av Universitetet i Oslos språkteknologigruppe til. Samuel har studert kunstig intelligens og datavitenskap, og forsker nå på hvordan man kan gjøre språkmodeller mer effektive. Han er ikke forbløffet over teknologien:

– Mange tror at ChatGPT er smartere enn det den er. Man må forstå at dette ikke er en magisk kunstig intelligens som kan svare på alle dine spørsmål.

– Hva er den da?

– Det er først og fremst en språkmodell som har blitt trent opp på data fra hele Internett.

– Og så har man gjort den bedre til å svare på spørsmål fra mennesker.

Språkmodeller er verktøy som beregner sannsynligheten for at visse ord opptrer i en tekstsekvens, forklarer Samuel. En språkmodell kan imidlertid være så mangt. ChatGPT sin oppgave er å produsere tekst basert på inputtekst fra brukeren, mens andre modeller er designet til å oversette tekst, transkribere tale eller foreslå det neste ordet i en setning.

For å utføre slike oppgaver er det nødvendig at modellen forstår mønstrene i språket vårt, slik som at visse ord oftere opptrer etter hverandre enn andre. Det bruker modellen statistikk og sannsynlighetsregning til å gjøre:

– Ideen bak språkmodellering er at du vil tildele tekst en viss sannsynlighet. Du vil at maskinen skal tenke at denne teksten er mer sannsynlig enn denne.

– Snakker folk du kjenner mer med deg om ditt forskningsfelt nå?

– Ja, før var det ganske vanskelig å forklare hva jeg forsker på. «Hva er disse rare språkmodellene og hvorfor er de nyttige?» Nå er det selvfølgelig mye lettere.

Ikke revolusjonerende

– Hva tenker du om den plutselige offentlige interessen for språkmodeller?

– Det var uforventet. Lanseringen av ChatGPT ble ikke sett på som revolusjonerende innad i vårt fagfelt. Den var bare litt bedre enn det som allerede fantes.

– Kan du ta oss med på den teknologiske reisen?

– Språkmodellering er et gammelt konsept; man begynte med det i 1948. Rundt år 2000 tok man i bruk nevrale nettverk, og det satte fart på utviklingen.

– Det neste store gjennombruddet kom i 2017, da Transformer-arkitektur ble introdusert. Da begynte man virkelig å se stor fremgang. Disse teknologiene effektiviserte språkmodellene og gjorde dem i stand til å håndtere større oppgaver og tekstmengder. Dermed kunne språkmodellene fange opp mer komplekse mønstre i språket vårt og produsere tekst som flyter bedre og høres mer naturlig ut.

Størrelsen teller

– Vi ble i stand til å trene større modeller, og de ble bare bedre og bedre. Når du oppskalerer størrelsen på disse modellene, blir de plutselig veldig gode, uten at man helt vet hvorfor. Og det er her ChatGPT kommer inn i bildet.

Selskapet bak ChatGPT, OpenAI, har de siste årene produsert flere store språkmodeller kalt GPT-er. GPT-3 er den tredje i serien, og det er den som ligger til grunn for ChatGPT. Det som skiller GPT-3 fra sine forgjengere er primært størrelsen på modellen, opplyser Samuel.

– Så ChatGPT er ikke egentlig resultat av noe vitenskapelig gjennombrudd. Det er bare det at nå som vi kan trene større modeller, blir de bedre.

Hva skyldes hypen?

Det finnes likevel andre store språkmodeller der ute, så størrelsen betyr ikke alt:

– Det som skiller ChatGPT fra andre språkmodeller er en form for ekstra trening hvor hundrevis av menneskelige trenere gir tilbakemeldinger på ChatGPTs svar. Og så prøver den å forbedre seg basert på disse tilbakemeldingene.

Slike finjusteringer gjør modellen bedre til å føre samtaler med mennesker, da den lærer seg å innrømme feil, unngå støtende innhold og gi svar som mennesker liker å få. Samuel påpeker imidlertid at ChatGPT bare var litt bedre enn det som allerede eksisterte der ute. Så hvorfor ble akkurat denne tekstroboten så populær?

– Det skyldes nok bare dens veldig gode brukergrensesnitt. Alle kan bruke den.

Nådd toppunktet

– Hvordan vil språkmodeller utvikle seg fremover?

– Vel, nå er det mye penger med i bildet, så de vil nok bli både bedre og billigere. Men for at de virkelig skal bli bedre, trengs det en revolusjonerende idé eller et vitenskapelig gjennombrudd.

Samuel utdyper:

– I løpet av det siste året eller to har utviklingen tilsynelatende nådd toppunktet. Vi kan ikke per nå trene større modeller enn de som allerede eksisterer.

– Så de største endringene vil nok ikke skje innen språkmodellering, men på de feltene hvor språkmodellene brukes. Utdanning for eksempel.

Råd til studenter

– Hva tenker du om språkmodellers betydning for utdanning?

– Det er selvfølgelig dårlig for vår nåværende tilnærming til utdanning hvis studenter bare bruker disse modellene til å jukse. Men vi kan kanskje forbedre systemet vårt ved å inkorporere ChatGPT og opplære studenter i hvordan de kan bruke det til å forbedre skriveprosessen.

– Har du noen råd til studenter her?

– Av egen erfaring kan ChatGPT være et bra verktøy når man har laget et kjapt førsteutkast. Da kan man bruke modellen til å raffinere dette, og da trenger den ikke å komme opp med faktaene selv.

– Er det mulig for universiteter å se om en oppgave er skrevet av en språkmodell?

– Ikke egentlig. Kanskje med de nåværende systemene, men i fremtiden vil du ikke kunne se at den ikke har blitt skrevet av et menneske.

– For jeg har hørt om såkalte vannmerker, som gjør at du kan se at teksten har blitt skrevet av en kunstig intelligens?

– Ja, det går ut på at man begrenser tekstproduksjonen. Men det er veldig lett å endre teksten etterpå, for eksempel ved hjelp av en mye enklere språkmodell. Så det er veldig lett å forbigå slik vannmerking, dessverre.

With great power...

Samuel tror at den økte interessen for språkmodeller medfører nye muligheter for hans fagfelt, men også mer ansvar:

– Vi bør forsøke å forklare offentligheten hva språkmodeller er, og at man burde være ganske forsiktig med hvordan man bruker dem.

– Har ChatGPT noen begrensninger som man burde være klar over?

– Det kommer an på hva du forventer av den. Den er jo ikke pålitelig for eksempel. Modellen forsøker bare å produsere menneskelignende tekst, og da kan den noen ganger finne opp fakta.

For selv om ChatGPT er imponerende, er det ingen allvitende intelligens som skjuler seg bak:

– Det er fortsatt bare en språkmodell som beregner sannsynligheten for at visse ord opptrer etter hverandre. Den imiterer bare menneskespråk. Den er ikke intelligent på noen måte.

– Ikke på noen måte?

– Det er en statistisk modell.