«Gruste GPT-4»: Slik trener Schibsted språkmodeller
Mediekonsernet bak VG og Aftenposten har tatt språkmodellteknologi et par steg lenger enn de fleste.
Få digitale teknologier stjeler like mange overskrifter som kunstig intelligens (KI). Men visste du at teknologien også brukes til å skrive overskrifter?
– Vi bruker kunstig intelligens til å teste titler, berike metadata og til å automatisk produsere førsteutkast i programmene journalistene bruker, sier Simen Eide, leder av Schibsteds dedikerte «AI-lab».
Schibsted er mediekonsernet bak blant annet VG, Aftenposten, Bergens Tidende og Finn.no.
– Vi har brukt kunstig intelligens i Schibsted i mange år allerede – fra å personalisere forsiden av VG, til å stoppe svindelforsøk på Finn.no. Men da store språkmodeller kom, var det som det åpnet seg en pandoras eske av nye muligheter, sier Eide.
Simulerer hvordan språk fungerer
Språkmodeller er muligens en teknologi du har hørt om fra før. Enkelt fortalt er det et program som «simulerer» hvordan språk fungerer – og motoren i tjenester som ChatGPT, Gemini og Copilot.
Systemet er trent på store mengder data hentet fra internett, aviser, bøker, blogger, sosiale medier, kommentarfelt – og mye mer. Basert på alt dette treningsmaterialet kan en språkmodell skape helt nytt innhold eller løse oppgaver du ber den om å løse.
I bunn ligger det avanserte statistiske teknikker og kunstig intelligens. I en voldsom hastighet regner dette nettverket av algoritmer seg frem til det statistisk sett mest sannsynlige ordet i en setning.
– Schibsted lever av tekst. På markedsplassene er annonsene våre tekst, beskrivelser av hva folk selger, og det samme på mediesiden med artikler. Å generere og forstå tekst er viktig for oss, sier Eide.
Trente egne modeller
Men der de alle fleste stopper ved å teste ut ChatGPT, eller tilpasse lignende språkmodelltjenester i et forretningsmiljø, for eksempel gjennom Azure eller Microsofts Copilot, har Schibsted tatt det hele ett skritt videre:
– De store språkmodellene har ikke vært spesielt gode på norsk språk. De er primært trent på amerikanske datasett, og vi slet med å hente ut konkrete bruksområder, sier Eide.
Han stusset også over at de store språkmodellene som GPT, Gemini og Llama ble presentert som «ferdigtrente».
– Jeg har jobbet lenge med å trene KI-modeller. Men så kom språkmodellene, og det ble etablert at man ikke skulle trene de. Det tenkte jeg var rart, for de må jo trenes for å bli bedre?
Begge disse utfordringene tok Eide og teamet hans på strak arm. I stedet for å ta utgangspunkt i hyllevare, oppsøkte de såkalte globale modeller. Dette er open source-løsninger, som betyr at kildekoden er fritt tilgjengelig for alle – noe som innebærer at de kan videreutvikles og tilpasses fra bunnen av.
– Derfra trente vi på alle artiklene Schibsted noensinne har publisert. Og det funket helt enormt bra, sier Eide.
I en blindtest blant mediehusets journalister presterte den egenutviklede løsningen til Schibsted opptil fem ganger bedre enn ChatGPT på overskrifter.
– Vi begynte å lage VG-titler med denne interne løsningen, og den gruste GPT-4. Resultatet lignet noe man kunne sett i VG, både i format og innhold, sier Eide.
– Ikke for alle
Arbeidstittelen for den interne løsningen er SchibLM (kort for Schibsted Language Model). Dette er derimot ikke en enkelt modell. For øyeblikket består den av to ulike – en stor språkmodell og en liten – og de bytter stadig ut og tester de underliggende modellene.
– Den har samme arkitektur som open source-modellen vi starter med, med parametre som vi deretter justerer. Men vi trener de litt videre fra der de globale modellene sluttet å trene, bare på vårt eget datasett, forklarer Eide.
– Slik kan vi styre vektingen, altså hvilke faktorer som skal prioriteres. Dette gir oss helt egne muligheter til å finjustere og optimalisere for norske forhold.
Eide er samtidig tydelig på at dette ikke nødvendigvis er for alle. Å jobbe med kunstig intelligente modeller på denne måten, krever et ekstra nivå av både interesse og kompetanse.
– Jeg tror det er viktig å stille seg spørsmålet: Kan dette gjøres med GPT-4? Er det mulig å prompte en tilpasset modell? Hvis svaret er ja, bør man ta det som utgangspunkt.
– Samtidig kan det være nyttig å vite om at det er mulig å få til mye mer med språkmodeller, enn det som finnes av hyllevare i dag, legger han til.
Jobber aktivt med opplæring
Dette prosjektet inngår i en større satsning på kunstig intelligens i organisasjonen, forklarer han:
– Vi har brukt mye tid på kursing, og har et eget AI Academy. Der gjør vi opplæring på flere ulike nivåer. Vi har et introduksjonskurs som er åpent for alle, vi har spesialiserte kurs for utviklere – og så har vi egne løp for produkteiere.
– Grunnen til dette er at de som er nærmest organisasjonens behov, må ha en grunnleggende forståelse av hvordan teknologien fungerer. Slik kan de identifisere teknologiske løsninger som effektivt løser de spesifikke utfordringene vi har.
– Vi har sagt til hele organisasjonen at språkmodeller er viktige og kan hjelpe oss. Der er vi – bruk det og lær det.
– Dette er en såpass ny teknologi at ingen vet hva løsningene blir, så vi eksperimenterer med hvordan det kan forbedre produktene våre, sier Eide.
Lær mer om språkmodeller:
Mikrokurs
Hva er en språkmodell?
Lær deg det viktigste om store språkmodeller som mange KI-assistenter er bygget på.
