Hvilken AI er best på norsk? Vi målte ChatGPT, Claude og Gemini på 1 707 svar om norske bedrifter

Det korte svaret

Vi stilte 253 spørsmål om norske bedrifter til ChatGPT, Claude og Gemini — spørsmål av typen norske forbrukere og innkjøpere faktisk stiller. «Hvem er de beste eiendomsmeglerne i Bergen?» «Hva koster en regnskapsfører?» Hvert svar ble faktasjekket av tre dommermodeller fra tre ulike leverandører, mot et faktagrunnlag hentet inn på forhånd. Måle-ID: m-full-2026-07-30.

ChatGPT svarer mest presist: 2,40 av 3, mot Claudes 2,18 og Geminis 1,86. Forskjellene er statistisk sikre, og rekkefølgen står seg under alle åtte dommervalg vi testet — også når Googles egen modell dømmer alene.

På hallusinasjon er ChatGPT og Claude ikke til å skille fra hverandre. Gemini er dårligere enn begge.

Det er en annen konklusjon enn i forrige runde. Metoden er lagt om siden da, og vi går gjennom hva som er endret og hva endringene gjør med tallene.

To funn til er store nok til egne artikler:

• Plattformene deler bare 8,3 % av kildene sine, og de har hver sin gjenkjennelige kildeprofil — myndigheter, registre, medier.
• Samme spørsmål stilt to ganger gir bare en tredjedels overlapp i hvilke selskaper som nevnes. AI-synlighet må måles som frekvens, ikke som øyeblikksbilde.

Hele kildeanalysen → del 3 i GEO-serien

Hvorfor enkeltsvar er en trekning → del 4

Slik målte vi denne gangen

253 spørsmål fordelt på elleve bransjer: advokat, eiendomsmegler, regnskap, bank og forsikring, helseklinikk, håndverker, rekruttering, IT-konsulent, markedsføring, AI-markedsføring, nettbutikk. Tre spørsmålstyper: navngitte (88), sammenlignende (88) og informasjonelle (77).

Tre plattformer: gpt-5.6-sol, claude-opus-5 og gemini-3.1-pro-preview, alle med web-søk påslått. To kjøringer per spørsmål, pluss en tredje på et tilfeldig utvalg på 25 % som lar oss måle hvor mye samme spørsmål varierer mellom kjøringer. 569 svar per plattform, 1 707 totalt, 100 % coverage — ingen manglende celler.

Ett faktagrunnlag per spørsmål, hentet én gang. I v1 gjorde faktasjekkeren et nytt websøk for hver verifisering. Da varierer fasiten mellom plattformene, og forskjellen man måler er delvis forskjellen i hva faktasjekkeren tilfeldigvis fant. Nå bygges faktagrunnlaget først, og alle tre plattformer og alle tre dommere vurderes mot nøyaktig samme grunnlag.

Tre dommere fra tre leverandører — Sonnet 5 (Anthropic), Gemini 3.6 Flash (Google) og GPT-5.6 (OpenAI). Publisert score er medianen av de tre.

Hovedmetrikken er hallusinasjon per navngitt enhet, ikke rå alvorlighetsscore. Et langt svar som nevner tjue selskaper og bommer på ett er mer pålitelig enn et kort svar som nevner to og bommer på ett — rå score sier det motsatte.

Hvorfor tre dommere

Fordi én dommer ikke kan skille mellom «dette svaret er dårlig» og «jeg liker ikke dette svaret».

Vi målte hjemmefavorisering direkte, ved å sammenligne hver dommers avvik fra panelmedianen når den vurderer sin egen leverandørs plattform mot når den vurderer andres:

Google-dommeren gir Gemini 0,26 poeng mer enn den gir konkurrentene. Anthropic-dommeren er strengere mot Claude enn mot andre. OpenAI-dommeren er nøytral.

Det avgjørende: Gemini kommer sist selv med Googles egen modell i panelet. Med én dommer ville vi ikke kunnet si det.

Når dommerne er uenige

De tre dommerne bruker skalaen svært ulikt:

Google-dommeren finner ingen hallusinasjon i fire av fem svar. Anthropic-dommeren finner noe å utsette på i ni av ti. De leser de samme 1 707 svarene. Rå spredning mellom slike dommere måler derfor mest av alt hvem som dømte.

Vi standardiserer på hver dommers egen skalabruk før vi måler uenighet. Da står 27,4 % igjen som reell uenighet — 467 av 1 707 svar der tre kompetente bedømmere leser det samme svaret og lander ulikt.

Det tallet er i seg selv et funn. En firedel av vurderingene av AI-svar er skjønnsspørsmål. En benchmark med én dommer rapporterer et presist tall som skjuler at en firedel av grunnlaget er omstridt.

De 467 sakene gikk til en ankeinstans — Opus 5, som fikk se alle tre votumene sammen med faktagrunnlaget og avgjorde. Det er ikke en fjerde stemme: den har sett de andres arbeid, og å telle den som likemann ville vektet samme informasjon to ganger. (Ankeinstansen er fra samme leverandør som én av dommerne. Det er en reell innvending. Motargumentet er ikke en forsikring, men robusthetstabellen lenger ned: rangeringen er den samme også helt uten ankeinstans.)

Resultater

Med paret bootstrap på promptnivå, 4 000 resamplinger. Accuracy — alle tre forskjeller er sikre:

Hallusinasjon per enhet — her deler resultatet seg:

Altså: ChatGPT er mest presis. På hallusinasjon er ChatGPT og Claude likeverdige. Gemini er dårligere enn begge på begge mål.

Forrige runde målte hallusinasjon som rå alvorlighetsscore, og ga Claude dobbelt så høy rate som ChatGPT. Normalisert per navngitt virksomhet forsvinner mesteparten av forskjellen, og konfidensintervallet viser at resten ikke er til å skille fra null. Forskjellen fulgte av at Claude navnga flere selskaper per svar — ikke av at Claude bommer oftere.

Er rangeringen en egenskap ved svarene, eller ved dommerne?

Det er den innvendingen som betyr noe, og den fortjener et tall og ikke en forsikring. Vi regnet derfor ut rangeringen på nytt under åtte forskjellige dommervalg — hver dommer alene, hvert panel med én dommer fjernet, og med og uten ankeinstans:

Rekkefølgen er den samme i alle åtte. Også når Googles egen modell dømmer alene — den som favoriserer Gemini med 0,26 poeng — kommer Gemini sist.

Legg samtidig merke til hvor mye nivået flytter seg: Gemini får 1,32 av Anthropic-dommeren og 2,68 av Google-dommeren. Det er over halvparten av skalaen, på de samme svarene.

Derfor publiserer vi rangeringer og differanser, ikke absolutte karakterer. «Gemini fikk 1,86» er ikke en egenskap ved Gemini — det er en egenskap ved Gemini målt med akkurat dette panelet. At Gemini kommer sist er derimot en egenskap ved svarene, og det tåler at man bytter ut dommerne.

Hvor det går galt

Hallusinasjon per enhet, per bransje, snitt over alle tre plattformer:

Eiendomsmegling er nesten tre ganger så feilutsatt som netthandel. Mistanken vår er at det handler om hva slags informasjon som finnes offentlig og strukturert: en nettbutikk har priser og vilkår på nett, mens en meglers faktiske provisjonssats og salgsstatistikk sjelden er tilgjengelig — så modellen fyller inn. Det er en hypotese. Vi har ikke testet den.

GEO-funnene i kortform

Denne målingen er en GEO-indeks, ikke bare en kvalitetstest — den logger hvilke kilder som siteres og hvilke selskaper som nevnes. De to store funnene har fått egne artikler; her er tallene i kortform.

Kildene: 74,7 % av siteringene går til norske domener, fordelt på 2 735 siterte kilder. Finansavisen, Finn og Proff topper — men sammenligningstjenester som Smartbyra og Bytt siteres som autoriteter på linje med riksmedia. Plattformene deler bare 8,3 % av kildegrunnlaget og har systematisk ulike profiler: ChatGPT leser myndigheter, Claude leser registre, Gemini leser aviser.

Hele analysen, med sjekkliste for bedrifter → del 3

Stabiliteten: identiske spørsmål gir 34–38 % overlapp i hvilke selskaper som nevnes mellom to kjøringer. Enkeltsvar er trekninger; bare frekvens over gjentatte kjøringer er en måling. Det er grunnen til at denne benchmarken kjører hvert spørsmål flere ganger og rapporterer konfidensintervaller.

Hele funnet → del 4

Konsentrasjonen: de fem mest omtalte aktørene i hver bransje tar bare 6–16 % av omtalene, målt over 611–1 164 navngitte aktører per bransje. Ingen norsk bransje er låst — eiendomsmegling er trangest, markedsføring mest åpen.

Merkevarene: i sammenlignende spørsmål nevner Claude bransjens forventede aktører i 96,6 % av svarene, Gemini i 94,6 % — ChatGPT bare i 81,2 %. Minst forutsigbar, og dermed størst åpning for utfordrere.

Fra v1 til runde 2: hva som er endret i metoden

NorGEO-Bench v1.0 kom i april 2026, med samme spørsmålssett, men en enklere målemetode: én verifikator, intet felles faktagrunnlag, og én felles svarlengde-grense for alle plattformer. Hovedfunnet der var at Claude hallusinerte dobbelt så mye som ChatGPT — 0,82 mot 0,50 i alvorlighetsgrad. Det funnet står seg ikke under runde 2-metoden. Fem endringer forklarer hvorfor, og metoden er poenget med denne rapporten.

• Hallusinasjon måles nå per navngitt virksomhet, ikke som rå score. Claude navnga 54 % flere selskaper per svar enn ChatGPT, og flere navn gir flere sjanser til å bomme. Normalisert forsvinner mesteparten av forskjellen — og Gemini, som så best ut på rå score, kommer dårligst ut.
• Svarlengden settes nå per plattform. Én felles token-grense gjorde at 52 % av Claude-svarene traff taket i v1, mot 21 % av ChatGPT-svarene, så scorene ble regnet på delvis ufullstendige svar — med skjevhet mellom nettopp de to plattformene hovedfunnet handlet om.
• Gemini-kolonnen har nå full dekning. I v1 feilet 67 % av kallene på kvotegrense, og av dem som gikk gjennom svarte 248 av 250 uten å søke på nettet. Kolonnen het «Gemini», men målte i praksis en modell uten nettilgang. Runde 2 har 569 Gemini-svar, alle med web-søk.
• Én verifikator er byttet ut med et dommerpanel fra tre leverandører. I v1 var verifikatoren claude-opus-4-6 — samme modellfamilie som produserte en av kolonnene den dømte. Panelet gjør hjemmefavorisering målbar i stedet for usynlig; tabellen lenger oppe viser hvor stor den faktisk er.
• Kildegrafen leser nå plattformenes egne siteringsfelt. I v1 viste den hvilke nettsider vår egen faktasjekker hadde slått opp i. De ekte siteringene lå i rådataene hele tiden, og brukes nå.

Hele endringsloggen — 13 punkter, med spørringene som dokumenterer hvert enkelt — ligger i det åpne datasett-repoet.

En benchmark som ikke tåler å bli etterprøvd av sin egen forfatter, er ikke en benchmark. Derfor er v1 arkivert med rådataene intakt, i stedet for stille skrevet om.

Habilitet

m51 lager denne rapporten og selger tjenester innen AI-synlighet. Det er en interessekonflikt, ikke et hypotetisk problem, og her er hva vi har gjort med den.

Vi krysssjekket hele spørsmålsuniverset mot vårt eget CRM — 799 selskaper i stadium «kunde» eller «aktiv salgsdialog», maskinelt, med lagret øyeblikksbilde og loggført resultat. Regelen dekker med vilje prospekter og ikke bare signerte kunder: et prospekt er nettopp den man kunne fristes til å påvirke med et benchmarkresultat.

Ett av spørsmålene scoret vår egen synlighet. «Finnes det norske AI-verktøy for markedsføring?» hadde m51 på listen over forventede aktører, slik at merkevaremetrikken delvis målte om AI-en nevner oss. Effekten på totalen er neglisjerbar — 151 mot 149 målbare svar — men spørsmålet er likevel tatt ut av den metrikken. Se F44 i endringsloggen.

97 spørsmål-aktør-par treffer selskaper i vårt CRM, blant dem Thommessen, DNB, Krogsveen, Volvat og Notar. Disse er ikke fjernet, og skal ikke fjernes: selskaper kan holdes utenfor spørsmålene, men ikke ut av svarene. En modell som blir spurt om private helseklinikker nevner Volvat uansett hva vi spør om. Å filtrere dem ut av omtaledataene ville forvrengt målingen mer enn det ville beskyttet den.

Lead-stadiet er bevisst utelatt fra eksklusjonsregelen. CRM-et har 13 929 selskaper, hvorav rundt 13 100 er bulk-importerte prospektlister uten kontakt — Adecco, Aker ASA og Oslo kommune ligger der. Å ekskludere dem ville gjort en norsk markedsbenchmark umulig.

Begrensninger

Absolutte karakterer er ikke publisert, og det er med vilje. De samme 1 707 svarene får snitt 1,52 av Anthropic-dommeren og 2,79 av Google-dommeren. Et tall som «Gemini fikk 1,86» er derfor en egenskap ved målingen, ikke ved Gemini. Rangeringer og differanser er robuste; nivåene er det ikke.

Den menneskelige kalibreringen er foreløpig tynn. Ti svar ble vurdert manuelt av en leser hos m51, og panelet er rundt 0,9 poeng strengere enn den leseren. Men fordi samtlige ti fikk toppkarakter av mennesket, har fasiten ingen varians — sammenligningen sier hvem av dommerne som er mildest, ikke hvem som dømmer best. En bredere kalibrering står på planen.

Det som bærer rangeringen, er robusthetstesten over: samme rekkefølge under åtte forskjellige dommervalg, inkludert hver dommer alene.

Seks av ti hovedfunn avhenger ikke av dommere i det hele tatt. Kildeoverlapp, norskandel, toppdomener, grounding-rate, merkevareomtale og svarstabilitet er parset direkte fra API-svarene. De berøres verken av at panelet er strengt eller mildt. Det gjelder blant annet de to funnene vi mener er viktigst for norske bedrifter.

Ingen kontrollprompts. Vi har ikke spurt om bedrifter som ikke finnes. Det er den hardeste hallusinasjonstesten som finnes — «i X % av tilfellene diktet modellen opp detaljer om et selskap som ikke eksisterer» — og vi har den ikke i denne målingen. Den står på planen.

Ingen nynorsk. Om språkform påvirker svarkvaliteten er et selvstendig norsk spørsmål som ingen internasjonal benchmark kommer til å svare på. Også det står på planen, ikke i tallene.

Entitetsuttrekket kommer fra dommerne. Hvem som nevnes i et svar er hentet fra dommernes lesning, ikke fra en regelbasert parser. Konsentrasjonstallene per bransje arver derfor dommernes eventuelle systematikk. Kildetallene gjør ikke det — de kommer fra plattformenes egne siteringsfelt.

Målingen er et øyeblikksbilde. 1. august 2026, med de modellversjonene som er oppgitt. Gitt at samme spørsmål gir en tredjedel overlapp fra kjøring til kjøring, bør ingen enkeltmåling — heller ikke vår — leses som en fasit på hvor en enkelt bedrift står.

Målingen kostet 490 dollar i API-bruk fordelt på 7 603 kall, hvorav 62,9 % gikk gjennom leverandørenes batch-API til halv tokenpris. Uten batching ville den ikke fått plass i budsjettet.

Reproduserbarhet

Alle tall i denne artikkelen kommer fra én kommando mot den publiserte databasen:

python scripts/analyze.py m-full-2026-07-30

Måle-ID, modellversjoner, kodens git-SHA, kallplan og dommeroffsets er lagret som del av målingen. Publiseringen er sperret bak en gate som krever full coverage, tre leverandører i panelet, avkutting under tak og uløst dommeruenighet under terskel.

Datasettet er åpent: dervig/NorGEO-Bench på Hugging Face (v2-dataene ligger i v2/-katalogen)

NorGEO-Bench er en løpende indeks fra m51 Lab, ikke en kvartalsrapport. Adressen er den samme hver gang; tallene er «slik er situasjonen nå», og måle-ID-en m-full-2026-07-30 peker på akkurat dette øyeblikksbildet. Spørsmål om metoden, dataene eller hva tallene betyr for din bransje: [email protected].

Søk opp din egen bedrift i den interaktive benchmark-siden

Ny i GEO? Les pilarartikkelen: Hva er GEO?