Hvorfor én ChatGPT-test ikke er nok

Det enkleste du kan gjøre er å åpne ChatGPT og spørre:

Hva vet du om virksomheten min?

Jeg anbefaler faktisk å gjøre det.

Men ikke forveksle testen med en baseline.

Problem 1: Du ga AI navnet

Et direkte spørsmål kan fortelle mye om hvordan systemet håndterer en kjent virksomhet.

Det sier mindre om hva som skjer når kunden ikke kjenner navnet.

Direkte forståelse og anonym discovery er to ulike situasjoner.

Problem 2: Ett spørsmål dekker bare ett behov

En virksomhet kan ønske å være relevant for flere tjenester, målgrupper eller problemer.

Én prompt representerer bare ett mulig utsnitt.

Derfor må du først definere hva virksomheten faktisk ønsker å bli funnet for.

Før du ser resultatet.

Ellers er det altfor lett å lage spørsmålet etterpå slik at det gir svaret du ønsker.

Problem 3: Generative svar varierer

Samme spørsmål kan gi ulike svar på ulike tidspunkt eller i ulike kjøringer.

Det gjør ikke systemene tilfeldige i enhver forstand.

Men det betyr at ett screenshot er et svakt grunnlag for store konklusjoner.

AI Discovery Check gjentar derfor de definerte områdene.

Målet er ikke å finne «sannheten om ChatGPT».

Målet er å se om en observasjon går igjen.

Problem 4: Providerne er forskjellige

ChatGPT, Claude og Perplexity kan gi forskjellige svar.

Det er ikke støy vi skal skjule.

Noen ganger er det selve funnet.

I stedet for én totalscore vil vi heller kunne si:

Dette skjedde i ChatGPT.

Dette skjedde i Claude.

Dette skjedde i Perplexity.

Problem 5: Spørsmålet kan være feil

Dette lærte vi tidlig.

Et begrep i et av områdene kunne tolkes på en annen måte enn vi mente.

Da ville det vært enkelt å registrere et negativt resultat og kalle det et synlighetsproblem.

Men problemet lå i måleinstrumentet.

Det er en viktig forskjell:

Når resultatet ser dårlig ut, må vi først kontrollere at vi faktisk målte det vi trodde vi målte.

En enkel minimumsmetode

Hvis du skal teste manuelt:

1. Definer 3 til 5 områder virksomheten faktisk ønsker å være relevant i.
2. Formuler spørsmålet uten virksomhetsnavnet.
3. Behold ordlyden.
4. Test mer enn én gang.
5. Test mer enn ett AI-system.
6. Dokumenter dato og system.
7. Skill «nevnt» fra «ikke nevnt».
8. Ikke forklar årsaken uten egen evidens.

Det er fortsatt ikke en full forskningsmetode.

Men det er bedre enn et screenshot.