Kapittel 303 / 10

Hvordan AI finner informasjon til svarene sine

Kort svar: Det finnes ikke én felles «LLM-indeks». Ulike AI-produkter kombinerer modellkunnskap, egne eller eksterne søkeindekser, live retrieval og kilder på forskjellige måter. Derfor er «hvordan blir vi indeksert av AI?» et for grovt spørsmål.

Kapittel 3 av 10

Kortversjonen

  • Det finnes ingen universell «LLM-indeks».
  • Trening og search/retrieval er forskjellige prosesser.
  • Crawlbarhet er teknisk adgang, ikke garanti for citation.
  • Providerne bør behandles separat.
  • God innholdsstruktur hjelper både mennesker og systemer å forstå hva en side faktisk handler om.

Dette er et av de mest misforståtte områdene i diskusjonen om AI-synlighet.

Vi snakker ofte om ChatGPT, Claude, Perplexity og Google som om de er fire grensesnitt til samme system.

Det er de ikke.

Først: trening er ikke det samme som søk

En språkmodell kan ha informasjon fra trenings- og utviklingsprosessen.

Men et moderne AI-produkt kan også hente informasjon når spørsmålet stilles.

De to tingene må holdes fra hverandre.

OpenAI dokumenterer for eksempel to separate roboter:

  • OAI-SearchBot brukes til søk og til å kunne vise nettsteder i ChatGPT Search.
  • GPTBot er knyttet til mulig bruk av webinnhold i modelltrening.

OpenAI sier eksplisitt at disse valgene kan styres separat.

Det betyr at et nettsted kan tillate søkecrawling samtidig som det velger en annen policy for trening.

DOKUMENTERT: Search-crawling og modelltrening er separate formål hos OpenAI.

Anthropic skiller også mellom tre jobber

Anthropic dokumenterte 7. april 2026 tre forskjellige roboter:

  • ClaudeBot for innsamling som kan bidra til modelltrening
  • Claude-User for innhold som hentes på brukerens initiativ
  • Claude-SearchBot for å forbedre søk og søkeresultater

Anthropic opplyser at disse følger robots.txt.

Det er et godt eksempel på hvorfor en enkel regel som «blokker AI-bots» kan være for upresis.

Du må først vite hva boten gjør.

Perplexity beskriver en egen søkeindeks

Perplexity beskriver sin Search API som bygget på en egen internettskala søkeinfrastruktur.

Selskapet sier at systemet kombinerer indeksering, hybrid retrieval, flertrinns ranking og en innholdsforståelsesmodul som analyserer dokumenter og mindre seksjoner.

Perplexity opplyser også at PerplexityBot er deres søkecrawler og følger eksplisitte begrensninger i robots.txt.

Et interessant poeng i deres tekniske dokumentasjon er at AI-retrieval ikke bare handler om hele dokumenter.

For en modell med begrenset kontekst kan en relevant seksjon eller et avsnitt være mer nyttig enn en hel side.

Det er en grunn til at god informasjonsstruktur betyr noe.

Ikke fordi H2-taggen er en hemmelig rankingfaktor.

Men fordi tydelig struktur gjør det lettere å isolere hva en del av siden faktisk handler om.

Google bruker Search-indeksen

Google er annerledes fordi AI Overviews og AI Mode er en del av Google Search.

Google sier at de vanlige SEO-prinsippene fortsatt gjelder, og at det ikke finnes ekstra tekniske krav eller en egen AI-markup for å være med i AI Overviews eller AI Mode.

For å kunne vises som en støttende lenke må siden være indeksert i Google Search, kvalifisert til å vises med snippet og tilgjengelig for Googlebot.

Google beskriver også query fan-out, der AI-funksjonene kan gjøre flere relaterte søk og finne støtte fra flere sider.

DOKUMENTERT: Google sier selv at du ikke trenger en egen AI-fil eller et eget AI-schema for å vises i AI Mode og AI Overviews.

En enkel modell for hvordan et svar kan bli til

Vi kan derfor bruke denne pedagogiske modellen:

1. Brukeren stiller et spørsmål

Systemet må tolke intensjonen.

2. Systemet avgjør om det trenger fersk eller ekstern informasjon

Ikke alle svar krever live web.

3. Systemet søker eller henter kandidatkilder

Mekanismen varierer mellom leverandørene.

4. Relevante dokumenter eller deler av dokumenter velges

Kilden må først være tilgjengelig nok til å kunne vurderes.

5. Modellen setter sammen et svar

Svar kan syntetisere informasjon fra flere kilder.

6. Noen produkter viser citations eller lenker

At en side er crawlbar betyr ikke at den automatisk blir valgt eller sitert.

Det finnes ikke én LLM-optimalisering

Dette gir en viktig konsekvens.

Når noen sier:

Vi skal indeksere dere i LLM-ene.

bør første spørsmål være:

Hvilket system, og hva mener du med indeksert?

Google Search har en indeks.

Perplexity beskriver en egen search index.

OpenAI og Anthropic dokumenterer egne søkecrawlere og brukerrettet retrieval.

Trening er en annen prosess.

Det finnes derfor ingen enkelt knapp som gjør en side «LLM-indeksert overalt».

Crawler-matrisen

System Search / retrieval Trening Hva betyr det for nettstedet?
Google Search Googlebot og Search-indeksen Separat Google-Extended-kontroll for enkelte andre AI-bruksområder Google sier vanlig SEO og indeksering gjelder også AI Mode og AI Overviews
ChatGPT OAI-SearchBot GPTBot OpenAI lar nettstedseier styre søk og trening separat
Claude Claude-SearchBot og Claude-User ClaudeBot Anthropic skiller mellom search, brukerhenting og trening
Perplexity PerplexityBot og egen søkeinfrastruktur Ikke behandlet som én samlet mekanisme her PerplexityBot må kunne nå offentlig innhold du ønsker i deres søk

Viktig: botnavn og leverandørpolicyer kan endres. Denne tabellen er datert oktober 2026 og må vedlikeholdes.

Kilder

Les videre