Kapittel 303 / 10
Hvordan AI finner informasjon til svarene sine
Kort svar: Det finnes ikke én felles «LLM-indeks». Ulike AI-produkter kombinerer modellkunnskap, egne eller eksterne søkeindekser, live retrieval og kilder på forskjellige måter. Derfor er «hvordan blir vi indeksert av AI?» et for grovt spørsmål.
Kapittel 3 av 10
Kortversjonen
- Det finnes ingen universell «LLM-indeks».
- Trening og search/retrieval er forskjellige prosesser.
- Crawlbarhet er teknisk adgang, ikke garanti for citation.
- Providerne bør behandles separat.
- God innholdsstruktur hjelper både mennesker og systemer å forstå hva en side faktisk handler om.
Dette er et av de mest misforståtte områdene i diskusjonen om AI-synlighet.
Vi snakker ofte om ChatGPT, Claude, Perplexity og Google som om de er fire grensesnitt til samme system.
Det er de ikke.
Først: trening er ikke det samme som søk
En språkmodell kan ha informasjon fra trenings- og utviklingsprosessen.
Men et moderne AI-produkt kan også hente informasjon når spørsmålet stilles.
De to tingene må holdes fra hverandre.
OpenAI dokumenterer for eksempel to separate roboter:
- OAI-SearchBot brukes til søk og til å kunne vise nettsteder i ChatGPT Search.
- GPTBot er knyttet til mulig bruk av webinnhold i modelltrening.
OpenAI sier eksplisitt at disse valgene kan styres separat.
Det betyr at et nettsted kan tillate søkecrawling samtidig som det velger en annen policy for trening.
DOKUMENTERT: Search-crawling og modelltrening er separate formål hos OpenAI.
Anthropic skiller også mellom tre jobber
Anthropic dokumenterte 7. april 2026 tre forskjellige roboter:
- ClaudeBot for innsamling som kan bidra til modelltrening
- Claude-User for innhold som hentes på brukerens initiativ
- Claude-SearchBot for å forbedre søk og søkeresultater
Anthropic opplyser at disse følger robots.txt.
Det er et godt eksempel på hvorfor en enkel regel som «blokker AI-bots» kan være for upresis.
Du må først vite hva boten gjør.
Perplexity beskriver en egen søkeindeks
Perplexity beskriver sin Search API som bygget på en egen internettskala søkeinfrastruktur.
Selskapet sier at systemet kombinerer indeksering, hybrid retrieval, flertrinns ranking og en innholdsforståelsesmodul som analyserer dokumenter og mindre seksjoner.
Perplexity opplyser også at PerplexityBot er deres søkecrawler og følger eksplisitte begrensninger i robots.txt.
Et interessant poeng i deres tekniske dokumentasjon er at AI-retrieval ikke bare handler om hele dokumenter.
For en modell med begrenset kontekst kan en relevant seksjon eller et avsnitt være mer nyttig enn en hel side.
Det er en grunn til at god informasjonsstruktur betyr noe.
Ikke fordi H2-taggen er en hemmelig rankingfaktor.
Men fordi tydelig struktur gjør det lettere å isolere hva en del av siden faktisk handler om.
Google bruker Search-indeksen
Google er annerledes fordi AI Overviews og AI Mode er en del av Google Search.
Google sier at de vanlige SEO-prinsippene fortsatt gjelder, og at det ikke finnes ekstra tekniske krav eller en egen AI-markup for å være med i AI Overviews eller AI Mode.
For å kunne vises som en støttende lenke må siden være indeksert i Google Search, kvalifisert til å vises med snippet og tilgjengelig for Googlebot.
Google beskriver også query fan-out, der AI-funksjonene kan gjøre flere relaterte søk og finne støtte fra flere sider.
DOKUMENTERT: Google sier selv at du ikke trenger en egen AI-fil eller et eget AI-schema for å vises i AI Mode og AI Overviews.
En enkel modell for hvordan et svar kan bli til
Vi kan derfor bruke denne pedagogiske modellen:
1. Brukeren stiller et spørsmål
Systemet må tolke intensjonen.
2. Systemet avgjør om det trenger fersk eller ekstern informasjon
Ikke alle svar krever live web.
3. Systemet søker eller henter kandidatkilder
Mekanismen varierer mellom leverandørene.
4. Relevante dokumenter eller deler av dokumenter velges
Kilden må først være tilgjengelig nok til å kunne vurderes.
5. Modellen setter sammen et svar
Svar kan syntetisere informasjon fra flere kilder.
6. Noen produkter viser citations eller lenker
At en side er crawlbar betyr ikke at den automatisk blir valgt eller sitert.
Det finnes ikke én LLM-optimalisering
Dette gir en viktig konsekvens.
Når noen sier:
Vi skal indeksere dere i LLM-ene.
bør første spørsmål være:
Hvilket system, og hva mener du med indeksert?
Google Search har en indeks.
Perplexity beskriver en egen search index.
OpenAI og Anthropic dokumenterer egne søkecrawlere og brukerrettet retrieval.
Trening er en annen prosess.
Det finnes derfor ingen enkelt knapp som gjør en side «LLM-indeksert overalt».
Crawler-matrisen
| System | Search / retrieval | Trening | Hva betyr det for nettstedet? |
|---|---|---|---|
| Google Search | Googlebot og Search-indeksen | Separat Google-Extended-kontroll for enkelte andre AI-bruksområder | Google sier vanlig SEO og indeksering gjelder også AI Mode og AI Overviews |
| ChatGPT | OAI-SearchBot | GPTBot | OpenAI lar nettstedseier styre søk og trening separat |
| Claude | Claude-SearchBot og Claude-User | ClaudeBot | Anthropic skiller mellom search, brukerhenting og trening |
| Perplexity | PerplexityBot og egen søkeinfrastruktur | Ikke behandlet som én samlet mekanisme her | PerplexityBot må kunne nå offentlig innhold du ønsker i deres søk |
Viktig: botnavn og leverandørpolicyer kan endres. Denne tabellen er datert oktober 2026 og må vedlikeholdes.