RAG-løsning for bedrifter: fra dokumenter til kunnskapsbase

Vurder en RAG-løsning for bedriften med en avgrenset pilot. Se hva som må avklares om dokumenter, tilgang, kildehenvisninger og databehandling.

Hva er en RAG-løsning for bedrifter?

RAG står for Retrieval-Augmented Generation. Løsningen søker etter relevant innhold i utvalgte kunnskapskilder og gir utdragene til en språkmodell som grunnlag for svaret. For en bedrift kan kildene være produktmanualer, rutiner eller en avgrenset dokumentbase. En RAG AI-agent kan bruke dette søket når den besvarer spørsmål; tilgang til kunnskap gir ikke i seg selv rett til å utføre handlinger.

Microsoft beskriver RAG som søk kombinert med generering. Kvaliteten avhenger blant annet av hvilke kilder som er tilgjengelige og hva søket finner. RAG er ingen garanti for korrekte svar.

Hvorfor generell AI ikke kjenner bedriften din

En språkmodell har ikke automatisk tilgang til deres interne prosedyrer, produktspesifikasjoner eller arbeidsflyter. Uten relevant kontekst kan den gi generelle eller feilaktige svar. En kunnskapsbase kan gjøre dette innholdet søkbart:

  • Interne prosedyrer og retningslinjer
  • Produktspesifikasjoner og tekniske manualer
  • Godkjente svar på gjentakende spørsmål
  • Utvalgte faglige dokumenter og arbeidsbeskrivelser

Kundehistorikk, personalsaker og annet fortrolig innhold bør ikke tas med bare fordi det finnes. Begynn med dokumenter dere har rett til å bruke, for en tydelig avgrenset brukergruppe.

Slik fungerer RAG AI-agenter i praksis

  1. Gjør kildene søkbare: Dokumenter kan deles i mindre utdrag og indekseres med informasjon om kilde, versjon og tilgang.
  2. Hent relevant informasjon: Når brukeren spør, søker løsningen i det innholdet vedkommende har tillatelse til å se.
  3. Lag et svar med kilder: Modellen får relevante utdrag som kontekst. Svaret bør vise dokumentet eller avsnittet det bygger på, slik at brukeren kan kontrollere det.

Anthropic forklarer oppdeling, søk og kontekst i RAG, og viser hvorfor utdrag som mister sammenhengen kan gi dårlige søketreff. Derfor må både gjenfinning og svar testes på bedriftens egne spørsmål. En kildehenvisning er nyttig for kontroll, men beviser ikke alene at tolkningen er riktig.

Eksempler på bruk i bedriften

Dette er illustrative bruksområder, ikke dokumenterte kundecaser eller løfter om effekt.

Kundeservice med produktkunnskap: En medarbeider spør hvordan en bestemt modell vedlikeholdes. Assistenten finner frem til riktig produktmanual og viser kilden. Mangler riktig modell eller versjon, skal spørsmålet avklares før kunden får et råd.

HR-assistent for rutinespørsmål: Medarbeidere kan søke etter en intern prosedyre i en godkjent personalhåndbok. Individuelle personalsaker holdes utenfor en felles kunnskapsbase, og spørsmål som krever vurdering sendes videre til HR.

Salgsassistent med produktinformasjon: Selgere kan finne produktspesifikasjoner og godkjent salgsmateriell med kildehenvisninger. Priser og kundespesifikke vilkår krever egne oppdateringsrutiner og tilgangsregler.

Støtte til faglig kontroll: Assistenten kan finne relevante avsnitt i interne retningslinjer. Den erstatter ikke ansvarlig fagpersons vurdering eller sikrer automatisk at en beslutning følger gjeldende regler.

Start med en avgrenset kunnskapsbasepilot

Velg én oppgave, én brukergruppe og et begrenset sett med godkjente dokumenter. Et eksempel er en intern assistent som finner svar i produktmanualer, uten tilgang til kundedata og uten å sende meldinger eller endre systemer. Avklar om et eksisterende verktøy med dokumentstøtte dekker behovet før dere bygger en egen løsning.

  1. Kartlegg: Velg dokumentene, navngi en innholdsansvarlig og avklar hvem som skal få tilgang. Rydd i utdaterte versjoner og motstridende opplysninger.
  2. Sett opp: Avtal databehandling, innlogging, kildehenvisninger og hva assistenten skal gjøre når grunnlaget mangler. Hold handlinger utenfor piloten.
  3. Test: Lag et sett med vanlige spørsmål og forventede kilder. Ta også med spørsmål uten svar, feil dokumentversjon og forsøk på å hente innhold brukeren ikke har tilgang til.
  4. Vurder: Gå gjennom feil, svartid og kostnader med testbrukerne. Avgjør om løsningen skal forbedres, utvides eller stoppes før ordinær drift.

Leveransen og tidsplanen må avtales etter kartleggingen. En pilot bør gi et vurderingsgrunnlag: hvilke spørsmål løsningen håndterer, hvilke den ikke håndterer, og hva som må på plass før flere får tilgang. Det er ikke et løfte om en bestemt tidsbesparelse.

Dokumenter, tilgang og kildehenvisninger

Tilgang må håndheves i løsningen, ikke bare beskrives i en instruks til modellen. Test at søket utelater dokumenter brukeren ikke har tilgang til, også når vedkommende spør indirekte. Microsofts dokumentasjon om dokumentbasert tilgangskontroll beskriver blant annet filtrering av søkeresultater etter bruker eller gruppe. Hvilken mekanisme som passer, avhenger av datakilder og identitetsløsning.

Avtal også hvordan endringer, sletting og tilbakekalt tilgang slår gjennom i søkeindeksen. Oppdatert originaldokument betyr ikke nødvendigvis at indeksen allerede er oppdatert. Vis gjerne dokumentnavn, lenke og versjon eller dato sammen med svaret.

Hvor lagres og behandles dataene?

RAG betyr ikke at all informasjon forblir i bedriftens eksisterende systemer. Dokumentutdrag, søkeindekser, spørsmål og logger kan behandles i ulike tjenester, avhengig av arkitekturen. Før interne data brukes, må dere avklare:

  • Hvilke data som sendes til søke- og modellleverandører
  • Hvor originaler, indekser og logger lagres og behandles
  • Leverandørvilkår, eventuell bruk til modelltrening og nødvendige databehandleravtaler
  • Tilgang, lagringstid, sletting og hvem som følger opp hendelser

Valg av region eller leverandør er ikke alene en garanti for sikkerhet eller etterlevelse. Gjør vurderingen for de konkrete dataene og den faktiske løsningen før piloten får tilgang.

Fra pilot til videre drift

En nyttig kunnskapsbase trenger vedlikehold. Utpek ansvarlige for dokumentene, test søket igjen når innhold eller modell endres, og gjør det enkelt for brukerne å melde feil. Utvid først når dere har kontroll på svargrunnlag, tilgang og kostnader.

Vil dere vurdere en RAG-løsning for bedriften? Ta med et eksempel på spørsmål medarbeiderne trenger hjelp til og en oversikt over aktuelle dokumenttyper. Ikke send fortrolige dokumenter i første henvendelse. Book en prat om en avgrenset kunnskapsbasepilot.