RAG vs finjustering: Hvad virker faktisk til virksomhedschatbots
RAG er det rigtige valg i 90% af tilfældene for virksomhedschatbots. Finjustering er det rigtige valg, når I har brug for en bestemt tone eller et bestemt outputformat. Sådan afgør I, hvad I har brug for.
Teamet bag GlobalChatbot
Engineering, strategi, kundesucceser
RAG vs. fine-tuning: rammeværket
Det spørgsmål, vi oftest får fra virksomhedsstiftere, er: "Skal jeg fine-tune GPT-4 med mine data eller bruge RAG?"
Næsten altid: RAG.
RAG på 60 sekunder
Retrieval-Augmented Generation: Når en forespørgsel modtages, hentes de mest relevante tekstafsnit fra jeres vidensbase og føjes til modellens kontekst.
Modellen bruger JERES indhold som autoritativ kilde. Den kan ikke hallucinere ud over det indhold, den har hentet.
Derfor er RAG bedst til erhvervschatbots
1. Opdateres øjeblikkeligt. Ændrer I en pris på jeres website? RAG registrerer det ved næste forespørgsel. Fine-tuning kræver ny træning.
2. Isolering af hver tenant. Hver kundes data ligger i sin egen vektordatabase. Data bliver ikke blandet sammen på tværs af kunder.
3. Billigere. €0.0001 pr. forespørgsel sammenlignet med €5,000+ pr. fine-tuning-kørsel.
4. Ingen faktuelle hallucinationer. Modellen citerer det hentede indhold ordret. Beregninger, priser og politikker – alt er korrekt.
Hvornår fine-tuning giver mening
- I har brug for en bestemt TONE, som prompts ikke kan gengive pålideligt (fx et formelt medicinsk sprog eller brandspecifik humor)
- I har brug for struktureret output i et format, som grundmodellen ikke kan levere pålideligt
- I har >10,000 input/output-par af høj kvalitet
For 95% af alle erhvervschatbots – inklusive vores – er RAG svaret.
