Chatbot RAG: ce este, cum funcționează și când îți trebuie

Într-o cercetare McKinsey din 2024, 65% dintre companii foloseau deja AI generativ în cel puțin o funcție de business — dublu față de anul precedent. Totuși, când stăm de vorbă cu fondatori din Moldova și regiune, întrebarea care apare cel mai des nu e „dacă", ci „cum nu sună chatbot-ul nostru ca un ChatGPT generic care inventează informații despre prețurile noastre".

Răspunsul scurt: chatbot RAG. Răspunsul lung — și onest — e în acest articol.

Ce este un chatbot RAG (și de ce nu e doar ChatGPT cu altă față)

RAG vine de la Retrieval-Augmented Generation — generare augmentată cu căutare. Diferența fundamentală față de un chatbot „pur LLM": chatbot-ul RAG nu inventează răspunsul din ce a învățat la antrenament. Mai întâi caută în baza ta de date — documente, FAQ, contracte, manuale, istoric de tickete — apoi formulează răspunsul folosind doar contextul găsit.

În 12 proiecte de automatizare a suportului pe care le-am auditat în ultimii doi ani, 9 aveau aceeași problemă: un chatbot „inteligent" care răspundea sigur pe el la întrebări despre politica de retur — politică pe care firma nu o avea sau o avea diferită. Acolo RAG schimbă jocul: bot-ul răspunde cu „nu găsesc această informație" în loc să halucineze.

Cum funcționează un chatbot RAG, pas cu pas

1. Ingestia datelor (knowledge base)

Totul începe cu ce „știe" bot-ul. Documente PDF, pagini de site, articole din Confluence, baze de date de produse, transcripte de apeluri — toate sunt împărțite în bucăți mici (chunks de 200–800 de tokeni) și pregătite pentru indexare.

2. Embeddinguri și bază vectorială

Fiecare chunk este transformat într-un vector numeric (embedding) printr-un model specializat. Vectorii sunt stocați într-o bază de date vectorială — Pinecone, Weaviate, Qdrant sau pgvector pe Postgres. Aici se face „căutarea semantică": două propoziții cu același sens dar cuvinte diferite ajung aproape una de alta în spațiul vectorial.

3. Retrieval — căutarea contextului relevant

Când utilizatorul pune o întrebare, întrebarea este și ea transformată în vector. Baza vectorială returnează cele mai relevante 3–10 chunks. Aici se ascund 80% din bug-urile RAG: dacă retrieval-ul aduce context greșit, LLM-ul va da un răspuns greșit cu mare încredere.

4. Generarea răspunsului prin LLM

Chunks-urile relevante sunt trimise împreună cu întrebarea către un LLM (Claude, GPT-4, Llama, Mistral) cu un prompt strict: „răspunde folosind doar contextul de mai jos; dacă nu găsești răspunsul, spune-o". Rezultatul: răspunsuri ancorate în date reale, cu citate către sursa exactă.

Chatbot clasic vs. chatbot RAG — diferențele care contează pentru business

• Precizia răspunsurilor: chatbot clasic (rule-based sau LLM pur) — ~60–70%. Chatbot RAG bine implementat — 85–95% pe domeniu îngust.
• Halucinații: la chatbot LLM pur sunt regulă, nu excepție. RAG le reduce dramatic dar nu le elimină 100%.
• Mentenanță: chatbot clasic cere reguli scrise manual pentru fiecare scenariu. RAG cere doar să actualizezi documentele sursă — bot-ul se „învață" automat.
• Scalare: rule-based devine ingestionabil după 200–300 reguli. RAG scalează la zeci de mii de documente fără probleme.
• Cost de operare: rule-based e mai ieftin pe termen scurt; RAG devine mai ieftin după ce baza de cunoștințe crește dincolo de un threshold.

5 semnale clare că afacerea ta are nevoie de un chatbot RAG

1. Echipa ta de suport răspunde la aceleași 20–50 de întrebări zilnic. Dacă FAQ-ul static nu e citit, RAG e răspunsul — pentru că oamenii preferă să întrebe natural decât să caute.
2. Ai documentație vastă pe care nimeni nu o citește. Manuale interne, ghiduri de produs, politici — RAG le face „interogabile" în limbaj natural.
3. Vânzările pierd lead-uri în afara orelor de program. Un bot RAG conectat la catalog poate califica și informa lead-uri 24/7 fără să dea informații greșite despre prețuri.
4. Onboarding-ul angajaților noi consumă săptămâni. RAG pe documentația internă scurtează timpul până la productivitate cu 30–50%.
5. Volumul de tickete duplicate depășește 40%. Asta înseamnă că răspunsurile există, dar accesibilitatea e problema — exact ce rezolvă RAG.

Dacă te regăsești în 2 din 5, are sens să discuți o integrare AI pe măsură pentru afacerea ta. Dacă te regăsești în 4 din 5, întârzii deja decizia.

Greșelile pe care le văd cel mai des în proiecte RAG

Knowledge base prost structurat

„Aruncăm toate PDF-urile în Pinecone" e rețeta pentru rezultate proaste. Documentele duplicate, versiunile vechi care nu au fost șterse, scan-urile fără OCR — toate poluează retrieval-ul. Înainte de orice vector, faci un audit de date. Mereu.

Lipsa unui ciclu de evaluare

Cum știi că bot-ul răspunde bine? Nu prin „mi se pare ok la 5 întrebări de test". Ai nevoie de un set de 50–200 de întrebări reale (din ticketele istorice) cu răspunsuri „corecte" validate uman, rulate la fiecare modificare. Fără asta, nu știi dacă următoarea îmbunătățire e regresie.

Ignorarea costului per query

Un query RAG poate costa între $0.001 și $0.05 în funcție de modelul ales (Haiku vs Opus, GPT-4o-mini vs GPT-4o) și de lungimea contextului. La 10.000 de queries/lună diferența e între $10 și $500. Modelul cel mai puternic nu e mereu răspunsul — calibrezi pe task.

Confundarea RAG cu fine-tuning

Fine-tuning învață modelul să răspundă într-un anumit stil; RAG îi dă acces la fapte noi. Dacă vrei ca bot-ul să cunoască prețurile tale de mâine, ai nevoie de RAG, nu de fine-tuning. Cele două nu sunt alternative — în proiecte mature se combină.

Cum implementăm un chatbot RAG la XCORE — planul în 4 etape

Audit de date și fluxuri (1–2 săptămâni)

Inventariem sursele de date, mapăm cele mai frecvente 50 de întrebări reale, definim metrici de succes (rată de auto-rezolvare, CSAT, deflection rate). Aici se decide dacă RAG e răspunsul sau o automatizare clasică e suficientă.

PoC pe un domeniu îngust (2–4 săptămâni)

Construim un MVP pe o singură categorie de întrebări (ex: facturare, sau retururi). Rulăm pe 20–30% din traficul real, măsurăm. Dacă MVP-ul nu trece 80% acuratețe pe setul de evaluare, oprim sau pivotăm înainte de a investi mai mult.

Integrare cu CRM, website și WhatsApp (2–4 săptămâni)

Bot-ul e util doar acolo unde sunt clienții. Integrările tipice: widget pe site, WhatsApp Business API, Telegram, escaladare automată în AmoCRM/HubSpot când bot-ul nu știe răspunsul. Sincronizare cu istoricul de conversație pentru continuitate.

Monitorizare și iterare (continuu)

Dashboard cu queries care au returnat „nu știu", queries cu scor de încredere scăzut, feedback negativ. La fiecare 2 săptămâni: review, ajustare prompturi, completare knowledge base. Un chatbot RAG nu e proiect care „se termină" — e produs care se mentenează.

Un exemplu concret de cum arată asta în practică găsești în studiul de caz DoctorChat, unde am construit o platformă conversațională specializată pentru sectorul medical.

Costuri și ROI — la ce să te aștepți realist

Pentru un IMM tipic din Moldova sau regiune:

• Implementare: $4.000–$25.000 în funcție de complexitatea integrărilor și volumul knowledge base-ului
• Infrastructură lunară: $150–$800 (LLM calls + vector DB + hosting)
• Mentenanță: 4–12 ore/lună după lansare
• ROI tipic: reducere 30–60% a volumului de tickete repetitive în primele 3 luni, redirecționarea echipei de suport către cazurile cu valoare reală

Important: ROI-ul nu vine din „înlocuim echipa de suport". Vine din „echipa rezolvă mai mult din ce nu poate face un bot". Companiile care țintesc layoff-uri cu RAG eșuează în 90% din cazuri — clienții simt rapid când vorbesc cu un perete și pleacă.

Cum decizi dacă RAG e pasul potrivit acum

Checklist scurt — bifează ce e adevărat pentru afacerea ta:

• Avem documentație scrisă sau date structurate pe care un bot le-ar putea folosi
• Volumul de întrebări repetitive justifică investiția (>500/lună)
• Avem capacitate internă (sau partener) să mentenăm bot-ul după lansare
• Suntem ok cu un experiment de 4–8 săptămâni înainte de scalare
• Avem buget realist (nu ne așteptăm la rezultate cu $500 implementare)

3 din 5 bifate — merită un audit. 5 din 5 — întârzii deja. Dacă nu ești sigur unde te încadrezi, o sesiune de consultanță IT ne ajută să mapăm clar dacă RAG e răspunsul sau ai nevoie de altceva înainte (date mai bune, proces mai clar, sau pur și simplu un FAQ mai bun).

Chatbot-ul RAG nu e magie. E o combinație de date bune, retrieval bine făcut și un LLM ținut în lesă scurtă. Când toate trei sunt la locul lor, devine cea mai bună angajată a echipei tale de suport — care nu doarme, nu uită și nu uită niciodată ce s-a scris în politica de retur.