Chatbot RAG na dokumentach firmy oznacza dwa koszty: jednorazowe wdrożenie i rachunek miesięczny, który rośnie z liczbą pracowników zadających pytania. Rozrzut kosztów wynika przede wszystkim z wyboru modelu i miejsca, w którym działa. Aktualne ceny AppCreo znajdziesz w cenniku. RAG to technika, dzięki której model odpowiada wyłącznie na podstawie Twoich dokumentów i wskazuje, skąd wziął odpowiedź.
Co to jest RAG i czym różni się od zwykłego czatu z AI?
RAG (retrieval-augmented generation, czyli generowanie wspomagane wyszukiwaniem) działa w dwóch krokach. Najpierw system wyszukuje w Twoich dokumentach fragmenty pasujące do pytania. Potem przekazuje je modelowi językowemu z poleceniem: odpowiedz tylko na tej podstawie i wskaż źródło.
Tymczasem zwykły czat z modelem odpowiada z wiedzy ogólnej, zebranej podczas trenowania. Nie zna Twojego cennika, procedur ani umów, więc zgaduje. RAG niczego modelu nie uczy. Zamiast tego za każdym razem podaje mu właściwe strony dokumentacji, jak pracownik, który przed odpowiedzią zagląda do segregatora.
Jak to działa technicznie
Najpierw dokumenty dzieli się na fragmenty po kilkaset słów. Następnie każdy fragment zamienia się na wektor liczb (embedding), który opisuje jego znaczenie, i zapisuje w bazie wektorowej. Pytanie użytkownika też staje się wektorem, a baza zwraca fragmenty najbliższe mu znaczeniowo - nawet jeśli nie zawierają tych samych słów.
Dlatego chatbot RAG odpowie na pytanie „ile dni ma klient na zwrot towaru?”, choć w regulaminie stoi „odstąpienie od umowy w terminie 14 dni”. I dlatego jakość odpowiedzi zależy bardziej od porządku w dokumentach niż od wyboru modelu.
RAG to także fundament bardziej samodzielnych rozwiązań. Na przykład agent AI, który wykonuje zadania w systemach firmy, zwykle korzysta z takiej samej wyszukiwarki dokumentów. Różnice opisaliśmy w tekście o agentach AI dla firm.
Na jakich dokumentach dobrze działa chatbot RAG?
Najlepiej działają dokumenty tekstowe, aktualne i jednoznaczne, takie jak procedury, instrukcje, regulaminy, cenniki, umowy wzorcowe, opisy produktów czy baza zgłoszeń z rozwiązaniami. Gorzej sprawdzają się natomiast skany niskiej jakości, prezentacje złożone z samych wykresów i arkusze, w których sens niosą kolory komórek.
- Nadają się od razu: PDF z warstwą tekstową, pliki Word, strony intranetu, baza wiedzy helpdesku, FAQ.
- Wymagają przygotowania: skany (rozpoznawanie tekstu), tabele i arkusze (zamiana na opis), maile (wybór wątków, usunięcie danych osobowych).
- Nie nadają się bez pracy: dokumenty sprzeczne ze sobą i kilka wersji tej samej procedury bez oznaczenia, która obowiązuje.
Druga sprawa to uprawnienia. Jeśli dział kadr ma dokumenty, których handlowiec nie powinien widzieć, chatbot musi znać te same granice. Uprawnienia zapisuje się przy każdym fragmencie w indeksie, a wyszukiwarka filtruje wyniki według tego, kto pyta.
Sama skala rzadko jest problemem. Kilka tysięcy dokumentów to dla bazy wektorowej niewiele, a jednorazowe zindeksowanie ich modelem embeddingowym to drobna pozycja w budżecie. Droższy jest raczej czas ludzi, którzy wybiorą aktualne wersje.
Od czego zależy, ile kosztuje chatbot RAG dla 50 i dla 500 osób?
Koszt ma dwie części: jednorazowe wdrożenie i rachunek miesięczny. Najtańsze wdrożenie to prosty asystent na jednym zbiorze dokumentów. Kilkukrotnie droższa jest wersja z uprawnieniami, kilkoma źródłami danych i integracją z intranetem albo komunikatorem firmowym.
Natomiast rachunek miesięczny zależy od liczby pytań i klasy modelu. Wyliczenie poniżej zakłada, że aktywny pracownik zadaje 5 pytań dziennie przez 21 dni roboczych. Zakładamy też, że jedno pytanie z kontekstem dokumentów to około 4 500 tokenów wejścia i 400 tokenów odpowiedzi.
| Wariant | Gdzie działa model | 50 osób - koszt miesięczny | 500 osób - koszt miesięczny | Kiedy wybrać |
|---|---|---|---|---|
| API, model mały | Chmura dostawcy, region UE | niski | niski | FAQ, procedury, proste pytania |
| API, model średni | Chmura dostawcy, region UE | niski do średniego | średni | Umowy, dokumentacja techniczna |
| API, model największy | Chmura dostawcy, region UE | średni | wysoki | Trudne analizy, długie dokumenty |
| Model open-source na wynajętym GPU | Serwer w europejskim centrum danych | wysoki | średni do wysokiego | Dane nie mogą trafić do dostawcy modelu |
| Model open-source na własnym serwerze | Serwerownia firmy | niski do średniego, plus zakup sprzętu | niski do średniego, plus zakup sprzętu | Tajemnica przedsiębiorstwa, duża skala |
Skąd biorą się różnice w rachunku za chatbot RAG?
Poziomy w tabeli wynikają z prostego rachunku: 50 osób × 5 pytań × 21 dni to 5 250 pytań miesięcznie, czyli około 24 mln tokenów wejścia i 2 mln wyjścia. Dla 500 osób - dziesięć razy więcej. Do tokenów doliczyliśmy także hosting aplikacji i bazy wektorowej.
Dostawcy rozliczają osobno tokeny wejścia i wyjścia. Token odpowiedzi jest kilkukrotnie droższy od tokenu pytania, a największy model - wielokrotnie droższy od małego.
Własny serwer wymaga dodatkowo jednorazowego zakupu sprzętu z kartą GPU oraz administratora. W tabeli ujęliśmy tylko prąd, administrację i utrzymanie, bez amortyzacji.
Dwie obserwacje. Przy 50 osobach różnica między modelami jest niewielka, więc model wybiera się po jakości odpowiedzi, a nie po cenie. Przy 500 osobach klasa modelu zmienia rachunek kilkukrotnie - i wtedy opłaca się test, czy mniejszy model nie wystarczy do większości pytań.
Własny model ma sens dopiero przy dużej skali albo przy danych, które nie mogą opuścić firmy. Serwer z GPU kosztuje bowiem tyle samo przy jednym pytaniu i przy tysiącu. Proporcje kosztów różnych wdrożeń AI opisujemy w tekście ile kosztuje wdrożenie AI w firmie.
Opisz jeden proces - powiemy, czy AI ma sens i ile kosztuje. W przypadku chatbota wystarczy: jakie dokumenty, ile osób będzie zadawać pytania i czy dane mogą wyjść poza firmę. wypełnij formularz, napisz na biuro@appcreo.pl albo zadzwoń: +48 783 477 243.
Gdzie trzymać dane - chmura w UE czy własny serwer?
Najpierw rozdziel dwie rzeczy: gdzie leżą dokumenty i indeks, a gdzie działa model. Dokumenty i baza wektorowa mogą zostać na serwerze firmy lub w jej chmurze w każdym wariancie. Do modelu trafia natomiast tylko pytanie i kilka fragmentów potrzebnych do odpowiedzi - na czas jednego zapytania.
Wariant 1: API dostawcy modelu z przetwarzaniem w UE
Najtańszy i najszybszy start. Duzi dostawcy modeli oferują przetwarzanie w regionach europejskich - bezpośrednio albo przez chmury Microsoft Azure, AWS i Google Cloud, przy czym dostępność regionu UE zależy od konkretnego modelu. W umowie sprawdź przede wszystkim trzy zapisy: zakaz trenowania na Twoich danych, region przetwarzania i czas przechowywania zapytań.
Wariant 2: model open-source w chmurze UE
Model uruchamiasz na wynajętym serwerze z GPU w europejskim centrum danych. Dane nie trafiają do dostawcy modelu, ale płacisz stałą kwotę niezależnie od liczby pytań. Otwarte modele bywają słabsze od największych komercyjnych w trudnych pytaniach, więc test na Twoich dokumentach jest obowiązkowy.
Wariant 3: własny serwer (on-premise)
Żaden fragment dokumentu nie opuszcza firmy. To wariant dla branż regulowanych i firm, które nie chcą nikomu powierzać tajemnicy przedsiębiorstwa. Koszt to jednak sprzęt z GPU, prąd, administracja i samodzielne aktualizacje modelu - rozsądny przy kilkuset użytkownikach, rzadko przy kilkudziesięciu.
Niezależnie od wariantu, jeśli w dokumentach są dane osobowe, obowiązuje RODO: umowa powierzenia z każdym podmiotem przetwarzającym, lista podprocesorów i minimalizacja danych. Najprościej usunąć lub zamaskować dane osobowe już przy indeksowaniu, jeśli chatbot ich nie potrzebuje.
Chatbot RAG to także obowiązek przejrzystości z AI Act: osoba, która z nim rozmawia, musi wiedzieć, że odpowiada jej system AI - ten obowiązek (art. 50) stosuje się od 2 sierpnia 2026 r. Pozostałe obowiązki firm korzystających z AI zebraliśmy w tekście o AI Act dla firm.
Jak mierzyć jakość odpowiedzi chatbota?
„Działa dobrze” to nie miara. Dlatego przed pilotażem przygotuj zestaw testowy: 50–100 prawdziwych pytań pracowników z odpowiedziami wzorcowymi i wskazaniem dokumentu, w którym jest odpowiedź. Każdą zmianę - modelu, podziału na fragmenty, instrukcji - sprawdzasz na tym samym zestawie.
Pięć wskaźników, które warto liczyć
- Trafność odpowiedzi - odsetek odpowiedzi zgodnych z wzorcem, ocenionych przez osobę znającą temat.
- Trafność wyszukiwania - czy właściwy dokument znalazł się wśród kilku pierwszych wyników. Jeśli tu jest źle, zmiana modelu nie pomoże.
- Uczciwe „nie wiem” - odsetek pytań spoza dokumentów, na które chatbot nie zmyślił odpowiedzi.
- Cytowanie źródła - czy każda odpowiedź wskazuje dokument i fragment, który da się kliknąć i sprawdzić.
- Ocena użytkowników - kciuk w górę lub w dół przy odpowiedzi, przeglądany co tydzień przez właściciela chatbota.
Próg akceptacji ustal przed pilotażem, na przykład 8 poprawnych odpowiedzi na 10 i zero zmyślonych w pytaniach o ceny, terminy i zasady prawne. Po uruchomieniu co miesiąc dopisuj do zestawu pytania, na które chatbot RAG odpowiedział źle - dzięki temu zestaw rośnie razem z systemem.
Źródłem pytań testowych bywa historia helpdesku albo skrzynki działu obsługi. To najlepszy materiał, bo pokazuje, jak ludzie naprawdę pytają - skrótami, z literówkami i bez kontekstu, którego autor dokumentu się spodziewał.
Jak wdrożyć chatbot RAG w 7 krokach?
- Zakres i właściciel. Wybierz jeden obszar, na przykład procedury obsługi klienta, i osobę, która odpowiada za treść dokumentów.
- Porządek w dokumentach. Usuń nieaktualne wersje, oznacz obowiązujące, zdecyduj, co z danymi osobowymi.
- Hosting i model. Wybierz wariant z poprzedniej sekcji na podstawie wrażliwości danych, a nie mody.
- Indeksowanie. Podział na fragmenty, embeddingi, metadane (dział, data, wersja) i uprawnienia.
- Zestaw testowy. 50–100 prawdziwych pytań z odpowiedziami wzorcowymi i progiem akceptacji.
- Pilotaż. 5–10 osób przez tydzień, codzienne oceny odpowiedzi, poprawki instrukcji i indeksu.
- Uruchomienie i utrzymanie. Automatyczna aktualizacja indeksu po zmianie dokumentów, przegląd ocen co tydzień, test na zestawie po każdej zmianie.
Od pierwszej rozmowy do działającego narzędzia dla jednego obszaru mija zwykle 3–5 tygodni. Najwięcej czasu zajmuje krok 2 - i to po stronie firmy, nie wykonawcy. Jeśli chatbot ma też wykonywać działania w systemach, zajrzyj do tekstów o AI w CRM i o agentach.
Przebieg współpracy od warsztatu do produkcji opisaliśmy na stronie wdrożenia AI w firmie, a modele, bazy wektorowe i hosting, z których korzystamy - na stronie stack AI.
