Asystent dokumentacji wewnętrznej dla nowych pracowników
Każda nowa osoba przychodzi z tymi samymi pytaniami. Każda organizacja odpowiada na nie źle. Nie dlatego, że odpowiedzi nie ma, ale dlatego, że są rozsypane po wiki, dysku współdzielonym, trzech kanałach na Slacku i pliku PDF, który ktoś wyeksportował w 2023 roku. Budujemy asystentów RAG dokładnie po to: AI odpowiada na podstawie waszych dokumentów i pokazuje, skąd wzięła odpowiedź.
Dlaczego onboarding sypie się w pierwszych tygodniach
Nowa osoba nie wie, który dokument jest tym obowiązującym, więc zamiast szukać, pyta kolegę. Koszt ponoszą doświadczeni pracownicy, którym przerywa się pracę, a nie pytający. Wyszukiwarka po słowach kluczowych też jej nie pomoże, bo nie zna jeszcze wewnętrznego żargonu - wpisuje "urlop", a w regulaminie stoi "wolne wypoczynkowe". Potrzebna jest odpowiedź prostym językiem, z widocznym wskazaniem, skąd pochodzi.
Co naprawdę robi asystent RAG
Model odpowiada na podstawie waszych dokumentów, a nie tego, co wchłonął podczas treningu. Pipeline działa po kolei: dzieli dokumenty na fragmenty, liczy dla nich embeddingi, wyszukuje fragmenty najbliższe pytaniu, a potem podaje je modelowi jako kontekst. Przy każdej odpowiedzi jest fragment źródłowy, sprawdzalny jednym kliknięciem. A gdy nic sensownego się nie znajdzie, poprawnym zachowaniem jest powiedzenie tego wprost. Błędną odpowiedź z widocznym źródłem da się poprawić. Takiej bez źródła nie.
Dobór treści, które trafiają do systemu
Zacznijcie od kilku dokumentów, o które ludzie pytają w pierwszym tygodniu, a nie od całego archiwum. Typowy pierwszy zestaw to konfiguracja środowiska, wnioski o dostępy, procedura wdrożenia, mapa właścicieli obszarów oraz zasady urlopowe i rozliczania kosztów. Zduplikowane pliki są głównym źródłem sprzecznych odpowiedzi, więc odsiejcie duplikaty przed wczytaniem.
Co na początek zostawić poza systemem:
- Nieaktualne regulaminy leżące obok swoich następców
- Szkice, których nikt nie zatwierdził
- Prywatne notatki i pliki robocze
- Protokoły ze spotkań bez żadnej decyzji
- Wszystko, czego nikt nie nazwie aktualnym
Wskazówka: asystent odpowiadający z nieaktualnego dokumentu obnaża problem z dokumentacją, który mieliście już wcześniej. Poprawcie dokument, a nie wyszukiwanie.
Chmura czy własna infrastruktura
W dokumentacji wewnętrznej siedzą nazwy klientów, wynagrodzenia, dane dostępowe i procedury bezpieczeństwa, więc miejsce jej przechowywania to realna decyzja. Chmura pozwala szybciej ruszyć i jest lżejsza w utrzymaniu, mocne modele są dostępne od ręki. Wdrożenie on-premise albo w prywatnym VPC trzyma dokumenty i embeddingi w sieci klienta, czego wymagają niektóre umowy i regulatorzy. Najpierw rozstrzygnijcie trzy kwestie: kto może czytać indeks, gdzie trafiają logi pytań i co dzieje się z dokumentem po usunięciu go w źródle. Dobrze sprawdza się podział hybrydowy: jawny podręcznik pracownika w chmurze, materiały o ograniczonym dostępie na własnych serwerach.
Uprawnienia, czyli dlaczego indeks musi wiedzieć, kto pyta
Jeden płaski indeks przecieka. Programista na juniorskim stanowisku nie może dostać treści prezentacji dla zarządu tylko dlatego, że fragment pasował semantycznie. Filtrujcie na etapie wyszukiwania, na podstawie przynależności pytającego do grup, a nie przez obróbkę tego, co model już napisał. Te uprawnienia trzymajcie zsynchronizowane z systemem źródłowym, zamiast utrzymywać je ręcznie w drugim miejscu. Logi pytań zasługują na tę samą ostrożność, bo ludzie pytają o urlop rodzicielski i okresy wypowiedzenia.
Wskazówka: przetestujcie to na specjalnie zastrzeżonym dokumencie i koncie o niskich uprawnieniach, zanim ktokolwiek inny dostanie dostęp.
Jak zmierzyć, czy to pomaga
Przed startem zbierzcie mały zestaw testowy z prawdziwymi pytaniami z onboardingu i znanymi odpowiedziami. Sprawdzajcie osobno wyszukiwanie i osobno generowanie: jeśli właściwy fragment nigdy nie został pobrany, żaden model nie uratuje odpowiedzi.
- Pytania, które nic nie zwróciły
- Odpowiedzi oznaczone przez ludzi jako błędne
- Powtarzające się pytania o jeden temat
- Dokumenty, które nigdy nie zostały pobrane
Pytania bez dobrego źródła stają się listą zadań dla zespołu od dokumentacji, a to połowa wartości całego przedsięwzięcia. Liczba użyć niczego nie dowodzi. Liczy się to, że na Slacku powtarza się mniej pytań.
Wdrożenie bez utraty zaufania
Zacznijcie od pilotażu z jednym zespołem i jedną grupą nowych osób, a potem rozszerzajcie, gdy odpowiedzi się bronią. Wyznaczcie osobę odpowiedzialną za aktualność treści - bez niej indeks zgnije w ciągu kwartału. Powiedzcie wprost, czego asystent nie obejmuje, żeby ludzie wiedzieli, kiedy zapytać człowieka. Podłączcie wczytywanie treści wprost do źródła dokumentów, żeby zmiany propagowały się same, a nie przez ręczne wgrywanie plików. Zaufanie znika szybko i wraca powoli, więc wąski asystent, który ma rację, wygrywa z szerokim, który zgaduje.
FAQ
Czym to się różni od wyszukiwarki w naszej wiki?
Wyszukiwarka zwraca dokumenty uszeregowane według dopasowania słów kluczowych i zostawia czytanie tobie. Asystent odpowiada na pytanie słowami i wskazuje fragment, którego użył, co ma największe znaczenie dla kogoś, kto nie zna jeszcze waszej terminologii.
Czy może działać bez wysyłania naszych dokumentów do zewnętrznego dostawcy?
Tak. Cały stos, razem z modelem, może działać na waszej własnej infrastrukturze, gdy dane nie mogą opuścić sieci.
Co się dzieje, gdy odpowiedzi nie ma w dokumentach?
Powinien stwierdzić, że nie znalazł nic sensownego, i przekierować pytanie do człowieka. Ta luka trafia wtedy na listę zadań dokumentacyjnych.
Podsumowanie
Onboarding to bardziej problem wyszukiwania niż pisania - odpowiedzi zwykle już gdzieś są. Odpowiedzi osadzone w źródłach, z widocznym wskazaniem pochodzenia, utrzymują system audytowalnym i możliwym do poprawienia. O realnej użyteczności decydują trzy rzeczy: gdzie to wdrożycie, jak filtrujecie po uprawnieniach i jakie treści do niego wybierzecie. Zacznijcie wąsko, mierzcie na prawdziwych pytaniach i każde pytanie bez odpowiedzi traktujcie jako zadanie dla dokumentacji.
