Никой не преобучава езиков модел върху вашия сайт. Вместо това се случва нещо по-полезно – и ако знаете разликата, знаете и какво да очаквате.
„Обучете агента си върху своя сайт“ е стандартна фраза – използваме я и ние. Тя е разумно съкращение и описва точно резултата. Не описва обаче механизма, а той си струва десет минути от времето ви, защото определя в какво системата ще се справя добре и къде ще се проваля.
Вашето съдържание не се използва за преобучаване на езиков модел. Никой не пуска градиентни обновявания върху страницата ви с често задавани въпроси. Това би било бавно, абсурдно скъпо за данните на един клиент, невъзможно за отмяна, когато редактирате страница, и истински проблем още първия път, когато някой упражни правото си на изтриване.
Освен това не би дало добри резултати. Фактите, „запечени“ в теглата на модела, излизат размити и без източник – точно видът грешка, който не искате от нещо, което цитира цените ви.
Подходът се нарича генериране, допълнено с извличане (retrieval-augmented generation, RAG), и има четири стъпки.
Вземаме съдържанието ви – поставен текст, индексиране на сайта ви чрез вътрешните връзки, URL адрес на продукт или качен файл във формат PDF, Word, Markdown или CSV – и извличаме четимия текст. Качените оригинали се съхраняват във Франкфурт.
Дългите документи се разделят на откъси. Тази стъпка не е ефектна, но е по-важна, отколкото изглежда: ако откъсите са твърде големи, търсенето връща и излишна информация, а ако са твърде малки, изречението се откъсва от контекста, който му придава смисъл.
Всеки откъс се превръща във вектор – списък от числа, който го поставя в пространството на смисъла – и се записва във векторен индекс (pgvector, в същата база данни във Франкфурт като останалата част от работното ви пространство). Откъсите за сроковете за възстановяване на суми се оказват близо един до друг, независимо дали казват „възстановяване“, „връщане на парите“ или „политика за връщане“.
Когато посетител зададе въпрос, той се векторизира по същия начин, намират се най-близките откъси и тези откъси заедно с въпроса се подават на модела с указание да отговори въз основа на тях. Моделът осигурява гладкия език и разсъжденията. Вашето съдържание осигурява фактите.
Промените важат веднага. Променяте цена, индексирате отново и готово. Няма цикъл на преобучаване, защото никога не е имало обучение на модела.
Отговорите могат да посочват източник. Системата знае кои откъси е използвала и може да ви ги покаже. Отговор без подкрепящ откъс е грешка, която виждате, а не уверено изречение, дошло от нищото.
Изтриването е истинско изтриване. Премахвате източник и векторите му изчезват с него. Агентът вече не разполага с тази информация. Това е невъзможно при информация, „запечена“ в теглата, и именно затова исканията за изтриване изобщо могат да бъдат изпълнени.
Пълнотата е ваша грижа, а не на модела. Точно това изненадва хората. Ако отговорът липсва във вашето съдържание, търсенето не намира нищо подходящо и агент, който се опира на източници, трябва да каже, че не знае, вместо да импровизира. Това е правилното поведение, но първия път, когато го видите, пак ще ви изглежда като провал. Решението никога не е по-добър модел, а страницата, която още не сте написали.
Добрите резултати са най-вече въпрос на съдържание. Най-ценният половин час след регистрацията не е за настройки, а за преглед на въпросите, на които търговският ви екип отговаря по имейл всяка седмица, и за проверка дали всеки от тях е описан някъде писмено. Това е вашият корпус. Всичко останало е техника.
Можете да проверите това на този сайт. Агентът в ъгъла е обучен върху тези страници по същия процес, който бихте използвали и вие. Попитайте го за нещо, описано тук, и ще отговори с източник. Попитайте го за нещо, което никога не сме записвали, и сами ще видите как честно признава, че не знае.