4,97,95
presnosť odpovede / 10Bot vypočúval študentov.
Evaluácia ukázala, že 18,6 percenta otázok dostalo namiesto odpovede protiotázku; prepísal som pravidlá doplňujúcich otázok a zlepšenie som overil A/B evaluáciou.
Prípadová štúdia · Masarykova univerzita, CZSOdpovede boli na webe. Zamestnanci aj tak odpovedali ručne.
Asistent, ktorý na oficiálnom webe Masarykovej univerzity odpovedá na otázky o štúdiu v zahraničí, vychádza z vlastných stránok univerzity a každú odpoveď doloží zdrojom.
15 362hodnotených evaluačných behov
~90%nameraná presnosť odpovedí
~1%nameraná miera halucinácií
778monitorovaných zdrojových stránok
01 / Problém
778 zdrojov, jedna schránka.
Pravidlá žijú v 778 neustále sa meniacich zdrojoch v češtine a angličtine a na každú otázku študenta sa odpovedalo ručne, e-mail po e-maile.
Zdrojový korpus, CS + EN
530 webových stránok174 PDF60 docx3 prepisy videí
Predtým: každá otázka zodpovedaná ručne, e-mailom02 / Produkt
Pýtajte sa po česky alebo anglicky. Dostanete odpoveď s dôkazmi.
Odpovedá na otázky o štúdiu v zahraničí po česky alebo anglicky, vychádza z vyhľadaných zdrojov CZS a cituje ich, takže každé tvrdenie sa dá vystopovať k stránke. Fakty, ktoré sa nesmú hádať (aktuálny dátum, termíny, kontakty), pochádzajú z deterministických volaní nástrojov, nie z pamäte modelu.
Otvorí sa s upozornením na AI a navrhnutými otázkami, v jazyku študenta.
Skutočná odpoveď citujúca 11 pomenovaných zdrojových dokumentov, so spätnou väzbou, ktorá ide na kontrolu človekom.
03 / Systém
Pipeline za priamou odpoveďou
Každá otázka sa klasifikuje a potom zodpovie z hybridného OpenSearch retrievalu (BM25 plus husté vektory Voyage, spojené cez RRF, dva rerankery, MMR) nad parent-child indexom, ktorý rešpektuje nadpisy, s bránou zodpovedateľnosti v štýle CRAG, ktorá pri slabom kontexte vyhľadáva znovu. Overené fakty pochádzajú z deterministických volaní nástrojov, odpovede sa streamujú cez SSE z DeepSeek-v3.2 na CERIT.
Cesta jednej otázky
- 01Otázkapo česky alebo anglicky
- 02Klasifikáciazámer, entity, jazyk
- 03Hybridné vyhľadávanieBM25 plus vektory, spojené
- 04Rerankdva modely, diverzifikované
- 05Brána zodpovedateľnostipri slabom kontexte hľadá znovu
- 06Volanie nástrojaoverené termíny, kontakty, dátum
- 07GenerovanieDeepSeek na CERIT
- 08Citovaná odpoveďstreamovaná so zdrojmi
Slučka aktuálnosti:Monitor zmien sleduje všetkých 778 zdrojov. Každá zmena spustí webhook, ktorý preindexuje len danú stránku, a denná úloha prejde zvyšok, takže bot nikdy nezastará.
StackPythonFastAPIOpenSearchVoyage AIDeepSeek cez CERITPostHognginx
04 / Slučka spätnej väzby
Každá schválená odpoveď robí tú ďalšiu okamžitou.
CZS odovzdalo svoj archív skutočných otázok študentov s overenými odpoveďami; systém každú novú odpoveď vracia späť do tohto archívu.
707/ 715párov Q&A overených zamestnancami8 povýšených zo živých chatov
- 01Nová otázkakontrola rozsahu + zhoda s FAQ
- 02Známa a overená?vráti ju, alebo pripraví návrh zo zdrojov
- 03Kontrola zamestnancomúprava, schválenie
- 04Zlatý párpridá sa do overeného FAQ
Každé schválenie rozširuje overenú sadu
707 zo 715 párov už zamestnanci overili a slučka toto číslo len zvyšuje.
05 / Evaluácia
Merané, nie dojmy
Priebežný harness LLM-as-judge hodnotí doménové otázky z FAQ CZS (skutočné historické plus generované) oproti zdrojom na presnosť, podloženosť a halucinácie. Naprieč 37 cyklami a 15 362 behmi bolo 10 438 hodnotiteľných odpovedí: 84 percent získalo 9 alebo 10, priemer 9,0, podloženosť 8,6, halucinácie okolo 1 percenta.
Ako dopadlo 10 438 hodnotených odpovedí
skóre 9 alebo 10skóre 0 až 8
Rozdelenie presnosti naprieč 10 438 hodnotiteľnými odpoveďami z 15 362 posudzovaných behov. Správny zdroj sa objaví medzi top výsledkami retrievalu v 92 percentách prípadov, oproti 79 pred parent-child indexom.
06 / Iterácia
Čo meranie naozaj zachytí
0,790,92
správny zdroj v top 7 výsledkochMalé chunky na hľadanie, celé sekcie na odpoveď.
Postavil som parent-child index: zhoda sa hľadá na malých, presných pasážach a potom sa rozšíri na celú sekciu, aby model odpovedal s úplným kontextom. Správna stránka sa teraz dostane medzi top výsledky v 92 percentách prípadov, oproti 79.
15,0 s10,6 s
medián (p50) latencie odpovedeRýchlejšie, pri vyššej presnosti.
Ten istý redizajn retrievalu skrátil medián latencie odpovede o 4,4 sekundy, pričom presnosť odpovedí stúpla, neklesla. Lepší kontext sa k modelu dostal v menšom počte čistejších pasáží.
Nič z toho sa pri bežnom testovaní neukázalo.
07 / Prevádzka
Toto prevádzkujú zamestnanci CZS. Nie ja.
Zamestnanci vidia každú konverzáciu, skontrolujú čokoľvek sporné a aktualizujú znalostnú bázu bez zásahu do kódu.
Tu zobrazené obrazovky sú ilustračné ukážky s vymyslenými príkladovými dátami; skutočné dashboardy sú za prihlásením pre zamestnancov.
Show: StudentsProgram: AllDirection: OutgoingSearch questions...
| ID | Source | Conf. | FB | Time | Intent | Program | User query |
|---|---|---|---|---|---|---|---|
| 4821 | STUDENT | 0.94 | 8.1s | check_requirements | Erasmus+ | What documents do I need for the selection? | |
| 4820 | STUDENT | 0.88 | · | 11.4s | find_deadline | Erasmus | When is the application deadline this year? |
| 4819 | STUDENT | 0.72 | 9.7s | scholarship_query | Erasmus+ | How much is the grant for a semester in Norway? | |
| 4818 | STUDENT | 0.91 | 7.3s | find_contact | Bilateral | Who is the coordinator for my faculty? | |
| 4817 | DEV | 0.83 | · | 10.2s | explain_procedure | Internship | How do I get my traineeship certificate signed? |
| 4816 | STUDENT | 0.79 | · | 12.8s | clarify_document | BIP | Do I upload the Learning Agreement before or after? |
| 4815 | STUDENT | 0.96 | 6.9s | find_deadline | Erasmus+ | When do results of the selection come out? | |
| 4814 | STUDENT | 0.87 | · | 9.1s | check_requirements | CEEPUS | How many ECTS do I need to complete abroad? |
Conversation Database
Každá otázka a odpoveď s istotou, zdrojmi, spätnou väzbou a časom odpovede; s vyhľadávaním.
Needs reviewIs the 20 ECTS requirement an Erasmus rule or an MU policy?
VerifyEdit answerResolve
Low confidenceWhich currency is the stipend paid in?
Thumbs downIs there a list of internship host institutions?
Flagged & Resolved
Odpovede s palcom dole a nízkou istotou tu čakajú na overenie zamestnancom.
| Source URL | Status | Chunks |
|---|---|---|
| czs.muni.cz/.../erasmus-evropa | up to date | 35 |
| czs.muni.cz/.../prakticke-staze/erasmus | up to date | 18 |
| czs.muni.cz/.../financni-podminky | changed | 12 |
| czs.muni.cz/.../po-ukonceni-pobytu | up to date | 9 |
| czs.muni.cz/.../mezifakultni-dohody | up to date | 14 |
Manage Sources
Všetkých 778 monitorovaných stránok so stavom detekcie zmien, plus manuálne nahrávanie.
Can I go on Erasmus if I am over 26?match 0.91ApproveEdit
Which currency is the stipend paid in?match 0.87ApproveEdit
Is there a list of internship host institutions?match 0.82ApproveEdit
FAQ Review
Kandidáti na FAQ vyťažení zo skutočných konverzácií; nič sa nepridá bez schválenia človekom.
AI navrhuje, ľudia rozhodujú; CZS dostáva ovládanie, nie zmluvu o podpore.
08 / Súkromie
Súkromné už v základe
Žiadny účet, žiadne zbieranie osobných údajov. Konverzácie sa logujú na kontrolu kvality.
Všetko beží na vyhradenom serveri pre univerzitu, nie na zdieľanej AI službe tretej strany, a bot číta len verejné stránky CZS.
Máte web plný odpovedí, ktoré nikto nevie nájsť?
Ak sa používatelia stále pýtajú na to, čo váš web už zodpovedá, postavím asistenta, ktorý tú medzeru zavrie, aj meranie, ktoré dokazuje, že funguje.
Asistent, ktorého ovláda váš tím, s číslami, ktoré dokazujú, že funguje.