4,97,95
přesnost odpovědi / 10Bot vyslýchal studenty.
Evaluace ukázala, že 18,6 procenta otázek dostalo místo odpovědi protiotázku; přepsal jsem pravidla doplňujících otázek a zlepšení ověřil A/B evaluací.
Případová studie · Masarykova univerzita, CZSOdpovědi byly na webu. Zaměstnanci stejně odpovídali ručně.
Asistent, který na oficiálním webu Masarykovy univerzity odpovídá na otázky o studiu v zahraničí, vychází z vlastních stránek univerzity a každou odpověď doloží zdrojem.
15 362hodnocených evaluačních běhů
~90%naměřená přesnost odpovědí
~1%naměřená míra halucinací
778monitorovaných zdrojových stránek
01 / Problém
778 zdrojů, jedna schránka.
Pravidla žijí v 778 neustále se měnících zdrojích v češtině a angličtině a na každou otázku studenta se odpovídalo ručně, e-mail po e-mailu.
Zdrojový korpus, CS + EN
530 webových stránek174 PDF60 docx3 přepisy videí
Předtím: každá otázka zodpovězená ručně, e-mailem02 / Produkt
Ptejte se česky nebo anglicky. Dostanete odpověď s důkazy.
Odpovídá na otázky o studiu v zahraničí česky nebo anglicky, vychází z vyhledaných zdrojů CZS a cituje je, takže každé tvrzení jde dohledat ke stránce. Fakta, která se nesmí hádat (aktuální datum, termíny, kontakty), pocházejí z deterministických volání nástrojů, ne z paměti modelu.
Otevře se s upozorněním na AI a navrženými otázkami, v jazyce studenta.
Skutečná odpověď citující 11 pojmenovaných zdrojových dokumentů, se zpětnou vazbou, která jde na kontrolu člověkem.
03 / Systém
Pipeline za přímou odpovědí
Každá otázka se klasifikuje a pak zodpoví z hybridního OpenSearch retrievalu (BM25 plus husté vektory Voyage, spojené přes RRF, dva rerankery, MMR) nad parent-child indexem, který respektuje nadpisy, s bránou zodpověditelnosti ve stylu CRAG, která při slabém kontextu vyhledává znovu. Ověřená fakta pocházejí z deterministických volání nástrojů, odpovědi se streamují přes SSE z DeepSeek-v3.2 na CERIT.
Cesta jedné otázky
- 01Otázkačesky nebo anglicky
- 02Klasifikacezáměr, entity, jazyk
- 03Hybridní vyhledáváníBM25 plus vektory, spojené
- 04Rerankdva modely, diverzifikované
- 05Brána zodpověditelnostipři slabém kontextu hledá znovu
- 06Volání nástrojeověřené termíny, kontakty, datum
- 07GenerováníDeepSeek na CERIT
- 08Citovaná odpověďstreamovaná se zdroji
Smyčka aktuálnosti:Monitor změn sleduje všech 778 zdrojů. Každá změna spustí webhook, který přeindexuje jen danou stránku, a denní úloha projde zbytek, takže bot nikdy nezastará.
StackPythonFastAPIOpenSearchVoyage AIDeepSeek přes CERITPostHognginx
04 / Smyčka zpětné vazby
Každá schválená odpověď dělá tu další okamžitou.
CZS předalo svůj archiv skutečných otázek studentů s ověřenými odpověďmi; systém každou novou odpověď vrací zpět do tohoto archivu.
707/ 715párů Q&A ověřených zaměstnanci8 povýšených ze živých chatů
- 01Nová otázkakontrola rozsahu + shoda s FAQ
- 02Známá a ověřená?vrátí ji, nebo připraví návrh ze zdrojů
- 03Kontrola zaměstnancemúprava, schválení
- 04Zlatý párpřidá se do ověřeného FAQ
Každé schválení rozšiřuje ověřenou sadu
707 ze 715 párů už zaměstnanci ověřili a smyčka to číslo jen zvyšuje.
05 / Evaluace
Měřeno, ne dojmy
Průběžný harness LLM-as-judge hodnotí doménové otázky z FAQ CZS (skutečné historické plus generované) proti zdrojům na přesnost, podloženost a halucinace. Napříč 37 cykly a 15 362 běhy bylo 10 438 hodnotitelných odpovědí: 84 procent získalo 9 nebo 10, průměr 9,0, podloženost 8,6, halucinace kolem 1 procenta.
Jak dopadlo 10 438 hodnocených odpovědí
skóre 9 nebo 10skóre 0 až 8
Rozdělení přesnosti napříč 10 438 hodnotitelnými odpověďmi z 15 362 posuzovaných běhů. Správný zdroj se objeví mezi top výsledky retrievalu v 92 procentech případů, oproti 79 před parent-child indexem.
06 / Iterace
Co měření doopravdy zachytí
0,790,92
správný zdroj v top 7 výsledcíchMalé chunky na hledání, celé sekce na odpověď.
Postavil jsem parent-child index: shoda se hledá na malých, přesných pasážích a pak se rozšíří na celou sekci, aby model odpovídal s úplným kontextem. Správná stránka se teď dostane mezi top výsledky v 92 procentech případů, oproti 79.
15,0 s10,6 s
medián (p50) latence odpovědiRychleji, při vyšší přesnosti.
Stejný redesign retrievalu zkrátil medián latence odpovědi o 4,4 sekundy, přičemž přesnost odpovědí stoupla, neklesla. Lepší kontext se k modelu dostal v menším počtu čistších pasáží.
Nic z toho se při běžném testování neukázalo.
07 / Provoz
Tohle provozují zaměstnanci CZS. Ne já.
Zaměstnanci vidí každou konverzaci, zkontrolují cokoli sporného a aktualizují znalostní bázi bez zásahu do kódu.
Zde zobrazené obrazovky jsou ilustrační ukázky s vymyšlenými příkladovými daty; skutečné dashboardy jsou za přihlášením pro zaměstnance.
Show: StudentsProgram: AllDirection: OutgoingSearch questions...
| ID | Source | Conf. | FB | Time | Intent | Program | User query |
|---|---|---|---|---|---|---|---|
| 4821 | STUDENT | 0.94 | 8.1s | check_requirements | Erasmus+ | What documents do I need for the selection? | |
| 4820 | STUDENT | 0.88 | · | 11.4s | find_deadline | Erasmus | When is the application deadline this year? |
| 4819 | STUDENT | 0.72 | 9.7s | scholarship_query | Erasmus+ | How much is the grant for a semester in Norway? | |
| 4818 | STUDENT | 0.91 | 7.3s | find_contact | Bilateral | Who is the coordinator for my faculty? | |
| 4817 | DEV | 0.83 | · | 10.2s | explain_procedure | Internship | How do I get my traineeship certificate signed? |
| 4816 | STUDENT | 0.79 | · | 12.8s | clarify_document | BIP | Do I upload the Learning Agreement before or after? |
| 4815 | STUDENT | 0.96 | 6.9s | find_deadline | Erasmus+ | When do results of the selection come out? | |
| 4814 | STUDENT | 0.87 | · | 9.1s | check_requirements | CEEPUS | How many ECTS do I need to complete abroad? |
Conversation Database
Každá otázka a odpověď s jistotou, zdroji, zpětnou vazbou a časem odpovědi; s vyhledáváním.
Needs reviewIs the 20 ECTS requirement an Erasmus rule or an MU policy?
VerifyEdit answerResolve
Low confidenceWhich currency is the stipend paid in?
Thumbs downIs there a list of internship host institutions?
Flagged & Resolved
Odpovědi s palcem dolů a nízkou jistotou tu čekají na ověření zaměstnancem.
| Source URL | Status | Chunks |
|---|---|---|
| czs.muni.cz/.../erasmus-evropa | up to date | 35 |
| czs.muni.cz/.../prakticke-staze/erasmus | up to date | 18 |
| czs.muni.cz/.../financni-podminky | changed | 12 |
| czs.muni.cz/.../po-ukonceni-pobytu | up to date | 9 |
| czs.muni.cz/.../mezifakultni-dohody | up to date | 14 |
Manage Sources
Všech 778 monitorovaných stránek se stavem detekce změn, plus ruční nahrávání.
Can I go on Erasmus if I am over 26?match 0.91ApproveEdit
Which currency is the stipend paid in?match 0.87ApproveEdit
Is there a list of internship host institutions?match 0.82ApproveEdit
FAQ Review
Kandidáti na FAQ vytěžení ze skutečných konverzací; nic se nepřidá bez schválení člověkem.
AI navrhuje, lidé rozhodují; CZS dostává ovládání, ne smlouvu o podpoře.
08 / Soukromí
Soukromé už v základu
Žádný účet, žádný sběr osobních údajů. Konverzace se logují kvůli kontrole kvality.
Vše běží na vyhrazeném serveru pro univerzitu, ne na sdílené AI službě třetí strany, a bot čte jen veřejné stránky CZS.
Máte web plný odpovědí, které nikdo neumí najít?
Pokud se uživatelé pořád ptají na to, co váš web už zodpovídá, postavím asistenta, který tu mezeru zavře, i měření, které dokazuje, že funguje.
Asistent, kterého ovládá váš tým, s čísly, která dokazují, že funguje.