AI a lokální modely
Model vybereme podle úlohy a spustíme ho tam, kam smějí vaše data: na vašem nebo našem serveru, nebo přes API bez trénování na vašich datech. Odpovědi mají zdroj a o nevratných krocích rozhoduje člověk.
Co umíme
Práci s AI skládáme z dílů, které známe do detailu. U každého je popsané, jak funguje, a na příkladu, co udělá.
-
Lokální modely
Model běží na vašem nebo našem serveru a data neopustí infrastrukturu. Na hledání podle významu stačí server bez grafické karty, větší modely běží na serverech s GPU.
Úloha hledání podle významu na tomto webu výsledek model na našem serveru, bez GPU
-
Modely přes API
U méně citlivých úloh použijeme API poskytovatele v režimu bez trénování na vašich datech. Kam data smějí, rozhodujete vy.
Úloha shrnutí veřejných textů výsledek API bez trénování na vašich datech
-
Výběr a výměna modelu
Na vzorku vašich dat porovnáme několik modelů v odpovědích, rychlosti i ceně. Aplikace s modelem mluví přes jednotné rozhraní, takže model jde později vyměnit.
Situace jiný poskytovatel modelu výsledek změna nastavení, aplikace beze změny
-
Hledání podle významu
Text převedeme na vektor a dotaz najde dokument podle smyslu, i když v něm nejsou stejná slova. Když model neodpoví, hledání běží dál fulltextem.
Dotaz napojení na umělou inteligenci výsledek stránka o AI ve firmě, bez shody slov
-
Odpovědi se zdrojem
Asistent odpovídá z vašich dokumentů a u každé odpovědi ukáže, z čeho vychází. Vidí jen data, na která má uživatel oprávnění.
Dotaz dotaz nového kolegy vlastními slovy výsledek odpověď s odkazem na dokument
-
MCP servery
Postavíme MCP server, přes který se AI asistent dostane k vašim systémům a datům. Vidí jen to, na co má uživatel oprávnění, a nevratné akce potvrzuje člověk.
Dotaz dotaz v asistentovi na stav objednávky výsledek odpověď přímo z vašeho systému
-
Text, obraz i zvuk
Z volného textu, e-mailů, fotek a skenů přečte údaje jako člověk, hovory a schůzky přepíše a shrne. Umí i jiné jazyky, než ve kterém se ptáte.
Zdroj volný text dražební vyhlášky výsledek údaje v záznamu nemovitosti
-
Kontrola odpovědí
Ukládáme, co model dostal a co vrátil, a chráníme ho před prompt injection. Po výměně modelu nebo změně promptu odpovědi znovu projdeme na testovacích příkladech.
Situace změna promptu výsledek odpovědi znovu na testovacích příkladech
-
Náklady pod kontrolou
Pilot ukáže cenu jednoho dotazu v provozu. Spotřeba má strop a opakované dotazy jdou z mezipaměti, takže se nepočítají znovu.
Situace opakovaný dotaz na tomto webu výsledek z mezipaměti, bez nového výpočtu
Jak to stavíme
Začínáme úlohou, ne modelem. Nejdřív malý pilot na vzorku vašich dat, o rozsahu se rozhoduje podle výsledku. Řekneme i to, kde AI nepotřebujete.
-
Úloha a data Co má AI dělat, na jakých datech a jak poznáme, že pracuje dobře. Bez třetího bodu nemá smysl začínat.
-
Pilot a porovnání modelů Nad vzorkem vašich dat zkusíme víc variant a ukážeme rozdíl v odpovědích, rychlosti i ceně.
-
Nasazení a provoz Napojení do systému, limity spotřeby, záznam dotazů a průběžné doladění podle skutečného provozu.
Technologie
- Lokální modely
- Ollama, otevřené modely jako Gemma nebo Qwen
- Modely přes API
- ChatGPT, Claude, Gemini, v režimu bez trénování na vašich datech
- Napojení do aplikace
- Symfony AI, Node.js, Python
- MCP servery
- napojení AI asistentů na vaše systémy a data
- Vektory a hledání
- PostgreSQL s pgvector, index HNSW
- Servery
- servery s GPU i bez ní, privátní instance u poskytovatele
Je to výběr, model volíme podle úlohy, citlivosti dat a rozpočtu a jde vyměnit bez přepisování aplikace.
Kde u nás modely pracují
AI čte údaje z volného textu a pomáhá v administraci. Na tomto webu hledá podle významu na našem serveru.
Umíme toho hodně
Model je jen tak dobrý jako data a hledání pod ním. Z těchto schopností skládáme každý projekt.
- Propojení systémů a sběr dat Systémy od různých dodavatelů v jednom celku. Adol Monitor čte desítky zdrojů denně.
- Pokročilé vyhledávání v datech Překlepy i význam, stovky tisíc záznamů, odezva v desítkách milisekund.
- Servery a provoz Od sdíleného serveru po vyhrazené servery a cloud. Navrhneme, provozujeme, hlídáme nonstop.
- Rychlost a výkon Web, který se načte během mrknutí oka, i portál pro desítky tisíc lidí denně.
- Mapy a geodata Adresy na správném místě, hledání v okolí a plánování cest.
- Dohledatelnost a měření Vidět ve vyhledávačích i u AI asistentů. Měření vašich cílů, i bez cookies.
- Cookies, GDPR a přístupnost Lišta se souhlasy podle pravidel, kde to jde, i web bez ní. Přístupnost od začátku.