Výstupy umělé inteligence (AI) mohou být předpovědi, obsah, doporučení nebo rozhodnutí. Systémy AI jsou softwarové systémy, které využívají data k produkci výstupů. Systém přijme vstup, aplikuje model a vrátí výsledek, který může ovlivnit člověka, proces nebo stroj.
To je přímá odpověď. Užitečným detailem je, že systém AI je širší než samotný model AI.
Modelem je ta část, která nachází vzorce v datech. Systém AI však zahrnuje také zdroj dat, pravidla, softwarové nástroje, uživatelské rozhraní, bezpečnostní kontroly a proces revize kolem tohoto modelu. V obchodním využití musí tyto části fungovat společně.
Toto rozlišení má význam. Model může psát text nebo hodnotit záznam. Širší systém rozhoduje o tom, jaká data může vidět, kam jeho výstup putuje a zda výsledek kontroluje člověk.
Systém kolem modelu
Jednoduchý systém AI může přijít se zprávou od zákazníka. Může klasifikovat zprávu, najít související záznamy, vypracovat návrh odpovědi a odeslat jej zaměstnanci. Každý krok má svou roli.
Model může identifikovat téma. Datová služba může poskytnout minulé zprávy. Pravidlový engine může blokovat soukromá data. Jiný systém může zaznamenat výsledek. Člověk může schválit finální odpověď.
Proto práce s AI často vypadá jako systémové inženýrství. Model je pouze jednou z částí toku.
Užitečný systém AI má jasný úkol. Má také jasné místo v obchodním procesu. Například může systém třídit příchozí dokumenty před tím, než je zaměstnanec přečte. Může pomáhat při hledání interních informací. Může označit neobvyklou aktivitu pro další kontrolu.
Tyto úkoly nemusí všechny vyžadovat stejný typ modelu. Některé využívají strojové učení pro skóre nebo předpovědi. Některé používají jazykové modely k vytváření nebo klasifikaci textu. Některé kombinují obojí s pevnými obchodními pravidly.
Volba závisí na úkolu. Jazykový model může pomoci vysvětlit záznam. Pro přísný výpočet však může být nevhodný. Pevné pravidlo může být lepší, když musí odpověď vycházet ze známé podmínky.
Tohle je jeden z prvních bodů, které používáme při uvažování o aplikované AI. Otázka není jen „Může to udělat model?“ Lepší otázkou je: „Jakou roli by měl model hrát v celém procesu?“
Jak funguje systém AI
Systém AI obvykle prochází sadou fází.
Nejprve systém přijme vstup. Může jít o text, obrázek, zvukový soubor, záznam v databázi nebo čtení z senzoru.
Následně model tento vstup zpracuje. Během tréninku se model učí vzorce z příkladů. Během provozu tyto vzorce aplikuje na nové vstupy.
Systém poté vrátí výstup. Může vygenerovat skóre, štítek, shrnutí, doporučení nebo generovaný text.
Po té výstup vstupuje do obchodního procesu. Může spustit zprávu, aktualizovat záznam, podpořit rozhodnutí nebo počkat na lidskou revizi.
Poslední fáze je často opomíjena. Systém musí být po spuštění sledován. Data se mohou měnit. Chování uživatelů se může měnit. Model může dobře fungovat při testech a špatně v novém prostředí.
OECD popisuje životní cyklus systému AI, který zahrnuje design, práci s daty, tvorbu modelu, testování, nasazení, monitorování a vyřazení z provozu. Tyto kroky se mohou opakovat a nemusí vždy probíhat přímočaře.
Tento pohled je užitečný, protože považuje provoz za součást systému. Model není hotov, když poprvé vydá odpověď. Jeho chování stále potřebuje revizi.
V praktickém provedení může monitorování zahrnovat kontroly chyb, protokoly přístupu, vzorky odpovědí, sledování nákladů a zpětnou vazbu uživatelů. Přesné kontroly závisí na systému a na škodě, kterou by chyba mohla způsobit.
Systém, který tvoří interní poznámky, má jinou úroveň rizika než ten, který pomáhá při rozhodování o přístupu, bezpečnosti nebo penězích. Design by měl tento rozdíl reflektovat.
Tvrdá hranice
Systémy AI mohou produkovat užitečné výsledky bez toho, aby rozuměly úkolu lidským způsobem. Detekují vzorce z dat a využívají je k vytvoření výstupu.
To vytváří základní limit. Plynulá odpověď může být stále nesprávná. Důvěryhodné skóre může stále odrážet špatná data. Systém může také opakovat předsudky nalezené ve svých tréninkových nebo provozních datech.
Riziko není omezeno pouze na falešné informace. Mezi další problémy patří úniky dat, slabé kontroly přístupu, nejasná odpovědnost a špatné zapadnutí do reálné práce. Systém může být technicky působivý a přesto selhat jako obchodní proces.
NIST uvádí několik kvalit spojených s důvěryhodnou AI. Patří mezi ně spolehlivost, bezpečnost, zabezpečení, odpovědnost, transparentnost, soukromí a spravedlnost. Žádná jedna kvalita nevyřeší každý problém. Každou z nich je třeba zvážit v prostředí, kde systém operuje.
Lidská revize má také své limity. Člověk může schválit slabé výstupy, když systém vypadá spolehlivě. Revize funguje nejlépe, když má revizor dostatečný kontext, čas a pravomoc zamítnout nebo opravit výsledek.
Potřeba revize se také liší podle úkolu. Návrh s nízkým rizikem může potřebovat lehkou kontrolu. Rozhodnutí s vysokým dopadem může vyžadovat silnější kontroly, jasnou evidenci a způsob, jak systém zastavit.
Stále existuje nejistota ohledně toho, jak měřit mnoho kvalit systémů AI. Přesnost může být pro jeden úkol snadno měřitelná. Spravedlnost, vysvětlitelnost a dopad v reálném světě mohou být obtížnější. Dobrá sada testů nemusí reprezentovat každého uživatele ani budoucí podmínky.
Z tohoto důvodu by měly být systémy AI hodnoceny v jejich plném prostředí. Pouhé skóre modelu neprokazuje, zda je systém bezpečný, užitečný nebo vhodný pro práci.
Praktický vzorec je jednoduchý: definujte úkol, omezte roli systému, otestujte celý tok a sledujte jeho použití. To neodstraňuje nejistotu. Zvyšuje však možnost ji vidět a spravovat.
Hlavní myšlenka stojí za to si ji udržet na paměti. AI není jediná funkce umístěná uvnitř firmy. Je to pracovní systém složený z dat, modelů, softwaru, pravidel, lidí a kontrol.
V EuroOp tento pohled na systém formuje náš obecný inženýrský přístup. Aplikovaná AI funguje nejlépe, když má model jasnou práci a okolní proces má jasné limity. Výsledek by měl být hodnocen podle kvality celého toku, nikoli podle schopnosti modelu vytvořit působivou ukázku.
To je také praktické ponaučení z systémů AI: navrhněte cestu kolem výstupu ještě předtím, než začnete hodnotit samotný výstup. EuroOp Insights pokračuje ve stejném zaměření, sdílí jeden vzor aplikovaného výzkumu a vývoje a jedno praktické ponaučení z pipeline za produkty EuroOp.