Miért fontos ez? Mert sok alkalmazott mesterséges intelligencia (AI) projekt középpontjában ez a kérdés áll.
Mit jelent a teljesítménykezelési képesség, amikor egy AI-rendszer belép egy üzleti munkafolyamatba?
Ez a kérdés sok alkalmazott AI projekt közepén áll. Egy rendszer okosnak tűnhet egy bemutatóban, és mégis megbukhat a mindennapi használat során, ha senki sem látja, hogyan viselkedik, hol lassul le, vagy hogyan tartható stabilan valós terhelés mellett.
A teljesítménykezelési képesség azoknak a módszereknek, eszközöknek és szokásoknak az összessége, amelyek lehetővé teszik egy csapat számára, hogy mérje, hogyan működik egy rendszer, időben felismerje a problémákat, és fenntartsa a használhatóságát. Egyszerűen fogalmazva: ez az a fegyelem, amely egy működő modellt vagy alkalmazást olyanná tesz, amit gondossággal lehet üzemeltetni.
Mit fed le a kifejezés
Az vállalati szoftverekben a teljesítmény nem egyetlen szám. Általában sebességet, megbízhatóságot, skálázhatóságot és költségkontrollt foglal magában. Az AI és az automatizálás esetében ehhez hozzáadódik a modell válaszideje, a átviteli kapacitás (throughput), az erőforrás-használat, valamint az eredmények stabilitása változó bemenetek mellett.
Hasznos úgy gondolni rá, mint két külön feladatra. A rendszer felépítése az egyik munka. Az egészségének megőrzése a másik.
Éppen ebben a második feladatban válik fontossá a teljesítménykezelési képesség. Lehetőséget ad a vezetőknek és mérnököknek arra, hogy egyszerű kérdéseket tegyenek fel bizonyítékokkal alátámasztva, például:
- Válaszol-e a rendszer továbbra is elfogadható időn belül?
- Növekszik-e a forgalom gyorsabban, mint ahogy a platform kezelni tudja?
- Elszigeteltek vagy ismétlődőek a hibák?
- A költségek növekedése a nagy terhelés, a gyenge tervezés vagy a hiányos felügyelet miatt van?
- Egy friss változás javította a rendszert, vagy nehezebbé tette az üzemeltetést?
Ezek műveleti kérdések, de egyben üzleti kérdések is. A lassú rendszerek megszakítják a munkát. A instabil rendszerek növelik a támogatási igényt. A pazarló rendszerek az automatizációt költségcentrummá alakítják.
Miért számít ez az alkalmazott AI-ban
Az AI-rendszerek egyfajta bizonytalansági réteget visznek be, amelyet a hagyományos szoftverek nem mindig tartalmaznak. Egy normál alkalmazás akkor hibázhat, ha kódban hiba van vagy a szerver túlterhelt. Egy AI-rendszer minőségét illetően elmozdulás (drift) léphet fel, több erőforrást fogyaszthat, mint várták, vagy máshogy viselkedhet, ha a bemeneti minták megváltoznak.
Ezért az AI teljesítménykezelése nemcsak a szerverekről szól. Fedéllel tartja a modellt, a prompt útvonalat, az adatvezetéket és az átadást az automatizálási lépések között.
A EuroOp LLC ezt általános mérnöki mintaként kezeli. A hasznos kérdés sosem az: „Meg tudja válaszolni a modell?” A valódi kérdés pedig az: „Tartja-e ki az egész útvonal, amikor a hétköznapi üzleti használat elkezdődik?”
Ez az útvonal magában foglalhatja az adatlekérdezést, az következtetést (inference), a naplózást, az emberi felülvizsgálatot és a downstream (további) cselekvést. Ha bármelyik ezek közül a részek közül gyenge, a felhasználó késésként, zavarként vagy újrakezdésként éli meg a hibát.
Kapcsolódó: Skalazhato ai rendszerek epitese vallalati adatintegracioval 4 modul
A teljesítményrendszer fő részei
Egy gyakorlatias teljesítménykezelési beállítás általában négy részből áll.
Először is a mérés. Egy csapatnak világos mutatókra van szüksége, mielőtt bármit is lehetne javítani. Egy AI munkafolyamat esetén ezek lehetnek a késleltetés, a hibaráta, a sor mélysége, az utilizáció és a manuális kezelésre történő visszatérés aránya.
Másodszor a láthatóság. A mutatóknak könnyen olvashatónak kell lenniük. A vezérlőpultok, naplók, riasztások és nyomkövetések segítenek az embereknek abban, hogy lássák, hol töltődik el az idő, és hol kezdődnek a hibák.
Harmadszor a kontroll. A láthatóság önmagában nem javít semmit. A csapatnak szükség van küszöbértékekre, visszaállítási útvonalakra, munkaterhelési korlátokra és kiadási fegyelemre, hogy a rendszert találgatás nélkül lehessen igazítani.
Negyedszer az áttekintés. A teljesítmény idővel változik. Az új adatok, az új felhasználók és az új integrációk mind eltolják a terhelést. Egy olyan rendszer, amely egy szakaszban jól működött, a következőben megterhelhetővé válhat.
Ez igaz a felhőszoftverekre, a belső automatizálásra és az AI-asszisztált műveletekre. A forma változik, de a fegyelem nem.
Egy kis példa
Képzeljen el egy céget, amely AI-t használ a bejövő ügyfélszolgálati kérések rendezésére. A modell elolvassa az üzenetet, címkézi a probléma típusát, és elküldi a megfelelő csapatnak.
Eleinte a munkafolyamat rendben tűnik. A címkék elég pontosak egy tesztcsomagban. Aztán megkezdődik a valós forgalom. Üzenetek érkeznek robbanásszerűen. Egyesek hosszúak, egyesek rövidek. Néhány hiányos kontextust tartalmaz. A válaszidő nő, és az irányítási sor kezd eldugulni.
A teljesítménykezelési képességgel rendelkező csapat láthatja, mi változott. Kiderülhet, hogy a modell lassú hosszú kéréseknél, hogy egy integrációs lépés késlelteti az átadást, vagy hogy a rendszernek jobb visszatérési szabályra van szüksége, ha a bizalom alacsony.
A példa pontja egyszerű. Ritka, hogy a probléma az: „az AI rossz.” A probléma gyakran az, hogy a környező rendszernek nincs módja a stressz mérésére és a reagálásra.
Hogyan értelmezze ezt a mintát a vezetés
Az üzleti vezetőknek nem kell minden technikai részletet ismerniük, de meg kell érteniük a probléma kereteit. A teljesítménykezelési képesség jelzi, hogy a rendszert az üzemeltetésre építették, nem csak a indításra.
Egy érett beállítás képes válaszolni a szolgáltatásszinttel, költségnyomással és változási kockázattal kapcsolatos kérdésekre. Segíti a csapatokat összehasonlítani, amit vártak, azzal, ami most történik. Csökkenti annak esélyét is, hogy egy rejtett lassulás később nagyobb hibává fajuljon.
Az AI és az automatizálás esetében ez azért fontos, mert az elfogadás gyakran egy keskeny felhasználási esettel indul, majd terjed. Egy csapat értéket lát, egy másik csapat másolja a mintát, és a terhelés gyorsabban nő, mint az eredeti tervezés. Ha a teljesítményréteg vékony, a növekedés gyorsan felfedi azt.
Ezért a jó gyakorlat általában összeköti a modellmunkát a platformmunkával. A modellt nem lehet jól izoláltan kezelni. A munkafolyamatnak, az adatoknak, az infrastruktúrának és az üzemeltetési szabályoknak együtt kell láthatóknak lenniük.
A gyakorlati tanulság
A teljesítménykezelési képesség a különbség egy olyan rendszer és egy másik között: az előbbi egy bemutatóban működik, az utóbbit pedig magabiztosan lehet üzemeltetni. Lehetőséget ad a csapatoknak arra, hogy figyeljék a terhelést, észrevegyék a problémákat, és megakadályozzák, hogy az automatizálás vak automatizálássá váljon.
A EuroOp LLC számára ez az egyik legvilágosabb alkalmazott kutatás-fejlesztési minta az vállalati AI-ban. A hasznos rendszereket már eleve a mérés szem előtt tartásával építik fel. Ez a szokás egyszerű, technikai és a legjobb értelemben vett unalmas.
Az EuroOp Insights célja, hogy ezt az ugyanazt az ötletet vigye tovább egy-egy alkalmazott kutatás-fejlesztési mintával és egy-egy gyakorlati tanulsággal a EuroOp LLC termékei mögötti folyamatból.