Čo je skutočnou úlohou dát v systémoch umelej inteligencie a ako spolu zapadajú datová veda, analytika a inžinierstvo?
To je kľúčová otázka tejto lekcie. Pre mnohé tímy znejú tieto pojmy podobne. V praxi však vykonávajú rozdielne práce. Jasný pohľad na tieto úlohy pomáha podnikom vyhnúť sa zmätku, slabému predávaniu dát a zlým výsledkom modelov.
Tri role dát, tri rôzne práce
Datová veda (data science) sa zameriava na používanie pokročilých metód na hľadanie vzorcov a tvorbu predpovedí. Je najbližšie k strojovému učeniu. Datový vedec sa pýta, čo sa stane ďalej, a ako môže firma využiť tento vhľad.
Dátová analytika má užšiu úlohu. Študuje dáta z minulosti, aby vysvetlila, čo sa stalo a prečo. Je určená pre reportovanie, prehľady trendov a obchodné otázky, ktoré si vyžadujú jasnú odpoveď založenú na histórii.
Dátové inžinierstvo podporuje obe predchádzajúce oblasti. Buduje systémy, ktoré zbierajú, ukladajú, presúvajú a pripravujú dáta. Bez tejto práce analytici a datoví vedci často trávia svoj čas opravou chybných dát namiesto ich používania.
Jednoduchý spôsob, ako si pamätať toto rozdelenie, je nasledovný. Dátová veda sa pozerá do budúcnosti. Dátová analytika sa pozerá do minulosti. Dátové inžinierstvo udržiava potrubia priepustné.
Čo potrebuje každá rola
Sada zručností je odlišná zo zdravého dôvodu. Dátová veda často využíva Python, štatistiku, strojové učenie, vizualizáciu a obchodný úsudok. Potrebuje dostatočnú technickú hĺbku na budovanie a testovanie modelov a dostatočný obchodný cit na pochopenie toho, aký problém je dôležitý.
Dátová analytika závisí od SQL, nástrojov na reportovanie a jasnej komunikácie. Jej práca musí byť ľahko vysvetliteľná. Report má malú hodnotu, ak ho líderi nedokážu rýchlo prečítať a konať podľa neho.
Dátové inžinierstvo sa spolieha na databázy, softvérové inžinierstvo, cloudové systémy a prácu ETL. ETL znamená extract, transform, load (extrahovať, transformovať, načítať). Ide o prácu presunu dát z surového stavu do použiteľného tvaru.
Toto rozdelenie je dôležité, pretože každá rola zodpovedá na iný typ otázky. Dátová veda sa pýta, čo sa stane a ako to použiť. Analytika sa pýta, čo sa stalo a prečo. Inžinierstvo sa pýta, ako zabezpečiť spoľahlivosť a dostupnosť dát.
Prečo kvalita dát rozhoduje o výsledku
Systémy umelej inteligencie závisia od dát, z ktorých sa učia. Ak sú dáta nekvalitné, model sa často naučí nesprávnu vec. Toto pravidlo je jednoduché a platí aj v reálnej praxi.
Kvalita je v mnohých prípadoch dôležitejšia než čisté množstvo. Menšia čistá sada dát môže byť užitočnejšia než veľká neusporiadaná. Čisté dáta sú ľahšie dôveryhodné, ľahšie testovateľné a ľahšie vysvetliteľné, keď sa model správa nepredvídateľne.
Kvalita tiež znamená, že dáta musia zodpovedať úlohe. Chýbajúce hodnoty, zašumené polia, zlé štítky a zastarané záznamy môžu oslabiť výsledok. Bias (predpojatost) môže tiež skresliť trénovaciu sadu a pritiahnuť systém smerom k nesprávnemu vzoru.
Z tohto dôvodu začína práca s AI zvyčajne dátovým pipeline, nie modelom. Tímy preskúmavajú zdroj, kontrolujú tvar, odstraňujú chyby a rozhodujú, ktoré dáta majú ponechať. Je to bežná práca, ale je to práca, ktorá chráni zvyšok systému.
Jednoduchý príklad z operácií
Predstavte si servisný tím, ktorý chce predpovedať výpadok, kým sa nerozšíri. Tím má protokoly (logy), metriky a stopy (traces) zo svojich systémov.
Protokoly poskytujú textové záznamy udalostí. Metriky poskytujú čísla, ako je využitie CPU, využitie pamäte a oneskorenie. Stopy zobrazujú cestu požiadavky cez služby krok za krokom.
Dátový inžinier sa stará o to, aby boli tieto prúdy dát zbierané a ukladané spôsobom, ktorý umožňuje ich použitie. Dátový analytik môže preskúmať minulé incidenty a zhrnúť bežné príznaky. Dátový vedec môže natrénovať model, ktorý hľadá skoré varovné vzory a označuje riziko pred tým, než sa zlyhanie zhorší.
Ak sú protokoly neúplné, metriky sú oneskorené alebo stopy nespolupracujú, model bude mať problémy. Môže prehliadnuť skutočný signál alebo si jeden vymyslieť. To je dôvod, prečo AI v operáciách závisí najskôr na štruktúrovaných, čistých a relevantných dátach.
Príklad je malý, ale vzor je bežný. Systémy umelej inteligencie používané v podnikových prostrediach často fungujú najlepšie, keď sú vstupy už organizované pre ľudské tímy. Stroj potom staví na základe, ktorý je už stabilný.
Ako spolu kusy pracujú
Praktická hodnota vyplýva z predávania úloh medzi týmito tromi rolami. Dátové inžinierstvo buduje základ. Dátová analytika rozpráva príbeh minulosti. Dátová veda využíva pripravené dáta na vytvorenie predpovedí alebo rozhodnutí.
To neznamená, že každá spoločnosť potrebuje tri veľké tímy. Menšie skupiny často kombinujú tieto povinnosti. Aj vtedy tieto povinnosti existujú a systém stále potrebuje, aby boli oddelené v myslení.
Keď sú tieto práce rozmazané, práca sa spomaľuje. Dátový vedec môže stráviť príliš veľa času čistením súborov. Analytikovi môže byť uložené predpovedanie namiesto vysvetlenia. Inžinierovi môže byť uložené hádanie obchodného významu bez jasného zadania problému.
Keď sú roly jasné, prácu je ľahšie riadiť. Dáta sa pohybujú s menším trením. Otázky sú zodpovedané správnou metódou. A projekty AI majú väčšiu šancu začať od užitočného základu.
Pre EuroOp LLC je toto jedna z najsilnejších aplikovaných vzorov AI, aké vidíme v praxi. Model je zriedka prvým problémom. Prvým problémom je zvyčajne dátová cesta okolo neho.
Tím, ktorý to chápe, dokáže čítať systém AI s väčšou opatrnosťou. Dokáže vidieť, prečo sú dôležité protokoly, metriky a stopy. Dokáže rozlíšiť medzi reportom, modelom a pipeline. To je moment, keď AI začína vyzerať menej ako magia a viac ako inžinierstvo.
EuroOp Insights sleduje rovnaký praktický vzor, s jednou aplikovanou nápadom na výskum a vývoj a jedným jasným ponaučením z pipeline za produktmi spoločnosti EuroOp LLC.