Az ETL először bont, az ELT pedig először tölt – miért más az AI méretezés?
Milyen problémát old meg egy adatvezeték (data pipeline), mielőtt az AI egyáltalán dolgozni tudna?
Megoldja a nyers adat és a használható adat közötti szakadékot. A modellek nem tanulnak egy zajjal teli adattárból. Azokból az adatokból tanulnak, amelyek tiszták, formázottak, és elég megbízhatóak ahhoz, hogy lehessen rájuk támaszkodni.
Az EuroOp LLC számára ez az AI-munkának az a része, amelyet az emberek gyakran félreértelmeznek. A modell kapja a figyelmet. A vezeték végzi a nehéz munkát. Az adatokat adatbázisokból, API-kból, fájlokból, naplófájlokból és érzékelőkből veszi, majd ezt a káoszt olyan formába önti, amit a szoftverek fel tudnak használni. Ezért állnak a vezetékek az alkalmazott AI középpontjában, nem pedig a peremén.
Egyszerűen úgy is lehet róluk gondolkodni, mint a data útvonaláról, mielőtt támogatni tudna egy előrejelzést, egy jelentést vagy egy automatikus műveletet. Ha ez az útvonal törött, lassú vagy következetlen, a fölötte lévő rendszer csendes módon kezd el hibázni. Rossz címkék csúsznak be. A duplikált sorok halmozódnak. Az friss jelek túl későn érkeznek. A modell még futhat, de az üzleti eredmény gyengébb lesz.
A vezetékek fontosságának fő oka alapvető. Az AI-rendszereknek térfogatra, szerkezetre és következetességre van szükségük. A nyers adat ritkán érkezik ebben az állapotban. Gyakran egyenetlen formátumokban jön, hiányzó mezőkkel, extra zajjal és ütköző értékekkel. Egy vezeték teszi az adatot használhatóvá anélkül, hogy az emberektől megkövetelné minden sor kézi tisztítását.
Itt lépnek képbe az ETL és az ELT.
Az ETL az extract, transform, load (kibontás, átalakítás, betöltés) rövidítése. A munka onnan indul, hogy az adatot kivonják egy forrásból. Aztán megtisztítják, újrahordozzák és ellenőrzik. Csak utána töltik be a célrendszerbe, például egy adattárba vagy adatbázisba. Ez a stílus jól illeszkedik a régebbi üzleti intelligencia beállításokhoz, különösen ott, ahol a csapatok szoros kontrollt akarnak gyakorolni, mielőtt az adat leérkezik a célpontba.
Az ELT más sorrendet használ. Kibontja az adatot, először nyers formában tölti be, és csak ezután alakítja át a tárolás után. Ez jól működik az olyan felhőalapú rendszerekben, amelyek nagy nyers adathalmazokat tudnak tárolni, és később több számítási erőforrással feldolgozni őket. Emellett megőrzi az eredeti adat elérhetőségét. Ez fontos, amikor különböző csapatok eltérő nézeteket szeretnének látni ugyanazon a forráson.
A különbség nem arról szól, hogy az egyik jó, a másik pedig rossz. Arról szól, hol történik a munka.
Az ETL abba a munkafolyamatba illik, amely azt szeretné, ha az adat már formázva lenne, mielőtt bárki látná azt a lefelé tartó áramlásban. Az ELT abba a munkafolyamatba illik, amely a sebességet keresi az elfogadásnál és a rugalmasságot később. Egy hagyományos környezetben az ETL természetesebbnek tűnhet, mert az adatmennyiség gyakran kisebb, és a folyamat fixebb. Egy felhőnatív környezetben az ELt gyakran könnyebb bővíteni, mert a nyers adat továbbra is elérhető az új felhasználási esetekhez.
Egy kis példa világossá teszi ezt.
Képzeljen el egy céget, amely ügyfélszolgálati naplókat gyűjt. A naplók egy jegykezelő rendszerből, egy chat eszközökből és egy call center exportból érkeznek. ETL esetén a csapat először kibontaná ezeket a rekordokat, tisztítaná az időbélyegeket, eltávolítaná a duplikátumokat, normalizálná a mezőket, és alkalmazná az üzleti szabályokat, mielőtt betöltené őket az adattárba. ELT esetén a csapat először lerakná a nyers naplókat a tárolóba, majd később átalakítaná őket elemzésre, keresésre vagy modellképzésre.
Az üzleti hatás eltérő. Az ETL egy kontrolláltabb utat biztosít a betöltés előtt. Az ELT több teret ad arra, hogy ugyanazokat a nyers rekordokat többféleképpen újra felhasználják. Az AI-munka szempontjából ez az újrafelhasználás gyakran a lényeg. Egyik csapatnak可能需要 egy jelentéstáblázat. Egy másiknak funkciókat egy modellhez. Egy harmadiknak a nyers rekordokat egy későbbi kísérlethez. Az ELT nyitva tartja ezt az ajtót.
Ezért vannak a vezetékek ennyire szorosan kötődve az AI méretezéséhez. Amikor az adat néhány fájlról milliókra skálázódik, a kézi tisztítás már nem reális. Amikor az adat valós időben mozog, a csak kötegelt (batch) gondolkodás túl lassúvá válik. Amikor egy modell szövegtől, képektől, hangtól vagy érzékelőáramlástól függ, a vezeték válik abból a részéből, amely elsőként alkalmassá teszi az adathalmazt a használatra.
Ugyanez a minta több AI-feladatban is megjelenik.
A szöveg-, kép- és hangelőkészítés nagy méretű előfeldolgozástól függ. A valós idejű analitika olyan streamektől függ, amelyeket elég gyorsan lehet elfogadni és ellenőrizni, hogy számítson. A funkciófejlesztés (feature engineering) ismétlődő átalakításoktól függ, amelyek használható bemeneteket hoznak létre az előrejelzéshez. A nagy nyelvi modellek tudásbázisai pontos, strukturált adatfolyamoktól függenek a képzési és lekérdezési rendszerekbe. Minden esetben a vezeték a csendes rendszer, amely lehetővé teszi, hogy az AI réteg egyáltalán működjön.
Az eszközök ezt a munkamegosztást tükrözik. Az ETL-rendszerek, mint a Talend, Informatica Power Center, Apache NiFi és Microsoft SSIS régóta támogatják a betöltés előtti átalakítást. Az ELT-rendszerek, mint a dbt, Snowflake, BigQuery és Databricks felhő-alapú terhelésekre épülnek, ahol az átalakítás akkor történhet meg, miután az adat leérkezett. Az orchestration eszközök, mint az Apache Airflow, Prefect, Dagster és Luigi segítik a feladatok sorrendben történő futtatását. A streaming eszközök, mint a Kafka, Flink, Spark Streaming és AWS Kinesis kezelik azokat az adatokat, amelyek nem várhatnak meg egy éjszakai kötegelt feldolgozást.
Ez a technológiai stack csak akkor hasznos, ha magát a vezetéket architektúraként kezelik. Nem egy mellékfeladat. Ez az a réteg, amely védi a modell minőségét, fenntartja a feladatok ismételhetőségét, és lehetővé teszi a növekedést anélkül, hogy mindent nulláról kellene újraépíteni. A jó vezetékekhez hiba kezelés, egyértelmű naplók, minőségi ellenőrzések és újra felhasználható moduláris részek is szükségesek. Enélkül a diszciplína nélkül az adatáramlás gyorsan törékennyé válik.
Az EuroOp LLC ezt gyakorlati tanulságként kezeli, nem szlogenként. Az AI nem a modell promptjával vagy a képfutással kezdődik. Az adattal kezdődik, amelyet az adat megtett az útja, mielőtt elérné a modellt. Az ETL és az ELT két módja annak, hogy ezt az utat felépítsék, és a helyes választás a terheléstől, a rendszertervtől és az adat méretétől függ.
Ezt megértő olvasó most már tudja megkülönböztetni azt a vezetéket, amely először készíti fel az adatot, és azt, amely először tárolja a nyers adatot. Ez valódi változás abban, hogyan ítéli meg az AI-rendszereket. A figyelmet a modellről az infrastruktúrára irányítja, amely használhatóvá teszi a modellt.
Ez a minta, amelyet az EuroOp Insights folyamatosan visszatérően tárgyal: egy alkalmazott K+F minta, egy gyakorlati tanulság, a EuroOp LLC termékei mögötti vezetékből.