A modern vállalat legértékesebb vagyontárgya az információ; elégséges információ nélkül nincs hatékony üzletmenet, mert nem lehet jó döntéseket hozni – annyit mondogatták ezt a menedzsereknek a szakértők, míg azok hallgattak a jó szóra, és szorgos méhecskeként elkezdték begyűjteni a legkisebb információmorzsát is.

Pedig a világ már így is szinte fuldoklik az adattengerben. Az IDC számításai szerint csak az utóbbi három évben több adatot hozott létre az emberiség, mint az elmúlt negyvenezer év alatt összesen. Ebben a három évben a teljes adatmennyiség megnégyszereződött: 2011-ben 1,8 zettabájt (vagyis 1,8 milliárd terabájt!) információ keletkezik a világon, ami 2012-re megint csak 50 százalékkal emelkedik, elérve a 2,7 zettabájtot. Ennek az irdatlan adattömegnek a 90 százaléka ráadásul strukturálatlan adat lesz (képek, videók, egyebek). Üdvözlet a „nagy adat” (big data) szép új világában.

 

Több és gyorsabban

A puszta adatmennyiség, és annak tárolása, mentése, archiválása azonban csak egyetlen – bár nem csekély – aspektusa annak a problémahalmaznak, amit a nagy adat jelent a vállalkozások számára. Az adatoknak ugyanis nemcsak a mennyisége, hanem a változatossága is nő.

Miközben már a hagyományos, relációs adatbázisokban tárolt tranzakciós adatokból sem volt egyszerű kinyerni az üzletileg hasznos információt, a felhasználók most soha nem látott adatforrásokkal és formátumokkal találják szembe magukat: a közösségi oldalak bejegyzései, a weboldalra látogatók kattintásai, az e-mailek, a mobilokból származó földrajzi információk, a call center hangfelvételei szintén értékes információkkal szolgálhatnak.

És akkor még nem is szóltunk a közeljövőben várható ugrásszerű változásról: ha a „dolgok internete” valósággá válik, és hétköznapi tárgyak vagy kis szenzorok milliói kezdik el önteni az adatokat, minden korábbit felülmúló információmennyiségre számíthatunk.

Mindeközben az adatok kezelésének sebességére is oda kell figyelni. Egyik oldalról hihetetlen mennyiségben és tempóban érkeznek be az adatok a vállalatba (ugyanis egyre több olyan adatforrás lesz, amelyik folyamatosan zúdítja az információkat), a másik oldalról pedig egyre gyorsabban kellene ezeket feldolgozni és a felhasználók elé tálalni.

Döntéstámogatás azonnal

De ahogy az elején említettük, a mennyiségi változás már minőségi változásba csapott át: ennyi adatot ilyen célokra nem lehet a hagyományos módokon elemezni. A bonyolult adatelemzések tradicionális helye egy vállalatban az adattárház: ebbe rendszerint belső adatforrásokból töltik fel az elmúlt időszakra (napra, hétre, stb.) vonatkozó adatokat; az elemzéseket erre szakosodott, magas szintű tudással rendelkező felhasználók hajtották végre, akik a hosszú távú, stratégiai döntéshozatalt támogatták az ily módon kinyert információkkal.

A nagy adat viszont más feladat elé állítja az adatelemző rendszereket. Az adatokat valós időben kell begyűjteniük a belső és a külső adatforrásokból, és az összesített, elemzett információt nemcsak néhány tucat, hanem esetenként több száz vagy több ezer, az elemzésben nem járatos felhasználó számára kell elérhetővé tenni – mégpedig azonnal. A döntéstámogatás már nem stratégiai kérdés, hanem pillanatnyi, taktikai szükséglet. Az információelemzésnek már nem stratégiai intelligenciát, hanem működési intelligenciát kell biztosítani – mert a nagy adat nagy üzleti haszonnal is járhat.

Mit jelenthet ez a gyakorlatban? Ha manapság egy pénzintézet ügyfele valamilyen ügyben telefonál a call centerbe, ott elintézik az ügyét, megválaszolják a kérdését, és utána – jó esetben – az ügyintéző felhívja a figyelmét az éppen aktuális akcióra. A jövő vállalatában azonban az intelligens adatelemző rendszer már a telefonhívás ideje alatt feldolgozza az ügyfél eddigi történetét, összeveti viselkedését az ugyanabba a földrajzi és demográfiai szegmensbe tartozó többi ügyfél szokásaival, hozzácsapja még esetleg az éppen folyó beszélgetésből kinyert információkat, és mire végeznek, az ügyintéző már személyre szabott ajánlatot tud neki kínálni. De ugyanez működhet a webes tranzakcióknál is: miért kellene minden ügyfélnek ugyanazzal a webbankos felülettel találkozni, miért ne lehetne azt is személyre szabni neki?

 

Más módszerekkel

Egyértelmű, hogy ezekre a feladatokra a régi vágású adattárházak és elemzőeszközök alkalmatlanok. Új technológiák, új megoldások és egészen új architektúrák nyernek teret a piacon.

A nagy adat kinyerésére és tárolására például rendszerint a NoSQL (Not only SQL) adatbázis-kezelőket használják: ezek ugyanis kiválóan alkalmasak a dinamikus adatstruktúrák kezelésére, és erősen méretezhetők. Nincsenek előre definiált, kötött adatstruktúrák, bonyolult relációk az egyes adatdarabkák között – az adatbázis felett futó alkalmazások könnyen módosíthatók anélkül, hogy a mélyen fekvő rendszert újra és újra át kellene szervezni. Nem véletlenül tárolják többnyire NoSQL-ben a közösségi oldalakról származó adatokat.

 

Szervezni is másképp kell, ilyen adatmennyiség mellett már nem célszerű – sőt, sokszor fizikailag lehetetlen – egyetlen központi adattárházba integrálni az adatokat. Sokkal célravezetőbb, ha azok megmaradnak eredeti tárolási helyükön, és ahol elemezni lehet őket. Itt jön a képbe két másik, újabban egyre nagyobb jelentőségre szert tévő technológia, a Hadoop és a MapReduce. A nyílt forráskódú (Apache) alapokra épülő Hadoop olyan keretrendszer, amely lehetővé teszi nagy, de helyben tartott adatmennyiségek összekapcsolását és rendszerezését. Elosztott állományrendszerét (Hadoop Distributed File Sytem, HDFS) használják például a webes naplóállományok rögzítésére. Ezeken az óriási adathalmokon aztán a MapReduce alkalmazásprogramozási modell alapján fejlesztett szoftvereket futtatnak, amelyek elemezhetővé teszik a felhasználói viselkedést; az aggregált eredményeket ezután már be lehet tölteni egy relációs adatbázis-kezelőbe. Mindeközben arról sem szabad megfeledkezni, hogy az újfajta adatokat továbbra is integrálni és együtt elemezni kell tudni a hagyományos adatforrásokkal.

Sok és nagy a változás, de a piaci kép lassan tisztul. Az adatbázis-kezelők és az elemzőeszközök gyártói látják az igényeket, és reagálnak rájuk. Bár igazán nagy rendszereket – mint a Facebook 30 petabájtos adatbázisát – egyedileg kell összerakni, kisebb volumenű igényekre már célhardverek (appliance-ek) is beszerezhetők. Elemzők szerint a 2012-es év emellett nemcsak az új technológiák, hanem a piaci konszolidáció éve is lesz a nagy adat területén.