Big Data valós időben, való életben – tapasztalatok Apache Kylin-nal

Jól megfigyelhető trend a Big Data platformok fejlődésében az elmozdulás a magasabb absztrakciós szintek és a valós idejű adatfeldolgozás felé. Az Apache Kylin pontosan ezt ígéri, de mi kell ahhoz, hogy egy ilyen rendszer éles üzemben megbízhatóan működjön?

Tekintsünk bele abba, hogy egy nagy amerikai ügyfelünk számára “Smart City” témában kialakított real-time big data rendszer építése során milyen valós problémákkal találkoztunk, azokat hogyan oldottuk meg, és mit hogyan automatizáltunk. Kitérek arra is, hogy felhő környezetben (AWS) milyen alternatívákat mérlegeltünk a rendszer üzemeltetésére, és végül mi mellett döntöttünk.

Nagy András István
Solution Architect, EPAM

András Solution Architect, aki használható szoftvert szeret fejleszteni. Az utóbbi években főleg felhő alapú Big Data rendszerek és adatplatformok kialakításában segíti ügyfeleit a “data-driven” működés felé vezető rögös úton (pl. Flixbus DE). Dolgozott korábban az LMAX (UK) alacsony válaszidejű tőzsdei platformjának fejlesztésén, újabban pedig a gépi tanulás a fókusza. Szereti a funkcionális programozást és a jó teákat.