Delta Lake és Delta Sharing

A Delta Lake egy open-source storage framework. A parquet-en alapuló formátum az ACID tulajdonságok mellett olyan funkciókkal bővült, mint a time travel, vacuum és a schema enforcement. Szó lesz a felépítéséről és előnyeiről, a delta transaction log működéséről, bemutatunk gyakorlati példákat és a medallion architecture alapjait. Beszélünk az idén várható újdonságokról, amelyeket a gyorsan növő felhasználói bázis már nagyon vár, valamint a Delta Sharing-ről.

Greilich Imre
Data Engineer, Datapao

Sok éven át az Intrum Zrt. data engineer / BI csapatát vezettem, itt főként adatbázis, adattárház és adatvizualizáció témákkal foglalkoztunk. 2021 óta a Datapao Kft-nél dolgozom data engineerként. Itt jellemzően az adott feladat függvényében valamelyik felhő platformon kialakított környezetre tervezek, építek, optimalizálok adat pipeline-okat.