Az előadásban egy Databricks-re elkészített keretrendszer mentén fogom bemutatni és ütköztetni a régi klasszikus adattárházas és a jelent képviselő lendületes felhő alapú adatplatformok világát.
Az előadás ezt a konkrét implementációt csupán működő referenciaként használja fel, és magasabb, általános szinten tárgyalja a hozzá kapcsolódó fundamentális elveket, megfontolásokat és funkciókat.

Az adatos projektek számos aspektusát érintjük, górcső alá véve egyaránt technikai, kulturális és metodikai szempontokat, ütköztetve a már bevált és feltörekvő nézeteket. Ezeket öt különálló epizódban vesszük sorra, amik önálló témákat dolgoznak fel, de köztük pozitívan értelmezett állatorvosi lóként funkcionálva, mégis megteremti a kohéziót az ETL keretrendszer, melynek alkalmazása mindkét érában elengedhetetlen bizonyos komplexitás és érettségi szint felett.

Az előadás során többek közt a következőket tárgyaljuk:

• ETL keretrendszerek általános szerepét, funkcióit, erősségeit, hatását a projektre
• Adatmodellezési kérdéseket és szempontokat
• AI által támogatott fejlesztést, tesztelést, tervezést, felmérést
• Általános szoftverfejlesztési módszertanokat és azok adatos projekteken való alkalmazását
• ETL fejlesztők és született Data Engineer-ek közti hidat és szakadékot
• Technikai kérdéseket (ACID tulajdonságok, örökifjú SQL, időkezelés)

Mózsa Vince több mint húsz év data management (adattárház, bi, big data) tapasztalattal rendelkezik. Számos nemzetközi nagyvállalatnál (Oracle, Teradata) és kisebb tanácsadó cégeknél dolgozott adattárház és big data konzulensként. Alapvetően technikai, megvalósító vonalon tevékenykedett - ETL fejlesztő, adatmodellező, ETL tervező/szervező, architect, technical lead szerepkörökben.