Az adatplatform skálázása a Shapr3D-nél

Haller Bálint
Data Engineer, Shapr3D

A Shapr3D egy könnyen kezelhető, de profi 3D tervező app több platformon. Amilyen gyorsan fejlődik a cég terméke, ugyanolyan gyorsan nő cég felhasználóbázisa is, ami nem kis kihívás elé állítja a Data Engineering csapatot. Az előadás alatt két témát dolgozunk fel, amik hasznosak lehetnek hasonló fázisban lévő cégeknek:

1. Hogyan alakítottuk ki az adatplatformunkat, hogy elősegítsük a döntéshozók és data scientistek munkáját megbízható és időszerű adatokkal, valamint hogyan alkalmazkodunk a különböző típusú beérkező adatokhoz. Egy AWS alapú data lake a platform magja, amin Spark-ban írt ETL jobok futnak. Az előadás alatt részletesen beszámolok ezeknek az előnyeiről, hátrányairól és tanulságairól.

2. Mit teszünk azért, hogy egészséges adatvezérelt gondolkodást alakítsunk ki a cégen belül, ami segít eligazodni és értelmezni a rendelkezésre álló információt. A megfelelő adatok begyűjtése csak a kezdet, segítenünk kell, hogy az azokból levont következtetések is megfelelőek legyenek.

Előadó

Mérnök informatikusként végeztem a BME-n, majd Data Science-t tanultam a University of Glasgow-n. Pár évet töltöttem a Skyscanner-nél mind fejlesztőként, mind data scientistként. Végül Data Engineer-ként landoltam a Shapr3D-nél, ahol egy nagyon gyorsan növekvő cég adatétvágyát igyekszem kielégíteni, és a döntéseket segíteni megbízható, időszerű adatokkal.

Szekciók: Enterprise Data · Startup Data · Data Platform