English

What nobody told me about running ETL system

Manapság nem ütközik nagy nehézségekbe egy ETL rendszer használatának elkezdése. A felhasználók számos remek, nyílt forráskódú megoldás közül válogathatnak, ilyen például a Luigi vagy az Airflow. Ahogy azonban nő a feldolgozások száma, úgy kezdünk egyre több problémába ütközni. Mi a Prezinél sok nehézség árán tanultuk meg, hogyan kell egy olyan ETL környezetet kiépíteni, ami nagyszámú feldolgozás kezelésre alkalmas és mégis könnyen programozható.

Németh Tamás
Data Engineering Tech Lead, Prezi

Tamás több mint 10 éves szoftvermérnöki tapasztalattal bír, amelyet többek között PKI és pénzügyi alkalmazások területén szerzett. Jelenleg a Prezinél gondoskodik arról, hogy az adat infrastruktúra szilárd lábakon álljon: megbízhatóan működjön, és legyen vele öröm dolgozni.