Data+ML Workshopok • Június 10. hétfő
Apache Airflow workshop
2x80 perces workshop • Magyar nyelven • Személyes
Áttekintés
A workshop bevezetést nyújt a data orchestration világába, különös tekintettel az Apache Airflow használatára.
Az első részben megismerkedünk az Airflow architektúrájával, helyi és felhőbeli telepítési lehetőségeivel, valamint az Airflow UI és CLI képességeivel. Áttekintjük a DAG-ok felépítését és az Airflow egyéb alapvető technikai komponenseit ( connection, variable, XCom).
A második részben mélyebben elmerülünk a DAG írási best practise gyakorlatokban, különböző ütemezési megoldásokban és a dinamikus task mapping alkalmazási lehetőségeiben.
Szó lesz az Airflow különböző executor típusairól is, valamint az Astronomer Cosmos projekttel is meg fogunk ismerkedni, amely használatával Airflow-DBT integráció valósítható meg.
Előadó
Szécsi Péter villamosmérnök szakon diplomázott és hosszú ideje dolgozik az adatos világban. Különböző adatplatformokat tervezett vállalati és startup környezetben egyaránt, dolgozott BI megoldásokon, valamint gépi tanulási/mesterséges intelligencia projekteken. Szabadidejében nyílt forráskódú adatprojektekhez járul hozzá, mint például a Great Expectations, a Codium PR-Agent és az Astronomer-Cosmos.