Data Science infrastruktúra skálázása a felhőben
Naponta több ezer, R-ben és Pythonban írt modellt tanítunk felhőben futó, csak a szükséges időre létrehozott gépeken, amelyeket a jobok korábbi futása alapján méretezünk. Mindezt egy saját Python script teszi lehetővé, amely Kubernetes, vagy a hozzá hasonló vaskosabb frameworkök nélkül, az alap felhős szolgáltatásokat és a Dockert használva találja meg az optimális erőforrásokat, saját teljesítménymérések, központi teljesítményadat-tárolás és egy rugalmas ütemező segítségével.
Az előadásban megosztjuk a megoldás részleteit, beszélünk a folyamatainkról és arról, amit közben tanultunk.
Nagy Attila
Senior DataOps Engineer, System1
Nagy Attila villamosmérnökként végzett, de a fizikai világ elektronjainak bizsergető érzését hamar elnyomták a feszültségszintek analóg világból felemelkedett leszármazottai: a bitek.
1997 óta foglalkozik internetes informatikai szolgáltatások infrastruktúrájának tervezésével, építésével, illetve üzemeltetésével és minden mással, ami ezekkel kapcsolatos.
A nyílt forrás és azt körülvevő közösség elkötelezett tagja, 22 éve működteti az egyik legnagyobb magyarországi szabad szoftver mirrort, illetve névadója és 15 évig adminisztrátora a HUP.hu portálnak.
Jelenleg Sr. DataOps Engineer a System1-nál, ahol a cég Data Science csoportjának próbál segítséget nyújtani az infrastruktúrát érintő kérdésekben.