Dask

Dask on avatud lähtekoodiga Pythoni teek hajutatud andmetöötluse jaoks, mis võimaldab kasutajatel oma arvutusi parema jõudluse ja skaleeritavuse tagamiseks skaleerida. See anti esmakordselt välja 2016. aasta augustis ja seda haldavad arvukad kogukonna arendajad.

Dask on loodud töötama olemasolevate Pythoni tööriistadega, nagu NumPy, pandad ja scikit-learn, muutes selle mitmekülgseks tööriistaks andmeteadlastele, inseneridele ja teadlastele. Seda kasutatakse andmete analüüsiks, masinõppeks, süvaõppeks ja graafiku analüüsiks.

Dask koosneb kahest komponendist: planeerijast ja töötajatest. Planeerija vastutab ülesande jaotamise eest paljude töötajate vahel ja iga töötaja edenemise jälgimise eest protsessis. Kui töötajad on lõpetatud, annab planeerija väljundi, mille saab edasi anda järgmisele ülesandele.

Daski saab kasutada erinevates kontekstides, näiteks sülearvutites, kus töötab vaid mõni töötaja, või andmekeskuses asuvates arvutiklastrites. See on optimeeritud olemasolevate ressursside tõhusaks kasutamiseks, käivitades sama arvutuse paralleelselt mitmes masinas.

Daskis on teegid andmete voogesitamiseks ja laiendatud tugi teistele andmeanalüüsi teekidele, nagu Xarray, Scikit-Learn ja TensorFlow. Sellel on ka võimalus käitada arvutusi hajutatud failisüsteemides, nagu HDFS ja Amazon S3.

Üldiselt on Dask võimas hajutatud andmetöötluse teek ja seda kasutatakse paljudes rakendusvaldkondades. See on väga skaleeritav ja pakub paindlikkust ülesannete tõhusaks täitmiseks isegi siis, kui masinaid lisatakse klastrist või eemaldatakse. See on suurepärane tööriist andmeteadlastele, inseneridele ja teadlastele, kes peavad töötama suuremahuliste andmekogumitega.