Apache Spark

Apache Spark on tasuta ja avatud lähtekoodiga hajutatud andmetöötlusraamistik, mis on loodud võimaldama lihtsat ja tõhusat andmeanalüüsi. Apache Software Foundationi projektina välja töötatud Spark toetab praegu mälusisest andmetöötlust, interaktiivset päringutöötlust, vootöötlust ja masinõppe algoritme.

Apache Spark ilmus algselt 2009. aastal eesmärgiga pakkuda andmeanalüütikutele ja teadlastele alternatiivi Google'i väljatöötatud sageli kasutatavale MapReduce raamistikule. Sellest ajast alates on Sparkist saanud hajutatud andmetöötlusmaastiku mälusiseste andmetöötlusraamistike de facto standard.

Spark on üles ehitatud klastri andmetöötluse paradigmale, mille põhisõlm toimib kogu klastri kontrollerina. Klastris olevad sõlmed või "töötajad" vastutavad andmete lugemise ja kirjutamise eest välistest allikatest. Sparki arhitektuur koosneb mitmest kihist, millest igaüks on loodud andmetöötluse tõhusamaks ja võimsamaks muutmiseks. Sparki arhitektuuri tuum on vastupidav hajutatud andmekogum (RDD), hajutatud mäluklaster, mis salvestab andmeid sõlmede klastris.

Spark pakub mitmesuguseid funktsioone, mis muudavad selle sobivaks mitmesuguste andmetöötlustoimingute jaoks. Nende funktsioonide hulka kuuluvad päringu optimeerimine, tõrketaluvus ja graafilised kasutajaliidesed. Samuti on Spark loodud hõlpsasti suuremateks klastriteks skaleerimiseks, pakkudes arendajatele väga elastset raamistikku. Apache Sparki raamistiku pakutavad tellingud muudavad nii lihtsate kui ka keerukate andmeanalüütikarakenduste kujundamise lihtsaks.

Apache Spark on muutumas üha populaarsemaks võimsa tööriistana andmeteadlastele, kes töötavad suurte andmekogumitega. Lisaks kasutatakse Sparki laialdaselt reaalajas suurandmete analüüsiks, masinõppeks ja loomuliku keele töötlemiseks. Lõpuks, tänu oma skaleeritavusele ja tugevale funktsioonikomplektile kasutatakse Sparki mitmesuguste ennustava analüüsi rakenduste arendamiseks.

Üldiselt on Apache Spark võimas hajutatud andmeanalüüsi ja masinõppe raamistik ning sellest on kiiresti saamas platvorm arendajatele, kes otsivad võimsat ja mitmekülgset lahendust oma suuremahuliste andmeanalüüsiprojektide jaoks.