Apache Hadoop

Apache Hadoop ialah rangka kerja perisian sumber terbuka yang digunakan untuk storan teragih dan pemprosesan set data berskala besar merentas kluster pelayan komoditi. Ia direka bentuk untuk skala daripada pelayan tunggal kepada beribu-ribu mesin, setiap satu menawarkan pemprosesan dan penyimpanan tempatan. Ia adalah pelaksanaan model pengaturcaraan MapReduce dan Hadoop menyimpan data dalam storan teragih dan memprosesnya dengan model pengiraan MapReduce.

Hadoop telah dicipta pada tahun 2006 di Yahoo! Penyelidikan oleh Doug Cutting dan Mike Cafarella, yang diilhamkan oleh kertas MapReduce Google. Pada mulanya, Yayasan Perisian Apache mengambil alih pengurusan projek pada tahun 2007. Sejak itu, Hadoop telah mendapat banyak tarikan dan kini digunakan secara meluas dalam banyak bidang, termasuk media sosial, kewangan, analisis risiko, rekod perubatan dan banyak lagi. .

Pada teras Hadoop terdapat dua komponen: sistem fail teragih dan model pengaturcaraan MapReduce. Sistem fail teragih Hadoop, HDFS, adalah berdasarkan Sistem Fail Google dan membenarkan data disimpan dalam blok merentasi berbilang mesin, sekali gus menyediakan sistem storan tahan kerosakan. Sementara itu, model pengaturcaraan MapReduce membahagikan tugas kepada sub-tugas, dan mengedarkannya merentas berbilang nod. Ini menyediakan selari dan membolehkan pengkomputeran teragih berkelajuan tinggi.

Sebagai tambahan kepada komponen teras, Hadoop dilengkapi dengan perpustakaan alat berkaitan. Ini termasuk pangkalan data dan enjin analitik Hive, bahasa skrip Latin Pig, YARN untuk kerja penjadualan dan Oozie untuk pengurusan aliran kerja. Hadoop juga menyokong pelbagai bahasa pembangun, termasuk Java, C++, Python, Ruby dan Perl.

Dalam beberapa tahun kebelakangan ini, Hadoop telah menjadi komponen utama penyelesaian Data Besar. Ia adalah pilihan yang ideal untuk perniagaan yang perlu memproses jumlah data yang besar dengan cepat dan cekap. Skala dan fleksibilitinya menjadikannya pilihan yang bagus untuk organisasi yang dipacu data.

Secara keseluruhan, Apache Hadoop ialah rangka kerja sumber terbuka yang digunakan untuk storan teragih dan pemprosesan set data berskala besar merentas kluster pelayan komoditi. Ia mudah digunakan dan menyediakan cara yang cekap untuk memproses dan menyimpan data.