MapReduce

MapReduce هو نموذج برمجة يستخدم لمهام الحوسبة الموزعة. وهو يعتمد على نهج فرق تسد لحل المشكلات الحسابية المعقدة عن طريق تقسيمها إلى أجزاء أصغر وأكثر قابلية للإدارة. يُستخدم نموذج MapReduce في المقام الأول على مجموعات البيانات الكبيرة، ويعتمد عادةً على مجموعة من خوادم السلع للحصول على الطاقة الحسابية.

تم تقديم MapReduce لأول مرة من قبل باحثي Google في عام 2004، ومنذ ذلك الحين أصبح أداة شائعة لتحليل البيانات ومعالجتها. في هذا النموذج، هناك مرحلتان متميزتان – مرحلتا الخريطة والتقليل.

في مرحلة الخريطة، يتم تقسيم البيانات إلى أجزاء تسمى "الانقسامات". يتم تعيين كل تقسيم إلى مخطط خرائط يقوم بمعالجة البيانات وإخراج مجموعة من أزواج القيمة الرئيسية. يتم بعد ذلك إدخال أزواج القيمة الرئيسية في مرحلة التخفيض، حيث يتم فرزها وتجميعها في مخرجات واحدة.

يُعد نموذج MapReduce مفيدًا للعديد من المهام، بما في ذلك استخراج البيانات والتعلم الآلي ومعالجة اللغات الطبيعية. يتم استخدامه غالبًا لتحليل كميات كبيرة من البيانات، مثل سجلات الويب وسجلات الخادم، ومعالجة مجموعات البيانات الكبيرة بسرعة.

تم دمج MapReduce في العديد من لغات البرمجة الشائعة، مثل Java وPython وC#، وهو مدعوم من قبل العديد من المنصات الشائعة، مثل Hadoop وApache Spark. ونتيجة لذلك، فقد أصبحت أداة شائعة لمعالجة البيانات وتحليلها، ويتم استخدامها من قبل مجموعة واسعة من المؤسسات لمساعدتها على استخلاص القيمة من مجموعات البيانات الكبيرة.