മാപ്പ് റിഡ്യൂസ്

വിതരണം ചെയ്ത കമ്പ്യൂട്ടിംഗ് ജോലികൾക്കായി ഉപയോഗിക്കുന്ന ഒരു പ്രോഗ്രാമിംഗ് മോഡലാണ് MapReduce. സങ്കീർണ്ണമായ കമ്പ്യൂട്ടേഷണൽ പ്രശ്‌നങ്ങളെ ചെറുതും കൂടുതൽ കൈകാര്യം ചെയ്യാവുന്നതുമായ കഷണങ്ങളായി വിഭജിച്ച് പരിഹരിക്കുന്നതിനുള്ള വിഭജിച്ച് കീഴടക്കുന്ന സമീപനത്തെ അടിസ്ഥാനമാക്കിയുള്ളതാണ് ഇത്. MapReduce മോഡൽ പ്രാഥമികമായി വലിയ ഡാറ്റാ സെറ്റുകളിൽ ഉപയോഗിക്കുന്നു, സാധാരണയായി കമ്പ്യൂട്ടേഷണൽ പവറിനായി ഒരു കൂട്ടം ചരക്ക് സെർവറുകളെ ആശ്രയിക്കുന്നു.

2004-ൽ ഗൂഗിൾ ഗവേഷകരാണ് MapReduce ആദ്യമായി അവതരിപ്പിച്ചത്, അതിനുശേഷം ഇത് ഡാറ്റ വിശകലനത്തിനും പ്രോസസ്സിംഗിനുമുള്ള ഒരു ജനപ്രിയ ഉപകരണമായി മാറി. ഈ മാതൃകയിൽ, രണ്ട് വ്യത്യസ്ത ഘട്ടങ്ങളുണ്ട് - ഭൂപടം, ഘട്ടങ്ങൾ കുറയ്ക്കുക.

മാപ്പ് ഘട്ടത്തിൽ, ഡാറ്റയെ "സ്പ്ലിറ്റുകൾ" എന്ന് വിളിക്കുന്ന ഭാഗങ്ങളായി വിഭജിക്കുന്നു. ഓരോ സ്പ്ലിറ്റും ഡാറ്റ പ്രോസസ്സ് ചെയ്യുകയും ഒരു കൂട്ടം കീ-വാല്യൂ ജോഡികൾ ഔട്ട്പുട്ട് ചെയ്യുകയും ചെയ്യുന്ന ഒരു മാപ്പറിന് നിയുക്തമാക്കിയിരിക്കുന്നു. കീ-വാല്യൂ ജോഡികൾ പിന്നീട് കുറയ്ക്കൽ ഘട്ടത്തിലേക്ക് നൽകപ്പെടുന്നു, അവിടെ അവയെ തരംതിരിച്ച് ഒരൊറ്റ ഔട്ട്പുട്ടിലേക്ക് കൂട്ടിച്ചേർക്കുന്നു.

ഡാറ്റ മൈനിംഗ്, മെഷീൻ ലേണിംഗ്, നാച്ചുറൽ ലാംഗ്വേജ് പ്രോസസ്സിംഗ് എന്നിവയുൾപ്പെടെ നിരവധി ജോലികൾക്ക് MapReduce മോഡൽ പ്രയോജനകരമാണ്. വെബ് ലോഗുകളും സെർവർ ലോഗുകളും പോലുള്ള വലിയ അളവിലുള്ള ഡാറ്റ വിശകലനം ചെയ്യുന്നതിനും വലിയ ഡാറ്റ സെറ്റുകൾ വേഗത്തിൽ പ്രോസസ്സ് ചെയ്യുന്നതിനും ഇത് മിക്കപ്പോഴും ഉപയോഗിക്കുന്നു.

MapReduce ജാവ, പൈത്തൺ, C# തുടങ്ങിയ നിരവധി ജനപ്രിയ പ്രോഗ്രാമിംഗ് ഭാഷകളിലേക്ക് സംയോജിപ്പിച്ചിരിക്കുന്നു, കൂടാതെ ഹഡൂപ്പ്, അപ്പാച്ചെ സ്പാർക്ക് പോലുള്ള നിരവധി ജനപ്രിയ പ്ലാറ്റ്ഫോമുകൾ ഇതിനെ പിന്തുണയ്ക്കുന്നു. തൽഫലമായി, ഇത് ഡാറ്റ പ്രോസസ്സിംഗിനും വിശകലനത്തിനുമുള്ള ഒരു സാധാരണ ഉപകരണമായി മാറിയിരിക്കുന്നു, കൂടാതെ വലിയ ഡാറ്റാ സെറ്റുകളിൽ നിന്ന് മൂല്യം നേടുന്നതിന് അവരെ സഹായിക്കുന്നതിന് വൈവിധ്യമാർന്ന ഓർഗനൈസേഷനുകൾ ഇത് ഉപയോഗിക്കുന്നു.