نزول التدرج العشوائي

النسب التدرج العشوائي (SGD) هو خوارزمية تحسين شائعة الاستخدام في التعلم الآلي وعلوم البيانات. وهو أسلوب تكراري يستخدم لتقليل دالة ما، عادةً ما تكون دالة تكلفة، من خلال خطوات محددة. تُستخدم دالة التكلفة لقياس مدى تطابق تنبؤات النموذج مع القيم الفعلية. على عكس تقنيات التحسين الأخرى، يستخدم SGD مثالًا تدريبيًا واحدًا فقط (أو مجموعة من البيانات) في كل خطوة. باستخدام SGD، يتم إجراء تحسينات على النموذج مع كل تكرار، مما يجعل خسارة النموذج أقرب إلى القيمة المطلوبة تدريجيًا.

تعمل الخوارزمية من خلال اتخاذ خطوات صغيرة نحو العثور على الحد الأدنى من الوظيفة. ويتم ذلك في خطوتين: أولاً، يتم إجراء تقدير للتدرج المحلي لدالة التكلفة عند قيم المعلمات الحالية. ثم يتم استخدام هذا لتحديث معلمات النموذج بشكل مناسب. الفكرة وراء SGD هي تكرار هاتين الخطوتين حتى تتقارب المعلمات (أي تصل إلى نقطة لا يؤدي عندها إجراء تحديث إضافي إلى أي تحسن في فقدان النموذج).

ومع ذلك، تجدر الإشارة إلى أن SGD حساس لاختيار معلمة معدل التعلم. يحدد معدل التعلم حجم الخطوات المتخذة في كل تكرار - صغير جدًا وسيستغرق التحسين وقتًا طويلاً جدًا، بينما كبير جدًا وقد تفوت الخوارزمية الحد الأدنى. على هذا النحو، يحتاج المستخدمون إلى توخي الحذر عند تحديد معدل التعلم لأن تحديد معدل التعلم بشكل غير صحيح قد يؤدي إلى نتائج أقل.

يستخدم SGD على نطاق واسع لنماذج التدريب مثل الشبكات العصبية وأجهزة ناقلات الدعم. لأنه يمكن تكييفه بسهولة للتشغيل على جهاز كمبيوتر أو مجموعة، فهو خيار شائع للتدريب على البيانات الموزعة. بالإضافة إلى ذلك، يعد SGD وسيلة فعالة لتدريب مجموعة متنوعة من النماذج دون الحاجة إلى الكثير من الذاكرة.

بشكل عام، يعد النسب التدرج العشوائي طريقة تحسين قوية وفعالة تستخدم في علوم البيانات والتعلم الآلي. على الرغم من أنه قد يكون من الصعب ضبط المعلمات، إلا أن الأداء المحسن للنماذج التي يتم تحقيقها من خلال SGD غالبًا ما يجعل الأمر يستحق كل هذا الجهد.