نابرابری میانگین حسابی-هندسی
"میانگین حسابی" فهرستی از "n" عدد است ("x"،  "x"،  .  .  .،  "x"). حالت کسری تقسیم مجموع اعداد بر عدد "n" برابر است با:
گرادیان کاهشی تصادفی
در این روش همانند گرادیان تطبیقی برای هر بُعدِ پارامتر نرخ یادگیری جداگانه‌ای در نظر گرفته می‌شود. ایده اصلی این است که نرخ یادگیری را برای یک بُعد بر میانگین گرادیان‌های آن بُعد تقسیم کنیم؛ بنابراین، ابتدا میانگین را به این شکل محاسبه می‌کنیم: