بهینه سازی تصادفی (Stochastic Optimization)، در ریاضیات (Mathematics)

انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :

بهینه سازی تصادفی (Stochastic Optimization) :

📌 معرفی

بهینه سازی تصادفی (Stochastic Optimization) به دسته ای از روش های بهینه سازی اطلاق می شود که در آنها تابع هدف یا قیود شامل متغیرهای تصادفی (Random Variables) هستند، یا الگوریتم بهینه سازی خود از عناصر تصادفی (مانند نمونه گیری تصادفی) استفاده می کند. این روش ها برای مسائل با عدم قطعیت یا مسائل بسیار بزرگ مقیاس کاربرد دارند.

🔧 انواع بهینه سازی تصادفی

SGD و انواع آن: نمونه ای از بهینه سازی تصادفی که در آن گرادیان با استفاده از یک دسته تصادفی از داده ها تخمین زده می شود.

برنامه ریزی تصادفی (Stochastic Programming): مسائلی که در آنها پارامترها تصادفی هستند و توزیع احتمال آنها معلوم است. اهداف مختلفی مانند کمینه سازی مقدار مورد انتظار (Expectation) یا رعایت قیود با احتمال معین (Chance Constraints) دنبال می شوند.

بهینه سازی با میانگین گیری (Sample Average Approximation - SAA): تقریب مقدار مورد انتظار با میانگین تعداد زیادی نمونه.

جستجوی تصادفی (Random Search): استفاده از نمونه گیری تصادفی برای کاوش فضای جستجو.