بهینه سازی بیزی (Bayesian Optimization)، در ریاضیات (Mathematics)
انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :
بهینه سازی بیزی (Bayesian Optimization) :
📌 معرفی
بهینه سازی بیزی (Bayesian Optimization) یک روش کارآمد برای بهینه سازی توابعی است که محاسبه آنها پرهزینه (مثلا یک شبیه سازی طولانی)، نویزی، و مشتق ناپذیر هستند. این روش از یک مدل احتمالاتی (معمولا فرآیند گاوسی - Gaussian Process) برای تقریب تابع هدف و یک تابع اکتساب (Acquisition Function) برای تصمیم گیری در مورد اینکه نقطه بعدی کجا ارزیابی شود، استفاده می کند.
📐 مراحل اصلی
ایجاد یک مدل احتمالاتی (فرآیند گاوسی) از تابع هدف با استفاده از داده های اولیه (چند نقطه تصادفی).
تا شرط توقف:
بهینه سازی تابع اکتساب برای یافتن بهترین نقطه بعدی برای ارزیابی:
\[ x_{next} = \arg\max_x a(x) \].
ارزیابی تابع هدف در
\[ x_{next} \](پرهزینه).
به روزرسانی مدل احتمالاتی با داده جدید.
📈 توابع اکتساب (Acquisition Functions)
PI (Probability of Improvement): احتمال اینکه نقطه جدید از بهترین مقدار فعلی بهتر باشد. تمایل به بهره برداری (Exploitation).
EI (Expected Improvement): مقدار مورد انتظار بهبود نسبت به بهترین مقدار فعلی. تعادل بین اکتشاف و بهره برداری.
UCB (Upper Confidence Bound):
\[ a(x) = \mu(x) + \kappa \sigma(x) \]. ترکیب میانگین پیش بینی و عدم قطعیت.
\[ \kappa \]تعادل را کنترل می کند.
