شرط آرمیخو (Armijo Condition)، در ریاضیات (Mathematics)

انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :

شرط آرمیخو (Armijo Condition) :

📌 معرفی

شرط آرمیخو (Armijo Condition) یکی از شرایط کاهش کافی (Sufficient Decrease Conditions) است که برای اطمینان از کاهش کافی مقدار تابع در هر تکرار به کار می رود. این شرط توسط لری آرمیخو (Larry Armijo) در سال ۱۹۶۶ معرفی شد.

📐 فرمول ریاضی

برای یک نقطه

\[ x_k \]

، جهت

\[ d_k \]

(که باید جهت کاهش باشد، یعنی

\[ \nabla f(x_k)^T d_k < 0 \]

) و یک

\[ \alpha > 0 \]

، شرط آرمیخو به صورت زیر است:

\[ f(x_k + \alpha d_k) \leq f(x_k) + c_1 \alpha \nabla f(x_k)^T d_k \]

که

\[ c_1 \]

یک عدد ثابت در بازه

\[ (0, 1) \]

است (معمولا

\[ c_1 = 10^{-4} \]

انتخاب می شود).

🔧 تفسیر هندسی

سمت راست نامعادله، یک خط راست (یا تابع خطی) بر حسب

\[ \alpha \]

است که از نقطه

\[ (0, f(x_k)) \]

می گذرد و شیب آن

\[ c_1 \nabla f(x_k)^T d_k \]

است. شرط آرمیخو می گوید مقدار تابع در

\[ \alpha \]

باید زیر این خط راست باشد. این تضمین می کند که کاهش تابع حداقل به اندازه کسری از کاهش پیش بینی شده توسط گرادیان است.

📊 مقایسه با شرایط ولف (Wolfe Conditions)

شرط آرمیخو تنها کاهش کافی را تضمین می کند. اما شرایط ولف شامل یک شرط دوم (شرط خمیدگی) نیز هست که از خیلی کوچک شدن گام جلوگیری می کند. شرایط ولف برای همگرایی روش هایی مانند BFGS ضروری است.

\[ \nabla f(x_k + \alpha d_k)^T d_k \geq c_2 \nabla f(x_k)^T d_k \quad \text{(Wolfe curvature condition)} \]

که

\[ 0 < c_1 < c_2 < 1 \]

(معمولا

\[ c_2 = 0.9 \]

).