شبکه کیو عمیق (Deep Q-Network - DQN)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه کیو عمیق (Deep Q-Network - DQN) :
شبکه کیو عمیق (DQN) اولین الگوریتم موفق یادگیری تقویتی عمیق بود که توسط دیپ مایند در سال ۲۰۱۳ برای بازی های آتاری معرفی شد. DQN ترکیبی از Q-learning (یادگیری کیو) با شبکه های عصبی عمیق است. در Q-learning کلاسیک، تابع Q(s,a) در یک جدول ذخیره می شود که برای فضاهای حالت بزرگ غیرممکن است. DQN از یک شبکه عصبی برای تقریب تابع Q استفاده می کند:
\[ Q(s,a; \theta) \].
نوآوری های کلیدی DQN:
تجربه بازپخش (experience replay): تعاملات
\[ (s, a, r, s') \]در یک بافر ذخیره و به صورت تصادفی نمونه برداری می شوند تا همبستگی بین داده ها کاهش یابد و پایداری افزایش یابد.
شبکه هدف (target network): یک شبکه
\[ Q_{\text{target}} \]با پارامترهای
\[ \theta^- \]به روزرسانی آهسته (مثلا هر C گام) کپی از
\[ \theta \]دارد. تابع هدف:
\[ \mathcal{L}(\theta) = \mathbb{E}[(r + \gamma \max_{a'} Q_{\text{target}}(s',a'; \theta^-) - Q(s,a; \theta))^2] \].
نسخه های بهبودیافته DQN شامل Double DQN (کاهش overestimation)، Dueling DQN (جداسازی ارزش حالت و مزیت)، و Prioritized Experience Replay (نمونه برداری با اولویت) هستند.
کاربردها: بازی های ویدیویی، کنترل ربات، بهینه سازی. DQN پایه گذار بسیاری از کارهای بعدی در DRL بود.
