ماشین بولتزمن محدود (Restricted Boltzmann Machine - RBM)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
ماشین بولتزمن محدود (Restricted Boltzmann Machine - RBM) :
ماشین بولتزمن محدود (RBM) یک مدل گرافیکی احتمالاتی است که در آن نرون ها به دو لایه دیداری (v) و پنهان (h) تقسیم می شوند و اتصالات فقط بین این دو لایه وجود دارد (نه درون هر لایه). این محدودیت باعث می شود یادگیری کارآمدتر شود و الگوریتم یادگیری Contrastive Divergence (CD) قابل استفاده باشد.
تابع انرژی در RBM (با فرض نرون های دودویی) به صورت زیر است:
\[ E(\mathbf{v}, \mathbf{h}) = -\sum_i a_i v_i - \sum_j b_j h_j - \sum_{i,j} v_i w_{ij} h_j \]و توزیع احتمال مشترک:
\[ P(\mathbf{v}, \mathbf{h}) = \frac{1}{Z} e^{-E(\mathbf{v}, \mathbf{h})} \]با
\[ Z \]تابع پارتیشن. شرطی ها ساده هستند:
\[ P(h_j=1|\mathbf{v}) = \sigma(b_j + \sum_i v_i w_{ij}) \]و
\[ P(v_i=1|\mathbf{h}) = \sigma(a_i + \sum_j w_{ij} h_j) \]که
\[ \sigma \]تابع سیگموئید است.
یادگیری با هدف بیشینه سازی درستنمایی لگاریتمی داده ها انجام می شود. گرادیان log-likelihood نسبت به وزن ها به صورت زیر است:
\[ \frac{\partial \log P(\mathbf{v})}{\partial w_{ij}} = \langle v_i h_j \rangle_{\text{data}} - \langle v_i h_j \rangle_{\text{model}} \]که
\[ \langle \cdot \rangle_{\text{data}} \]امید ریاضی وقتی h از
\[ P(h|v) \]نمونه برداری می شود (با داده ثابت)، و
\[ \langle \cdot \rangle_{\text{model}} \]امید ریاضی تحت توزیع مدل (که نمونه برداری از آن گران است). الگوریتم CD-1 این را با یک نمونه برداری گام به گام (Gibbs sampling) کوتاه تقریب می زند: از داده شروع، h را نمونه گیری، سپس v' را از آن نمونه گیری، دوباره h' را نمونه گیری و از اینها برای تقریب جمله دوم استفاده می کند.
RBMها می توانند به صورت روی هم چیده شوند تا شبکه های باور عمیق (DBN) را تشکیل دهند. هر لایه RBM خروجی لایه قبل را به عنوان ورودی می گیرد و به طور جداگانه (greedy layer-wise) پیش آموزش می بیند.
کاربردها: کاهش ابعاد، استخراج ویژگی، فیلتر مشارکتی (سیستم های توصیه گر)، مدل سازی زبان. مثلا Netflix از RBM برای سیستم توصیه فیلم استفاده کرد.
RBM یکی از ارکان اصلی انقلاب یادگیری عمیق در اواخر دهه ۲۰۰۰ بود، هرچند امروزه تا حدی توسط خودرمزگذارهای تغییرپذیر (VAE) و مدل های دیگر جایگزین شده است.
