ماشین بولتزمن (Boltzmann Machine)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
ماشین بولتزمن (Boltzmann Machine) :
ماشین بولتزمن (BM) یک نوع شبکه عصبی تصادفی و مبتنی بر انرژی است که توسط هینتون و سجینوسکی در سال ۱۹۸۳ معرفی شد. این شبکه شامل نرون های دودویی (۰ یا ۱) است که به صورت متقارن به هم متصل هستند (یعنی وزن اتصال از i به j با j به i برابر است). نرون ها به دو دسته تقسیم می شوند: نرون های قابل مشاهده (visible) که با داده سروکار دارند و نرون های پنهان (hidden) که بازنمایی داخلی را یاد می گیرند.
حالت شبکه با یک بردار دودویی مشخص می شود. تابع انرژی برای حالت
\[ \mathbf{v} \](نرون های دیداری) و
\[ \mathbf{h} \](نرون های پنهان) به صورت زیر تعریف می شود:
\[ E(\mathbf{v}, \mathbf{h}) = -\sum_{i} a_i v_i - \sum_{j} b_j h_j - \sum_{i,j} v_i w_{ij} h_j - \sum_{i \]که
\[ a_i \]و
\[ b_j \]بایاس ها،
\[ w_{ij} \]وزن بین نرون های دیداری و پنهان، و
\[ l_{ik} \]و
\[ m_{jl} \]وزن های بین نرون های داخل یک گروه هستند. احتمال مشاهده یک حالت خاص از توزیع بولتزمن (توزیع گیبس) پیروی می کند:
\[ P(\mathbf{v}, \mathbf{h}) = \frac{e^{-E(\mathbf{v}, \mathbf{h})}}{\sum_{\mathbf{u},\mathbf{g}} e^{-E(\mathbf{u}, \mathbf{g})}} \]هدف یادگیری، تنظیم وزن ها به گونه ای است که توزیع حاشیه ای روی نرون های دیداری
\[ P(\mathbf{v}) = \sum_{\mathbf{h}} P(\mathbf{v}, \mathbf{h}) \]با توزیع داده های آموزشی مطابقت داشته باشد. یادگیری با استفاده از گرادیان کاهشی و بر اساس تفاوت بین همبستگی های نرون ها در حالت های داده محور (positive phase) و حالت های آزاد (negative phase) انجام می شود.
با این حال، یادگیری در ماشین بولتزمن کامل بسیار کند و محاسباتی سنگین است (زیرا به نمونه برداری از توزیع تعادلی نیاز دارد). به همین دلیل نوع محدود شده آن (RBM) که در آن اتصالات بین نرون های یک گروه وجود ندارد، بسیار محبوب تر است.
ماشین بولتزمن پایه گذار بسیاری از مدل های زایشی و یادگیری عمیق بدون ناظر بوده است.
