شبکه هاپفیلد (Hopfield Network)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

شبکه هاپفیلد (Hopfield Network) :

شبکه هاپفیلد یک نوع شبکه عصبی بازگشتی با حافظه تداعی گر است که در سال ۱۹۸۲ توسط جان هاپفیلد معرفی شد. این شبکه به عنوان یک مدل برای حافظه قابل آدرس دهی محتوا (content-addressable memory) عمل می کند: می تواند الگوهای ذخیره شده را با دریافت یک نمونه ناقص یا نویزی بازیابی کند.

شبکه هاپفیلد از نرون های دودویی (معمولا ۱- و ۱+ یا ۰ و ۱) تشکیل شده که همه به همه متصل هستند، اما وزن اتصال هر نرون به خودش صفر است (

\[ w_{ii}=0 \]

) و اتصالات متقارن هستند (

\[ w_{ij}=w_{ji} \]

). انرژی (یا تابع لیاپانوف) شبکه به صورت زیر تعریف می شود:

\[ E = -\frac{1}{2} \sum_{i,j} w_{ij} s_i s_j + \sum_i \theta_i s_i \]

که

\[ s_i \]

حالت نرون i و

\[ \theta_i \]

آستانه است. یادگیری با قانون هِب (Hebbian) انجام می شود: برای ذخیره

\[ P \]

الگو، وزن ها به صورت

\[ w_{ij} = \frac{1}{P} \sum_{\mu} s_i^{\mu} s_j^{\mu} \]

تنظیم می شوند.

به روزرسانی حالت نرون ها به صورت ناهمگام (یکی یکی) انجام می شود:

\[ s_i = \text{sign}(\sum_j w_{ij} s_j - \theta_i) \]

. شبکه همگرا به یک جاذب (minimal energy) می شود که یکی از الگوهای ذخیره شده یا ترکیبی از آنهاست.

ظرفیت ذخیره سازی شبکه هاپفیلد حدود

\[ 0.15 N \]

الگو برای

\[ N \]

نرون است (برای الگوهای تصادفی). اگر بیشتر از این حد ذخیره شود، الگوهای جعلی (spurious) ظاهر می شوند.

کاربردها: بازیابی تصاویر، بهینه سازی ترکیبیاتی (شبکه هاپفیلد می تواند مسائل بهینه سازی مانند فروشنده دوره گرد را با نگاشت به تابع انرژی حل کند)، مدل سازی حافظه در علوم اعصاب.

نسخه های پیوسته (با نرون های آنالوگ) و نسخه های مدرن تر مانند شبکه های هاپفیلد مدرن (modern Hopfield networks) که در ترانسفورمرها استفاده می شوند (با ظرفیت نمایی) نیز وجود دارند.

شبکه هاپفیلد پایه گذار بسیاری از مفاهیم در حافظه های تداعی گر و ماشین های بولتزمن است.

نقطه ضعف اصلی: ظرفیت محدود و تمایل به جاذب های جعلی. با این حال، درک دینامیک آن کمک زیادی به فیزیک آماری و یادگیری ماشین کرد.