ترانسفورمر دوطرفه (BERT - Bidirectional Encoder Representations from Transformers)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

ترانسفورمر دوطرفه (BERT - Bidirectional Encoder Representations from Transformers) :

BERT (نمایش های رمزگذار دوطرفه از ترانسفورمرها) توسط گوگل در سال ۲۰۱۸ معرفی شد و انقلابی در پردازش زبان طبیعی ایجاد کرد. BERT از بخش رمزگذار (encoder) ترانسفورمر استفاده می کند و برای ایجاد بازنمایی های عمیق دوطرفه (contextual) از متن طراحی شده است. "دوطرفه" به این معناست که BERT هنگام بازنمایی هر کلمه، به کلمات چپ و راست آن توجه می کند (برخلاف مدل های زبانی چپ به راست مانند GPT).

آموزش BERT در دو مرحله انجام می شود:

پیش آموزش (pre-training): روی متون بدون برچسب با دو هدف: (۱) مدل سازی زبان پوشیده (Masked Language Model - MLM): ۱۵٪ از توکن ها تصادفی پوشانده می شوند و مدل باید آن ها را پیش بینی کند. (۲) پیش بینی جمله بعدی (Next Sentence Prediction - NSP): مدل باید تشخیص دهد که آیا جمله B به دنبال جمله A می آید یا خیر.

تنظیم دقیق (fine-tuning): با اضافه کردن یک لایه خروجی ساده، BERT برای وظایف مختلف (طبقه بندی، پرسش و پاسخ، تشخیص موجودیت) تنظیم می شود.

ورودی BERT شامل سه بخش است: توکن های ورودی (با [CLS] در ابتدا و [SEP] بین جملات)، embeddingهای قطعه (segment) برای تشخیص جمله اول و دوم، و کدگذاری موقعیتی. خروجی [CLS] به عنوان بازنمایی کل جمله برای طبقه بندی استفاده می شود.

نسخه های مختلف BERT (base، large) و مدل های مبتنی بر آن (RoBERTa، ALBERT، DistilBERT) بسیار پرکاربرد هستند. BERT در ۱۱ وظیفه NLP رکورد زد و به یک استاندارد تبدیل شد.