ترانسفورمر زایشی از پیش آموزش دیده (GPT - Generative Pre-trained Transformer)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

ترانسفورمر زایشی از پیش آموزش دیده (GPT - Generative Pre-trained Transformer) :

GPT (ترانسفورمر زایشی از پیش آموزش دیده) توسط OpenAI معرفی شد و یک مدل زبانی بزرگ مبتنی بر معماری رمزگشا (decoder-only) ترانسفورمر است. برخلاف BERT که دوطرفه است، GPT یک مدل خودرگرسیو (autoregressive) است که متن را از چپ به راست تولید می کند. هدف اصلی پیش بینی کلمه بعدی با توجه به کلمات قبلی است.

معماری GPT: از چندین لایه رمزگشای ترانسفورمر (با self-attention ماسک دار) تشکیل شده. هر لایه شامل self-attention و FFN است. هیچ توجه متقابلی (cross-attention) وجود ندارد (چون رمزگشا تنهاست). ورودی embedding کلمات + کدگذاری موقعیتی است.

آموزش GPT به صورت پیش آموزش بر روی متون عظیم (کتاب ها، وب) با هدف پیش بینی کلمه بعدی (language modeling) انجام می شود. سپس برای وظایف مختلف (مانند طبقه بندی، ترجمه، تولید متن) با تنظیم دقیق (fine-tuning) یا با یادگیری درون متنی (in-context learning) استفاده می شود. نسخه های بعدی GPT (GPT-2، GPT-3، GPT-4) با افزایش اندازه مدل و داده، توانایی های شگرفی در تولید متن و استدلال نشان دادند.

GPT-3 با ۱۷۵ میلیارد پارامتر، قادر به انجام وظایف با few-shot learning (چند مثال در ورودی) بدون تنظیم دقیق است. GPT-4 قابلیت های چندوجهی (text و image) نیز دارد. این مدل ها پایه گذار برنامه هایی مانند ChatGPT هستند.

مزایا: توانایی تولید متن روان و منسجم، تعمیم به وظایف مختلف. معایب: گاهی تولید اطلاعات نادرست (hallucination)، حساسیت به ورودی، هزینه بالای محاسباتی.