فضای متریک فیشر (Fisher Metric Space)، در ریاضیات (Mathematics)
انواع فضاهای متریک (Metric Space) را در آموزش زیر شرح دادیم :
فضای متریک فیشر (Fisher Metric Space) :
تعریف: متریک فیشر (Fisher Metric) یک متریک روی فضای توزیع های احتمال است که از ماتریس اطلاعات فیشر (Fisher Information Matrix) ناشی می شود. برای یک خانواده پارامتری از توزیع های احتمال
\[ \{p(x|\theta) : \theta \in \Theta\} \]، متریک فیشر به صورت زیر تعریف می شود:
\[ ds^2 = \sum_{i,j} g_{ij}(\theta) d\theta_i d\theta_j \] \[ g_{ij}(\theta) = \mathbb{E}\left[ \frac{\partial \log p}{\partial \theta_i} \frac{\partial \log p}{\partial \theta_j} \right] \]توضیح مفهومی: متریک فیشر یک متریک ریمانی روی فضای پارامترها است که در آمار و نظریه اطلاعات نقش اساسی دارد. این متریک تحت تبدیل های کافی (sufficient statistics) ناورداست و با مفهوم آنتروپی نسبی (KL-divergence) ارتباط نزدیکی دارد. این فضاها در هندسه اطلاعات (Information Geometry) مطالعه می شوند.
ویژگی های اصلی:
متریک فیشر تحت بازپارامتری سازی (reparameterization) به صورت تانسوری تغییر می کند.
برای خانواده های نمایی (exponential families)، متریک فیشر با مشتق دوم تابع log-partition ارتباط دارد.
ژئودزیک ها در این متریک، مسیرهای بهینه در فضای توزیع ها را نشان می دهند.
انحنای این فضا اطلاعاتی درباره ساختار آماری مدل می دهد.
مثال های مهم:
توزیع نرمال: فضای پارامتر
\[ (\mu, \sigma) \]با متریک فیشر یک فضای هذلولوی است.
توزیع برنولی: متریک فیشر روی
\[ [0,1] \]برابر
\[ ds^2 = \frac{d\theta^2}{\theta(1-\theta)} \]که با تبدیل
\[ \theta = \sin^2(\phi) \]به متریک اقلیدسی تبدیل می شود.
خانواده های نمایی: متریک فیشر با ماتریس کوواریانس آماره های کافی مرتبط است.
ارتباط با آنتروپی نسبی: برای توزیع های نزدیک، داریم
\[ D_{KL}(p_\theta || p_{\theta + d\theta}) \approx \frac{1}{2} g_{ij} d\theta_i d\theta_j \].
هندسه اطلاعات: شاخه ای از ریاضیات که به مطالعه ساختار هندسی فضاهای توزیع های احتمال می پردازد. متریک فیشر و اتصالات دوتایی (dual connections) از مفاهیم اصلی آن هستند.
کاربردها: متریک فیشر در آمار (برای محاسبه کران کرامر-رائو)، یادگیری ماشین (برای بهینه گیری با گرادیان طبیعی)، نظریه اطلاعات، و فیزیک آماری کاربرد دارد.
📌 مثال ساده:
توزیع برنولی
\[ p(x|\theta) = \theta^x (1-\theta)^{1-x} \]،
\[ \log p = x \log \theta + (1-x) \log(1-\theta) \]. مشتق:
\[ \frac{\partial \log p}{\partial \theta} = \frac{x}{\theta} - \frac{1-x}{1-\theta} \]. واریانس:
\[ g(\theta) = \mathbb{E}[(\frac{X}{\theta} - \frac{1-X}{1-\theta})^2] = \frac{1}{\theta(1-\theta)} \].
توزیع نرمال
\[ N(\mu, \sigma^2) \]:
\[ g_{\mu\mu} = 1/\sigma^2 \]،
\[ g_{\mu\sigma} = 0 \]،
\[ g_{\sigma\sigma} = 2/\sigma^2 \].
