فضای متریک در نظریه اطلاعات (Information Theory Metric Space)، در ریاضیات (Mathematics)

انواع فضاهای متریک (Metric Space) را در آموزش زیر شرح دادیم :

فضای متریک در نظریه اطلاعات (Information Theory Metric Space) :

تعریف: در نظریه اطلاعات، فضاهای متریک برای اندازه گیری فاصله بین توزیع های احتمال، کدها، و سیگنال ها استفاده می شوند. مهم ترین متریک ها عبارتند از: فاصله وازرشتاین (Wasserstein)، فاصله هلینگر (Hellinger)، فاصله کل تغییرات (Total Variation)، و متریک های مبتنی بر آنتروپی (مانند دیورژانس کولبک-لیبلر که یک متریک نیست).

\[ d_{KL}(P\|Q) = \int p(x) \log \frac{p(x)}{q(x)} dx \]

(دیورژانس KL - متریک نیست)

\[ d_{JS}(P, Q) = \sqrt{\frac{1}{2} d_{KL}(P\|M) + \frac{1}{2} d_{KL}(Q\|M)} \]

(فاصله جنسن-شنون - یک متریک است)

توضیح مفهونی: نظریه اطلاعات به کمّی سازی اطلاعات می پردازد. متریک های اطلاعاتی برای مقایسه توزیع های احتمال و کدگذاری بهینه استفاده می شوند. دیورژانس KL یک معیار عدم شباهت است اما متریک نیست. فاصله جنسن-شنون (Jensen-Shannon) ریشه دوم آن یک متریک است.

ویژگی های اصلی:

فاصله جنسن-شنون (JS) یک متریک است و برابر با

\[ \sqrt{\frac{1}{2}KL(P\|M) + \frac{1}{2}KL(Q\|M)} \]

که

\[ M = \frac{P+Q}{2} \]

.

فاصله هلینگر (Hellinger) یک متریک است و با

\[ d_H(P,Q)^2 = \frac{1}{2}\int (\sqrt{p} - \sqrt{q})^2 \]

.

فاصله کل تغییرات (TV) یک متریک است و با

\[ d_{TV}(P,Q) = \frac{1}{2}\int |p-q| \]

.

فاصله وازرشتاین (Wasserstein) در نظریه انتقال بهینه ریشه دارد.

اطلاعات فیشر (Fisher information) یک متریک روی منیفلد توزیع ها القا می کند (متریک فیشر-رائو).

کاربردها: متریک های اطلاعاتی در یادگیری ماشین (GANها با فاصله وازرشتاین)، آمار (آزمون های برازش)، نظریه کدگذاری، و تحلیل داده های توزیعی کاربرد دارند.

📌 مثال ساده:

\[ P = \{0.5, 0.5\} \]

،

\[ Q = \{0.9, 0.1\} \]

.

\[ d_{TV} = 0.5(|0.5-0.9| + |0.5-0.1|) = 0.5(0.4+0.4)=0.4 \]

.