شبکه عصبی کانولوشنی سه بعدی (3D Convolutional Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی کانولوشنی سه بعدی (3D Convolutional Neural Network) :
شبکه عصبی کانولوشنی سه بعدی (3D CNN) تعمیمی از CNN دو بعدی برای داده های با سه بعد مکانی یا دو بعد مکانی + بعد زمان است. فیلترها در اینجا یک مکعب سه بعدی هستند که روی سه بعد ورودی (مثلا ارتفاع، عرض، عمق در تصاویر پزشکی یا ارتفاع، عرض، زمان در ویدئو) می لغزند. این شبکه می تواند مستقیما وابستگی های مکانی-زمانی را یاد بگیرد.
عملگر کانولوشن سه بعدی برای یک فیلتر
\[ K \]با اندازه
\[ p \times q \times r \]روی حجم ورودی
\[ V \]:
\[ (V * K)(x, y, z) = \sum_{i=0}^{p-1} \sum_{j=0}^{q-1} \sum_{k=0}^{r-1} V(x+i, y+j, z+k) \cdot K(i, j, k) \]در عمل، ابعاد ورودی می تواند (تعداد فریم ها، ارتفاع، عرض، کانال ها) باشد. هر فیلتر سه بعدی روی تمام کانال ها اعمال می شود و یک نقشه ویژگی سه بعدی تولید می کند.
کاربردهای اصلی: تحلیل ویدئو (تشخیص فعالیت، تشخیص حرکت، بازشناسی چهره در ویدئو)، تصویربرداری پزشکی (ام آرآی یا سیتی اسکن سه بعدی)، و داده های لیدار سه بعدی. مثلا در تشخیص فعالیت های انسانی از روی ویدئو، 3D CNN می تواند همزمان الگوهای مکانی (شکل بدن) و زمانی (توالی حرکات) را استخراج کند.
معماری های مشهور: C3D (یک 3D CNN نسبتا ساده با ۸ لایه کانولوشن و ۵ لایه pooling)، I3D (Inflated 3D که فیلترهای 2D را با گسترش به بعد زمان به 3D تبدیل می کند)، و R(2+1)D که کانولوشن سه بعدی را به دو مرحله کانولوشن دوبعدی مکانی و یک بعدی زمانی تفکیک می کند تا تعداد پارامترها کاهش یابد و آموزش بهبود یابد.
چالش ها: تعداد پارامترهای بسیار زیاد (به دلیل فیلترهای سه بعدی)، نیاز به حافظه بالا و داده های حجیم. برای کاهش، اغلب از کانولوشن های جدا شدنی (separable) یا ۲+۱ بعدی استفاده می شود.
3D CNNها پیشرفت بزرگی در درک ویدئو ایجاد کردند و هنوز هم در کنار ترانسفورمرهای ویدئویی استفاده می شوند.
