شبکه های بیزی: تعریف، مثال ها و نحوه کار آنها

فهرست مطالب:

شبکه های بیزی: تعریف، مثال ها و نحوه کار آنها
شبکه های بیزی: تعریف، مثال ها و نحوه کار آنها
Anonim

یک باور، شبکه تصمیم، مدل بیزی (یان) یا مدل گراف غیر چرخه‌ای مبتنی بر احتمالات، طرحواره‌ای متغیری (نوعی مدل آماری) است که مجموعه‌ای از متغیرها و وابستگی‌های شرطی آنها را از طریق یک نمودار غیر چرخه‌ای جهت‌دار (DAG) نشان می‌دهد.).

برای مثال، یک شبکه بیزی می تواند روابط احتمالی بین بیماری ها و علائم را نشان دهد. با توجه به مورد اخیر، می توان از شبکه برای محاسبه احتمال ابتلا به بیماری های مختلف استفاده کرد. در ویدیوی زیر می توانید نمونه ای از یک شبکه اعتقادی بیزی را با محاسبات مشاهده کنید.

Image
Image

کارایی

الگوریتم های کارآمد می توانند استنتاج و یادگیری را در شبکه های بیزی انجام دهند. شبکه‌هایی که متغیرها را مدل‌سازی می‌کنند (مانند سیگنال‌های گفتاری یا توالی‌های پروتئینی) شبکه‌های پویا نامیده می‌شوند. تعمیم شبکه های بیزی که می توانند مسائل را تحت عدم قطعیت نشان دهند و حل کنند، نمودارهای نفوذ نامیده می شوند.

جوهر

به طور رسمیشبکه‌های بیزی DAGهایی هستند که گره‌های آنها متغیرها را به معنای بیزی نشان می‌دهند: می‌توان آن‌ها را مقادیر مشاهده‌شده، متغیرهای پنهان، پارامترهای ناشناخته یا فرضیه‌ها دانست. چون خیلی جالبه.

نمونه شبکه بیزی

دو رویداد می تواند باعث خیس شدن چمن شود: یک آب پاش فعال یا باران. باران تأثیر مستقیمی بر استفاده از آبپاش دارد (یعنی وقتی باران می بارد، آبپاش معمولاً غیرفعال است). این وضعیت را می توان با استفاده از شبکه بیزی مدل کرد.

فرمول معمولی
فرمول معمولی

شبیه سازی

از آنجایی که شبکه بیزی یک مدل کامل برای متغیرها و روابط آنهاست، می توان از آن برای پاسخگویی به سوالات احتمالی در مورد آنها استفاده کرد. به عنوان مثال، می توان از آن برای به روز رسانی دانش در مورد وضعیت زیرمجموعه ای از متغیرها هنگام مشاهده سایر داده ها (متغیرهای شواهد) استفاده کرد. این فرآیند جالب استنتاج احتمالی نامیده می شود.

A posteriori یک آمار جهانی کافی برای کاربردهای کشف هنگام انتخاب مقادیر برای زیرمجموعه ای از متغیرها ارائه می دهد. بنابراین، این الگوریتم را می توان مکانیزمی برای اعمال خودکار قضیه بیز برای مسائل پیچیده در نظر گرفت. در تصاویر موجود در مقاله می توانید نمونه هایی از شبکه های اعتقادی بیزی را مشاهده کنید.

شبکه بیزی عملی
شبکه بیزی عملی

روشهای خروجی

متداول ترین روش های استنتاج دقیق عبارتند از: حذف متغیر، که (از طریق ادغام یا جمع) غیر قابل مشاهده را حذف می کند.پارامترهای غیر پرس و جو یک به یک با تخصیص مقدار به محصول.

روی انتشار یک "درخت" کلیک کنید که محاسبات را در حافظه پنهان ذخیره می کند تا بتوان بسیاری از متغیرها را به طور همزمان جستجو کرد و اثبات های جدید را به سرعت منتشر کرد. و تطبیق بازگشتی و/یا جستجو، که امکان داد و ستد بین فضا و زمان را فراهم می‌کند و با استفاده از فضای کافی با کارایی حذف متغیر مطابقت دارد.

همه این روش ها پیچیدگی خاصی دارند که به طور تصاعدی به طول شبکه بستگی دارد. رایج‌ترین الگوریتم‌های استنتاج تقریبی عبارتند از: حذف بخش کوچک، انتشار باور چرخه‌ای، انتشار باور تعمیم‌یافته، و روش‌های متغیر.

انواع شبکه ها
انواع شبکه ها

شبکه

برای مشخص کردن کامل شبکه بیزی و در نتیجه نمایش کامل توزیع احتمال مشترک، لازم است برای هر گره X توزیع احتمال X را به دلیل والدین X مشخص کنیم.

توزیع X به صورت مشروط توسط والدینش می تواند هر شکلی داشته باشد. کار با توزیع های گسسته یا گاوسی معمول است زیرا محاسبات را ساده می کند. گاهی اوقات فقط محدودیت های توزیع شناخته شده است. سپس می‌توانید از آنتروپی برای تعیین تک توزیعی که بالاترین آنتروپی را با توجه به محدودیت‌ها دارد، استفاده کنید.

به طور مشابه، در زمینه خاص یک شبکه بیزی پویا، توزیع شرطی برای تکامل زمانی نهفتهحالت معمولاً برای به حداکثر رساندن نرخ آنتروپی فرآیند تصادفی ضمنی تنظیم می‌شود.

وب بیزی اعتماد
وب بیزی اعتماد

به حداکثر رساندن مستقیم احتمال (یا احتمال پسین) اغلب با توجه به وجود متغیرهای مشاهده نشده مشکل است. این به ویژه برای یک شبکه تصمیم گیری بیزی صادق است.

رویکرد کلاسیک

رویکرد کلاسیک برای این مشکل، الگوریتم بیشینه سازی انتظارات است، که به طور متناوب محاسبه مقادیر مورد انتظار متغیرهای مشاهده نشده وابسته به داده های مشاهده شده را با حداکثر کردن احتمال کل (یا مقدار پسین)، با فرض اینکه محاسبه قبلی مورد انتظار است، تغییر می دهد. مقادیر صحیح هستند در شرایط نظم متوسط، این فرآیند در مقادیر حداکثر (یا حداکثر پسینی) پارامترها همگرا می شود.

یک رویکرد بیزی کاملتر به پارامترها این است که آنها را به عنوان متغیرهای مشاهده نشده اضافی در نظر بگیریم و توزیع کامل خلفی را بر روی همه گره ها با توجه به داده های مشاهده شده محاسبه کنیم و سپس پارامترها را ادغام کنیم. این رویکرد می‌تواند پرهزینه باشد و منجر به مدل‌های بزرگ شود و رویکردهای تنظیم پارامترهای کلاسیک را در دسترس‌تر کند.

در ساده ترین حالت، یک شبکه بیزی توسط یک متخصص تعریف می شود و سپس برای انجام استنتاج استفاده می شود. در کاربردهای دیگر، کار تعیین برای انسان بسیار دشوار است. در این مورد، ساختار شبکه عصبی بیزی و پارامترهای توزیع محلی باید در بین داده ها آموخته شود.

شبکه های بیزی
شبکه های بیزی

روش جایگزین

یک روش جایگزین برای یادگیری ساختاریافته از جستجوی بهینه سازی استفاده می کند. این نیاز به استفاده از یک تابع ارزیابی و یک استراتژی جستجو دارد. یک الگوریتم امتیازدهی رایج، احتمال عقبی یک ساختار داده‌های آموزشی مانند BIC یا BDeu است.

زمان مورد نیاز برای یک جستجوی جامع که ساختاری را برمی گرداند که امتیاز را به حداکثر می رساند، از نظر تعداد متغیرها فوق نمایی است. استراتژی جستجوی محلی تغییرات تدریجی را برای بهبود برآورد ساختار ایجاد می کند. فریدمن و همکارانش استفاده از اطلاعات متقابل بین متغیرها را برای یافتن ساختار مورد نظر در نظر گرفتند. آنها مجموعه ای از نامزدهای والد را به k گره محدود می کنند و آنها را به طور کامل جستجو می کنند.

یک روش بسیار سریع برای مطالعه دقیق BN این است که مسئله را به عنوان یک مسئله بهینه سازی تصور کنید و آن را با استفاده از برنامه نویسی عدد صحیح حل کنید. محدودیت های غیر چرخه ای به برنامه اعداد صحیح (IP) در طول حل به شکل صفحات برش اضافه می شوند. چنین روشی می‌تواند تا 100 متغیر مشکلات را حل کند.

نمودارها و شبکه ها
نمودارها و شبکه ها

حل مشکل

برای حل مشکلات با هزاران متغیر، رویکرد متفاوتی لازم است. یکی این است که ابتدا یک سفارش را انتخاب کنید و سپس ساختار BN بهینه را با توجه به آن ترتیب پیدا کنید. این به معنای کار در فضای جستجوی سفارش احتمالی است که راحت است زیرا از فضای ساختارهای شبکه کوچکتر است. سپس چندین سفارش انتخاب و ارزیابی می شوند. این روش معلوم شدبهترین زمانی که تعداد متغیرها زیاد باشد در ادبیات موجود است.

روش دیگر تمرکز بر زیرکلاسی از مدل‌های تجزیه‌پذیر است که MLE برای آنها بسته است. سپس می توانید یک ساختار ثابت برای صدها متغیر پیدا کنید.

مطالعه شبکه های بیزی با عرض محدود سه خط برای ارائه استنتاج دقیق و قابل تفسیر ضروری است، زیرا در بدترین حالت پیچیدگی دومی نمایی در طول درخت k است (طبق فرضیه زمان نمایی). با این حال، به عنوان یک ویژگی کلی نمودار، پیچیدگی فرآیند یادگیری را بسیار افزایش می دهد. در این زمینه، K-tree می تواند برای یادگیری موثر استفاده شود.

شبکه کوتاه
شبکه کوتاه

توسعه

توسعه یک وب اعتماد بیزی اغلب با ایجاد یک DAG G آغاز می شود به طوری که X یک ویژگی مارکوف محلی را با توجه به G برآورده می کند. گاهی اوقات این یک DAG علّی است. توزیع احتمال مشروط هر متغیر بر روی والدینش در G تخمین زده می شود. در بسیاری از موارد، به ویژه زمانی که متغیرها گسسته هستند، اگر توزیع مشترک X حاصلضرب این توزیع های شرطی باشد، آنگاه X با توجه به یک شبکه بیزی تبدیل می شود. G.

"پتوی گره" مارکوف مجموعه ای از گره ها است. لحاف مارکوف گره را از بقیه قسمت های خالی گره با همین نام مستقل می کند و دانش کافی برای محاسبه توزیع آن است. X یک شبکه بیزی نسبت به G است اگر هر گره به طور مشروط از همه گره های دیگر مستقل باشد، با توجه به مارکوین آن.پتو.

توصیه شده: