پاورپوینت Logistic Regression (pptx) 27 اسلاید

دسته بندی : پاورپوینت

نوع فایل : PowerPoint (.pptx) ( قابل ویرایش و آماده پرینت )

تعداد اسلاید: 27 اسلاید

قسمتی از متن PowerPoint (.pptx) :

بنام خدا 1 2 Logistic Regression ایده اصلی دسته بندی کننده بیزی برای محاسبه P(Y|X) لازم دارد تا مقادیر P(Y) و P(X|Y) را یاد بگیرد. چرا مستقیما P(Y|X) یاد گرفته نشود؟ لجستیک رگراسیون مقدار احتمال فوق را محاسبه میکند. دسته بندی کننده بیزی یک دسته بندی مولد است در حالیکه لجستیک رگراسیون یک دسته بندی کننده discriminative است. 3 4 مقدمه بر خلاف نامش این روش برای دسته بندی مورد استفاده قرار میگیرد نه رگراسیون. برای حالت K = 2 این مدل بسیار ساده بوده و از یک تابع خطی بهره می جوید. بردار ورودی بصورت < X1 … Xn > و بردارخروجی Y بولین در نظر گرفته میشود. تمام Xi ها از Y مستقل فرض شده و مقدار P(Xi | Y = yk) گوسی در نظر گرفته میشود. N(μik,σi) همچنین توزیع P(Y) بصورت برنولی در نظر گرفته میشود. مقایسه با رگراسیون خطی برای مدل کردن متغیرهائی که مقادیر محدودی به خود میگیرند بهتر از رگراسیون خطی عمل میکند زیرا مدل خطی هر مقداری را در خروجی تولید میکند درحالی که برای چنین متغیرهائی مقادیر محدودی مورد نیاز است. در رگراسیون خطی مقدار متغیر مورد نظر از ترکیب خطی متغیرهای مستقل بدست می آید در حالیکه در لجستیک رگراسیون از ترکیب خطی تابع logit استفاده میشود. در رگراسیون خطی پارامترها به روش least squares بدست می آیند در حالیکه این روش برای لجستیک رگراسیون فاقد کارائی بوده و از روش maximum likelihood estimation برای پیدا کردن پارامترها استفاده میشود. 5 logistic function مقدار این تابع و مشتق آن توسط روابط زیر تعریف میشود: 6 احتمال تعلق به دسته ها احتمال تعلق به هر دسته را میتوان بصورت تابع لجستيک در نظر گرفت: ضرایب w با استفاده از gradient ascent تعیین میشود. 7 احتمال تعلق به دسته ها برای مقادیر پیوسته رابطه بصورت زیر است 8 فرضیات رابطه قبل برای بدست آوردن رابطه فوق از فرض گوسی بودن توزیع احتمال استفاده شده است: 9