توضیحات

انتخاب متغیر در رگرسیون چندکی

رگرسیون چندکی توسط Koenker و Bassett در سال ۱۹۷۸ معرفی شد. پس از آن، این روش به یک روش مهم و پرکاربرد برای مطالعه توزیع شرطی کامل متغیر پاسخ و هم­چنین ابزاری مهم در آمار کاربردی، تبدیل شده است.

انتخاب متغیر در مدل­بندی آماری مدل­هایی که دارای بعد بالا هستند، مسئله­ی اساسی است. پرکاربردترین روش­ها، روش­های انتخاب گام­به­گام است. این روش­ها از نظر محاسباتی پرهزینه هستند و هم­چنین خطای تصادفی در فرآیند انتخاب متغیر را در نظر نمی­گیرند.

در این پایان­نامه روی جنبه­ی انتخاب متغیر رگرسیون چندکی تاوانیده، متمرکز می­شویم. تحت شرایطی، خواص پیش­گویی رگرسیون چندکی SCAD تاوانیده و adaptive-LASSOتاوانیده را نشان می­دهیم.

انتخاب متغیر در رگرسیون چندکی

کلید واژه : انتخاب متغیر، خواص پیشگویی، رگرسیون چندکی، adaptive-LASSO، SCAD

 ۶۵صفحه فایل ورد (Word) فونت ۱۴ منابع دارد  

پس از پرداخت آنلاین میتوانید فایل کامل انتخاب متغیر در رگرسیون چندکی را دانلود کنید

فهرست مطالب انتخاب متغیر در رگرسیون چندکی

عنوان                                                                                                                      صفحه

فصل اول: مقدمه

۱-۱- تاریخچه………..……………………………………………………………………………………………………………… ۳

فصل دوم: رگرسیون چندکی

۲-۱- چندک­ها و چندک­های شرطی …………………………………………………………………………………… ۷

۲-۲- از رگرسیون میانگین تا رگرسیون چندکی …………………………………………………………………. ۸

۲-۳- از برآورد کمترین مربعات تا check function ………………………………………………………….. 12

۲-۴- از توزیع­های شرطی چوله تا رگرسیون چندکی ……………………………………………………….. ۱۳

۲-۵- روش برآوردیابی ………………………………………………………………………………………………………….. ۱۵

فصل سوم: رگرسیون چندکی خطی تاوانیده

۳-۱- رگرسیون چندکی خطی تاوانیده ……………………………………………………………………………….. ۱۸

۳-۲- رگرسیون چندکی خطی تاوانیده با تاوانLASSO…………………………………………………….. 20

۳-۳- رگرسیون چندکی خطی تاوانیده با تاوان LASSO انطباقی ……………………………………. ۲۰

۳-۴- رگرسیون چندکی خطی تاوانیده با تاوان SCAD ……………………………………………………. 21

عنوان                                                                                                                      صفحه

فصل چهارم: خواص مجانبی

۴-۱- خواص مجانبی ……………………………………………………………………………………………………………. ۲۴

۴-۲- خواص مجانبی تاوان SCAD …………………………………………………………………………………….. 25

۴-۳- خواص مجانبی تاوان LASSO انطباقی …………………………………………………………………….. ۲۶

۴-۴- خطاهای تصادفی مستقل و ناهم­توزیع ………………………………………………………………………. ۲۷

فصل پنجم: مثال کاربردی

مثال ……………………………………………………………………………………………………………………………………….. ۳۰

فهرست منابع ومآخذ ………………………………………………………………………………………………………………. ۳۵

پیوست

پیوست ۱ ……………………………………………………………………………………………………………………………….. ۴۰

پیوست ۲ ……………………………………………………………………………………………………………………………….. ۴۹

پیوست ۳ ……………………………………………………………………………………………………………………………….. ۵۴

پیوست ۴ ……………………………………………………………………………………………………………………………….. ۵۵

انتخاب متغیر در رگرسیون چندکی

فهرست جدول ها

عنوان                                                                                                                      صفحه

جدول-۱: نتایج شبیه­سازی برای سه روش مورد نظر با ۱=λ و ۱=و ۱۰۰۰۰=n…………………. 31

جدول-۲: نتایج شبیه­سازی برای سه روش مورد نظر با ۱=λ و ۳=و ۱۰۰۰۰=n…………………. 32

جدول-۳: نتایج شبیه­سازی برای سه روش موردنظر با ۸=λو۱=و ۱۰۰۰۰=n…………………… 32

جدول-۴: نتایج شبیه­سازی برای سه روش موردنظر با ۸=λو۳=و ۱۰۰۰۰=n…………………… 33

جدول-۵: نتایج شبیه­سازی برای سه روش موردنظر با ۲۰=λو۱=و ۱۰۰۰۰=n………………… 33

جدول-۶: نتایج شبیه­سازی برای سه روش موردنظر با ۲۰=λو۳=و ۱۰۰۰۰=n………………… 34

انتخاب متغیر در رگرسیون چندکی

فهرست نمودارها انتخاب متغیر در رگرسیون چندکی

عنوان                                                                                                                      صفحه

نمودار۱: ۴۵۹ داده مربوط به حقوق استادان آمار آمریکا به عنوان تابعی از

سال­های استادی، به همراه نمودار رگرسیونی درجه دوم برازش داده شده……………………………… ۱۰

نمودار ۲: ۴۵۹ داده مربوط به حقوق استادان آمار آمریکا به عنوان تابعی از

سال­های استادی، به همراه سه نمودار رگرسیونی چندکی………………………………………………………… ۱۱

نمودار ۳: وزن در برابر سن ۴۰۱۱ دختر آمریکایی…………………………………………………………………….. ۱۳

نمودار۴: وزن در برابر سن ۴۰۱۱ دختر آمریکایی به همراه هفت نمودار

رگرسیونی چندکی……………………………………………………………………………………………………………………….. ۱۴

نمودار ۵: نمونه­ای از نمودار تابع SCAD برای۷/۳= و ۲= ………………………………………………… ۲۲

نمودار ۶: نمودار تابع LASSO……………………………………………………………………………………………………. 22

انتخاب متغیر در رگرسیون چندکی

فصل اول

مقدمه انتخاب متغیر در رگرسیون چندکی

رگرسیون (regression) در قلب آمار جای دارد.رگرسیون کمترین مربعات عادی (ordinary least square regression) (OLSR)میانگین متغیر پاسخ (response) را به عنوان تابعی از متغیرهای پیش­بینی­کننده (predictors)، برآورد می­کند. رگرسیون کمترین انحراف قدرمطلق (least absolute deviation

regression) (LADR)، تابع میانه­ی شرطی (به شرط متغیرهای پیش­بینی­کننده) را به عنوان تابعی از متغیرهای پیش­بینی­کننده، برآورد می­کند. رگرسیون کمترین انحراف قدرمطلق، نسبت به مشاهدات پرت، پایاتر از رگرسیون کمترین مربعات است. Koenker و Bassett در سال ۱۹۷۸ ایده­ی مربوط به

رگرسیون کمترین انحراف قدر مطلق را تعمیم دادند و رگرسیون چندکی (quantile regression) را مطرح کردند. رگرسیون چندکی، توابع چندکی شرطی (به شرط متغیرهای پیش­بینی­کننده) را به عنوان توابعی از متغیرهای پیش­بینی­کننده، برآورد می­کند. رگرسیون چندکی اطلاعات بیشتری از توزیع شرطی متغیر پاسخ ارائه می­دهد و رگرسیون کمترین انحراف قدر مطلق را به عنوان یک حالت خاص در بر می­گیرد. رگرسیون چندکی پس از معرفی توجه زیادی را

به خود جلب کرده است و در زمینه­های گوناگون به کار برده شده است از جمله: اقتصاد (Koenker و Hendricks (1992)، Koenker و Hallock (2001))، آنالیز بقاء (Yang (1999)، Koenker و Geling (2001)) مطالعات ریزآرایه (microarray)(Wang و He (2007))، نمودار رشد (Wei و همکاران (۲۰۰۶)، Wei و He (2006)).

انتخاب متغیر در رگرسیون چندکی

۱-۱- تاریخچه

انتخاب متغیر (variable selection) نقش اساسی در فرآیند ساختمان مدل ایفا می­کند. در عمل، به طور معمول تعداد زیادی متغیر پیش­بینی­کننده­ی کاندید وجود دارد. این متغیرها در مرحله­ی ابتدائی مدل­بندی، به حساب آورده می­شوند. همان طور که Fanو Liدر سال ۲۰۰۱ مورد بررسی قرار دادند این کار به سبب جلوگیری از انحراف از مدل اصلی صورت می­گیرد (اگر تعداد متغیرهای پیش­بینی­کننده­ی کمتری از آنچه در واقعیت وجود دارد، در مدل­بندی در نظر بگیریم، برآوردهای اریب حاصل می­شوند). اما نگه داشتن متغیرهای بی­ربط در مدل نهایی، نامطلوب است. چون این کار تفسیر مدل نهایی را مشکل می­نماید و ممکن است قدرت پیش­بینی آن را کاهش دهد. به این دلیل آماردانان معمولأ از روش انتخاب بهترین زیرمجموعه (best-subset selection) برای

انتخاب متغیر استفاده می­کنند. با این حال به روش انتخاب بهترین زیر­مجموعه چند اشکال وارد است. شدیدترین آن­ها همان­طور که Breimanدر سال ۱۹۹۶ مورد بررسی قرار داد، عدم پایایی(stability) است. منظور از پایایی در این زمینه، این است که با تغییر اندک در متغیرهای پیش­بینی­کننده، در انتخاب بهترین زیرمجموعه تغییر زیادی صورت نگیرد. دیگر این­که زمانی که تعداد متغیرها زیاد است از نظر محاسباتی غیر عملی است. انتخاب گام به گام (stepwise-selection)جانشین محاسباتی برای انتخاب بهترین زیر مجموعه است. معذلک، انتخاب گام به گام بسیار متغیر است و اغلب اوقات به جواب بهینه­ی موضعی می­انجامد. به علاوه همان­طور که Fan و Liدرسال۲۰۰۱ و هم­چنین Shen و Ye در سال ۲۰۰۲ مورد بررسی قراردادند، این دستورالعمل­های انتخاب، خطای تصادفی را در مرحله­ی انتخاب متغیر در نظر نمی­گیرند.

انتخاب متغیر در رگرسیون چندکی

برای انجام انتخاب متغیر، تاوان­های (penalties) گوناگونی معرفی شده­اند. تاوان که در LASSOمورد استفاده قرار می­گیرد، توسط Tibshirani در سال ۱۹۹۰ برای رسیدن به انتخاب متغیر معرفی شد. Fan و Li در سال ۲۰۰۱ یک روش متحد از طریق رگرسیون کمترین مربعات غیر مقعر، پیشنهاد کردند که به­طور همزمان عمل انتخاب متغیر و برآورد پارامترها را انجام می­دهد. این روش، جواب تنک (sparse) تولید می­کند، پایایی انتخاب متغیر را تضمین می­کند، و برآوردهای نااریب برای ضرائب بزرگ ارائه می­دهد. منظور از جواب تنک، ارائه برآورد صفر برای ضرائبی است که در واقعیت، تأثیر­گذار نیستند. این سه

خاصیت پسندیده یک تاوان خوب است که توسط Fan و Li در سال ۲۰۰۱ مورد بررسی قرار گرفت. یک نمونه از تاوان غیر محدب، تابع انحراف قدرمطلق به طور هموار بریده شده (smoothly clipped absolute deviation) (SCAD) است که اولین بار توسط Fan در سال ۱۹۹۷ معرفی شد، و سپس توسط Fan و Li در سال ۲۰۰۱ مورد مطالعه بیشتر قرار گرفت تا خواص پیش­گویی (oracle properties) آن در زمینه درستنمایی تاوانیده (penalized likelihood) نشان داده شود. پس از آن، یک سری مقالات توسط Fan و Li در سال ۲۰۰۲ و ۲۰۰۴، Fan و Peng در سال ۲۰۰۴، Hunter و Li در سال ۲۰۰۵ نوشته شده و خواص دیگر آن مورد مطالعه قرار گرفته و الگوریتم­های جدیدی ارائه شده است.

Zou در سال ۲۰۰۶ با به کار بردن وزن­های انطباقی برای تاوانیدن ضرائب مختلف، در تاوان LASSO، تاوان LASSO انطباقی (adaptive-LASSO) را معرفی کرد و خواص پیش­گویی آن را نشان داد. نتایج مشابه در مقاله­هایی که توسط Yuan و Lin در سال ۲۰۰۷، Zhao و Yu در سال ۲۰۰۶ نوشته شده است،

ساخته شد. Zhang و Lu در سال ۲۰۰۷ LASSO انطباقی را در مدل­های خطر متناسب (proportional hazard models) مورد مطالعه قرار دادند. Candes و Tao در سال ۲۰۰۷ هم­چنین Fan و Lv در سال ۲۰۰۶ انتخاب متغیر را در زمینه­هایی که از نظر بعدی بزرگتر از اندازه نمونه هستند، مورد مطالعه قرار دادند. Koenker در سال ۲۰۰۴ تاوان LASSO را برای مدل رگرسیون چندکی با اثرات آمیخته (mixed-effect quantile regression model) برای داده­های طولی به کار برد. Li و Zhu در سال ۲۰۰۵ راه حلی برای رگرسیون چندکی تاوانیده شده ( penalized quantile regression) ارائه کردند. Wang، Li و Jiang در سال ۲۰۰۷ رگرسیون کمترین انحراف قدر مطلق را با تاوان LASSO انطباقی در نظر گرفتند.

انتخاب متغیر در رگرسیون چندکی

در این پایان_­­نامه به انتخاب متغیر در رگرسیون چندکی تاوانیده می­پردازیم. توجه داشته باشید تابع زیانی که در رگرسیون چندکی مورد استفاده قرار می­گیرد در مبدأ مشتق­پذیر نیست، در نتیجه خواص پیش­گویی کلی برای درستنمایی تاوانیده غیر مقعر که توسط Fan و Li در سال ۲۰۰۱ مورد مطالعه قرار گرفت، به طور مستقیم قابل اجرا نیست. در این پایان­نامه خواص پیش­گویی تاوان­های SCAD و LASSO انطباقی در زمینه­ی رگرسیون چندکی تاوانیده، که شامل رگرسیون کمترین انحراف قدرمطلق به عنوان یک حالت خاص می­باشد، تعمیم داده می­شود………………………….. انتخاب متغیر در رگرسیون چندکی