نیکویی برازش

پس از واسنجیِ یک مدل، باید به‌صورتِ کمّی بسنجیم که مدل تا چه اندازه با داده‌ها هم‌خوانی دارد. «به‌نظر خوب می‌آید» کافی نیست؛ به سنجه‌های عددی نیاز داریم که کارایی مدل‌ها را قابلِ مقایسه کنند. این فصل، مفهومِ نیکویی برازش و سنجه‌های اصلیِ آن را معرفی می‌کند.

مانده‌ها: سنگ‌بنای سنجش

پایهٔ همهٔ سنجه‌ها، مانده است، یعنی تفاوتِ میانِ مقدارِ مشاهده‌شده و مقدارِ پیش‌بینی‌شدهٔ مدل. اگر \(y_i\) دادهٔ \(i\)ام و \(\hat{y}_i\) پیش‌بینیِ مدل باشد، مانده چنین است:

\[ r_i = y_i - \hat{y}_i. \]

یک مدلِ خوب مانده‌های کوچک و بدونِ الگو دارد. اگر مانده‌ها الگوی منظمی نشان دهند، مثلاً همه در یک بازه مثبت و در بازه‌ای دیگر منفی باشند، این نشان می‌دهد که مدل بخشی از ساختارِ داده را توضیح نداده است. بنابراین، نخستین و مهم‌ترین گام، رسمِ مانده‌ها در برابرِ زمان یا متغیرِ مستقل است.

سنجه‌های عددی

از مانده‌ها چند سنجهٔ خلاصه ساخته می‌شود.

مجموع مربعات مانده‌ها (SSR). ساده‌ترین سنجه، مجموعِ مربعاتِ مانده‌هاست:

\[ \mathrm{SSR} = \sum_{i=1}^{n} r_i^2 = \sum_{i=1}^{n}\big(y_i - \hat{y}_i\big)^2. \]

این همان کمیتی است که در برآوردِ کمترین‌مربعات کمینه می‌شود.

ریشهٔ میانگین مربعات خطا (RMSE). برای آن‌که سنجه‌ای هم‌واحد با خودِ داده داشته باشیم:

\[ \mathrm{RMSE} = \sqrt{\frac{1}{n}\sum_{i=1}^{n}\big(y_i - \hat{y}_i\big)^2}. \]

RMSE «خطای نوعی» مدل را به واحدِ داده، مثلاً متر برای جابه‌جایی، بیان می‌کند و تفسیرِ آسانی دارد.

ضریب تعیین (\(R^2\)). این سنجه می‌گوید مدل چه کسری از تغییراتِ داده را توضیح می‌دهد:

\[ R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}, \]

که در آن \(\bar{y}\) میانگینِ داده‌هاست. مقدارِ \(R^2=1\) یعنی برازشِ کامل، و \(R^2=0\) یعنی مدل دقتی بیش از پیش‌بینی با میانگینِ داده‌ها ندارد. هرچه به ۱ نزدیک‌تر، بهتر، اما با احتیاطی که در ادامه می‌آید.

مثال: برازش به نوسانگر میرا

فرض کنید جابه‌جاییِ یک نوسانگرِ میرا را اندازه گرفته‌ایم و دو مدل را آزمایش می‌کنیم: یکی نوسانگرِ هماهنگِ ساده و بدونِ میرایی، و دیگری نوسانگرِ میرا. مدلِ بی‌میرایی مانده‌هایی با الگوی روشن خواهد داشت، چون افتِ دامنه را نمی‌گیرد؛ در بازه‌هایی پیش‌بینی‌اش از داده بزرگ‌تر و در بازه‌هایی کوچک‌تر است. RMSE‌اش بزرگ و \(R^2\)‌اش پایین است. مدلِ میرا مانده‌های کوچک و بی‌الگو، RMSE کم و \(R^2\) نزدیک به ۱ دارد. این مقایسهٔ کمّی، انتخابِ مدلِ بهتر را روشن می‌کند.

خطر بیش‌برازش

یک هشدارِ مهم: برازشِ بهتر همیشه به‌معنای مدلِ بهتر نیست. اگر به مدل پارامترهای بیشتری بدهیم، تقریباً همیشه \(R^2\) بالا می‌رود و RMSE پایین می‌آید، حتی اگر آن پارامترهای افزوده هیچ معنای فیزیکی نداشته باشند.

این نکته را می‌توان دقیق بیان کرد. یک چندجمله‌ای از درجهٔ \(n\) دارای \(n+1\) ضریبِ آزاد است و می‌تواند دقیقاً از هر \(n+1\) نقطهٔ دلخواه بگذرد. ساده‌ترین نمونه یک خط است: یک خط، چندجمله‌ای از درجهٔ یک با دو ضریب (\(y = ax + b\)) است و همواره می‌توان خطی یافت که دقیقاً از دو نقطه بگذرد. به‌همین ترتیب، یک سهمی، چندجمله‌ای از درجهٔ دو با سه ضریب (\(y = ax^2 + bx + c\)) است و همواره می‌توان سهمی‌ای یافت که دقیقاً از سه نقطه بگذرد. این الگو ادامه دارد: پس اگر درجهٔ چندجمله‌ای را به‌اندازهٔ کافی بزرگ بگیریم، می‌تواند از هر مجموعه‌ای از نقاط دقیقاً عبور کند و برازشی کامل (\(R^2=1\)) بسازد.

اما چنین مدلی نوفه را به‌جای فیزیک «حفظ» کرده و بر داده‌های تازه فاجعه‌بار است؛ هرچند از تک‌تکِ نقاط می‌گذرد، در فاصلهٔ میانِ آن‌ها رفتاری پرنوسان و بی‌معنا پیدا می‌کند و هیچ پیش‌بینیِ قابلِ‌اعتمادی به‌دست نمی‌دهد. این پدیده بیش‌برازش نام دارد.

به یاد بیاوریم که، به گفتهٔ جورج باکس، همهٔ مدل‌ها نادرست‌اند اما برخی سودمندند؛ هدفِ ما نه برازشِ بی‌نقص به نقاطِ موجود، بلکه ساختنِ مدلی است که بر داده‌های تازه نیز سودمند بماند. راهِ مقابله با بیش‌برازش همان درسِ فصلِ پیش است: کارایی را بر داده‌های مستقل بسنجید، یعنی داده‌هایی که در برازش به کار نرفته‌اند، نه بر همان داده‌هایی که مدل به آن‌ها برازش شده است.

ایدهٔ مکملِ دیگر این است که هنگامِ مقایسهٔ مدل‌ها، مدلِ ساده‌تر را بر مدلِ پیچیده‌تر ترجیح دهیم، مگر آن‌که پیچیدگیِ بیشتر واقعاً برازش را به‌طورِ چشمگیر بهتر کند. این همان اصلِ صرفه‌جویی (یا تیغِ اوکام، Occam's razor) است. مشکلِ \(R^2\) ساده این است که با افزودنِ هر پارامتر، هرگز کم نمی‌شود و معمولاً بالا می‌رود، پس به‌تنهایی نمی‌تواند بگوید آیا یک پارامترِ تازه ارزشش را داشته است یا نه. برای رفعِ این مشکل، سنجه‌هایی ساخته شده‌اند که هزینهٔ پیچیدگی را به حساب می‌آورند: آن‌ها به ازای هر پارامترِ افزوده، نمرهٔ مدل را اندکی جریمه می‌کنند، تا تنها زمانی مدلِ پیچیده‌تر برنده شود که بهبودِ برازش از این جریمه بیشتر باشد. دو نمونهٔ پرکاربرد، \(R^2\) تعدیل‌شده (adjusted \(R^2\)؛ نسخه‌ای از \(R^2\) که برای تعدادِ پارامترها تصحیح می‌شود) و معیارهای اطلاعاتی مانندِ AIC (معیار اطلاعاتی آکائیکه، Akaike Information Criterion) و BIC (معیار اطلاعاتی بیزی، Bayesian Information Criterion) هستند. در فصلِ برآورد پارامتر به این ایده‌ها بازمی‌گردیم.

جمع‌بندی

نیکویی برازش، کارایی مدل را از حالتِ کیفیِ «خوب به‌نظر می‌رسد» به سنجه‌های کمّی و قابلِ‌مقایسه می‌برد: مانده‌ها، RMSE و \(R^2\). اما این سنجه‌ها را باید با احتیاط به کار برد؛ برازشِ بهتر به داده‌های موجود، به‌ویژه با افزودنِ پارامتر، می‌تواند نشانهٔ بیش‌برازش باشد، نه مدلِ بهتر. سنجشِ نهایی همواره بر داده‌های مستقل است.

---

پیشنهاد در گیت‌هاب گزارش اشکال در گیت‌هاب ارسال بازخورد با ایمیل