上課材料之十一(簡(jiǎn)約版)
第十章 非球形擾動(dòng)項(xiàng)與廣義最小二乘（GLS） 1. 問題的提出 多元化回歸模型擾動(dòng)項(xiàng)違背古典假設(shè)的更一般的模型是廣義回歸模型，即假設(shè) [pic] （1） 其中Ω是一般的正定矩陣，而不是在古典假設(shè)的情況下的單位矩陣。古典假設(shè)條件情況只 是這種模型的一個(gè)特例。 我們將考察的正定矩陣Ω兩種特殊的情況是異方差性和自相關(guān)。 異方差性 當(dāng)擾動(dòng)項(xiàng)有不同的方差時(shí)，它們就是異方差的，異方差性經(jīng)常產(chǎn)生于橫截面數(shù)據(jù)，其 中因變量的尺度（scales）和模型解釋能力在不同的觀察值之間傾向于變動(dòng)。我們?nèi)匀?假設(shè)不同觀測(cè)值之間擾動(dòng)無(wú)關(guān)。因此σ2Ω是 [pic] 自相關(guān) 自相關(guān)經(jīng)常出現(xiàn)在時(shí)間序列數(shù)據(jù)中，經(jīng)濟(jì)時(shí)間序列經(jīng)常表現(xiàn)出一種“記憶”，因?yàn)樽兓?在不同時(shí)期之間不是獨(dú)立的。時(shí)間序列數(shù)據(jù)通常是同方差的，因此σ2Ω可能是 [pic] 非對(duì)角線上的值依賴于擾動(dòng)項(xiàng)的模式。 普通最小二乘法（OLS）的結(jié)果 具有球形干擾項(xiàng) [pic] 和 [pic] （2） 重申前面的內(nèi)容，普通最小二乘估計(jì)量， [pic] （3） 是最佳線性無(wú)偏的、一致的和漸近正態(tài)分布的（CAN=Consistent and asymptotically normally distributed），并且如果干擾項(xiàng)服從正態(tài)分布，在所有CAN估計(jì)量中它是漸近有效的。 現(xiàn)在我們考察哪些特性在（1）模型中仍然成立。 有限樣本特性 對(duì)（3）兩邊取期望，如果[pic]，則 [pic] （4） 如果回歸量和擾動(dòng)項(xiàng)是無(wú)關(guān)的，則最小二乘法的無(wú)偏性不受（2）假設(shè)變化的影響。 最小二乘法估計(jì)量的樣本方差是 [pic] [pic] [pic] [pic]（5） 在（3）中，b是[pic]的線性函數(shù),因此，如果[pic]服從正態(tài)分布，則 [pic] 由于最小二乘估計(jì)量的方差不再是[pic]，任何基于[pic]的推斷都可能導(dǎo)致錯(cuò)誤。不 僅使用的矩陣是錯(cuò)誤的，而且s2也可能是[pic]的有偏估計(jì)量。通常無(wú)法知道[pic]是比 b的真正方差大還是小，因此即使有[pic]的一個(gè)好的估計(jì)，Var[b]的傳統(tǒng)估計(jì)量也不會(huì) 有用。 最小二乘法的漸近特性 如果Var[b]收斂于0，則b是一致的。使用表現(xiàn)良好的回歸量，[pic]將收斂到一個(gè)常 數(shù)矩陣（可能是0），并且最前面的乘子[pic]將收斂于0。但[pic]不一定收斂，如果它 收斂，則從（5）式可推斷普通最小二乘是一致的和無(wú)偏的。因此 如果[pic]都是有限正定矩陣，則b是β的一致估計(jì)量。 上述結(jié)論成立的條件依賴于X和Ω。 另一種分離這兩個(gè)組成部分的處理辦法是： 如果 1、X′X最小的特征根當(dāng)[pic]時(shí)無(wú)限制地增加，這意味著[pic]； 2、Ω最大的特征根對(duì)于所有n都是有限的。對(duì)于異方差模型，方差就是特征根。因此 ，要求它們是有限的。對(duì)于有自相關(guān)的模型，這要求Ω的元素有限并且非對(duì)角線元素與對(duì) 角線元素相比不是特別大。那么，普通最小二乘法在廣義回歸模型中是一致的。 說(shuō)明普通最小二乘法是不一致的模型 假定回歸模型是[pic]，其中[pic]的均值為0，方差為常數(shù)并且在不同觀測(cè)值之間具 有相同的相關(guān)系數(shù)[pic]。于是 [pic] 矩陣X是一列1。μ的普通最小二乘估計(jì)量是[pic]=[pic]。把Ω代入（5），得 [pic] （5a） 這個(gè)表達(dá)式的極限是[pic]而不是0。盡管OLS是無(wú)偏的，但它不是一致的。對(duì)于這個(gè) 模型，[pic]不收斂。由于X是一列1，因此[pic]是一個(gè)標(biāo) 量，滿足條件1；但是，Ω的特征根是[pic]（重?cái)?shù)是n-1）和[pic]，不滿足條件2；這個(gè) 例子中模型的困難是不同觀測(cè)值間有太多的相關(guān)。在時(shí)間序列情況下，我們一般要求觀 測(cè)值之間關(guān)于時(shí)間的相關(guān)系數(shù)隨它們之間距離增加而減小。這里條件沒有被滿足。關(guān)于 在簡(jiǎn)介中曾討論的自相關(guān)擾動(dòng)項(xiàng)的協(xié)方差矩陣上需要附加什么種類的要求，這給出一些 很有意義的信息。 如果 [pic] （5b） 的極限分布是正態(tài)的，則OLS估計(jì)量漸近地服從正態(tài)分布。如果[pic]，那么右邊項(xiàng)的極 限分布與 [pic] （5c） 的分布相同，其中[pic]是X的一行（當(dāng)然假定極限分布確實(shí)存在）?，F(xiàn)在，問題是中心 極限定理是否可以直接應(yīng)用于v。如果擾動(dòng)項(xiàng)只是異方差的而且仍是無(wú)關(guān)的，答案通常是 肯定的。在這種情況下，很容易看到只要X表現(xiàn)良好，而且Ω對(duì)角元素是有限的，最小二 乘估計(jì)量是漸近正態(tài)分布的，方差矩陣由（5）給出。對(duì)于大多數(shù)一般的情況，答案是否 定的，因?yàn)椋?c）中的和不一定是相互獨(dú)立或是甚至無(wú)關(guān)的隨機(jī)變量的和。不過(guò)，雨宮 （1985）和安德森（1971）曾指出，自相關(guān)擾動(dòng)項(xiàng)的模型中b的漸近正態(tài)性是足夠普遍的 ，以致于包括了我們?cè)趯?shí)際中可能遇到的大多數(shù)情況。我們可以得到結(jié)論，除了在特別 不利的情況 下， b漸近地服從均值為β，方差矩陣由（5）給出的正態(tài)分布。 總之，OLS在這個(gè)模型中只保留了它的一些可取性質(zhì)，它是無(wú)偏的、一致的和漸近正 態(tài)分布的。不過(guò)，它不是有效。我們需要尋求b的有效估計(jì)。 2. 廣義最小二乘（GLS） 在廣義回歸模型中，β的有效估計(jì)需要關(guān)于Ω的知識(shí)。我們只考察Ω是已知的、對(duì)稱正 定矩陣的情況，這種情況偶爾會(huì)發(fā)生，但在大多數(shù)的模型中Ω包含必須估計(jì)的未知參數(shù)。 由于Ω是正定對(duì)稱矩陣，它可以分解為 [pic] （6） 其中C的各列是Ω的特征向量經(jīng)過(guò)正交化而得到，即CC’=I，而且Ω的特征根被放在對(duì)角 矩陣[pic]中。令[pic]是對(duì)角元素為[pic]的對(duì)角矩陣。 如果令[pic]，則 [pic] 用P’前乘（1）中的模型可得 [pic] 或 [pic] （7） [pic]的方差是 [pic] 因此，這個(gè)變換后的模型就是一個(gè)我們熟悉的古典回歸模型。由于Ω已知，所以，[pic] 是可觀測(cè)數(shù)據(jù)。在古典回歸模型中，OLS是有效的。 因此[pic] 是[pic]的有效估計(jì)量。這是[pic]的廣義最小二乘（GLS）估計(jì)量。按照古典回歸模型， 我們有以下結(jié)論： 如果[pic]，GLS估計(jì)量[pic]是無(wú)偏的。這等價(jià)于[pic]，但由于P是已知常數(shù)的矩陣 ，即要求[pic]，也即要求回歸量與擾動(dòng)項(xiàng)是無(wú)關(guān)的，是我們模型的基本假設(shè)。 如果 [pic] （8） GLS估計(jì)量是一致的，其中Q*是有限正定矩陣。進(jìn)行替換可得 [pic] （9） 我們需要的是變換后的數(shù)據(jù)[pic]而不是原始數(shù)據(jù)X的數(shù)據(jù)。 根據(jù)（9）的假設(shè)，GLS估計(jì)量是漸近正態(tài)分布的，均值為[pic]，樣本方差為 [pic] （10） 通過(guò)對(duì)（7）中的模型應(yīng)用高斯—馬爾科夫定理可得如下的艾特肯（1935）定理： GLS估計(jì)量[pic]是廣義回歸模型中的最小方差線性無(wú)偏估計(jì)量。 [pic]有時(shí)被稱為艾特肯估計(jì)量。這是一個(gè)一般性結(jié)果，當(dāng)[pic]時(shí)高斯—馬爾科夫定理是 它的一個(gè)特例。 對(duì)于假設(shè)檢驗(yàn)，我們可以把所有結(jié)果應(yīng)用到變換后的模型（7）中。為了檢驗(yàn)J個(gè)線性 約束Rβ=q，相應(yīng)的統(tǒng)計(jì)量是 [pic] [pic]， 其中殘差向量是[pic] 而 [pic] 有約束的GLS殘差[pic]，基于 [pic][pic] [pic] （11） 總之，對(duì)于古典模型的所有結(jié)果，包括通常的推斷過(guò)程，都適用于（7）中的模型。 應(yīng)該注意的是：在廣義回歸模型中沒有R2的準(zhǔn)確對(duì)等物。不同的統(tǒng)計(jì)量有不同的意義 ，但使用它們時(shí)一定要謹(jǐn)慎。 3. 可行的最小二乘估計(jì)（FGLS） 上一節(jié)的結(jié)果是基于Ω必須是已知的條件基礎(chǔ)上的。如果Ω含有必須估計(jì)的未知參數(shù)， 則GLS是不可行的。但在無(wú)約束的情況下，[pic]中有n(n+1)/2個(gè)附加參數(shù)。這對(duì)于用n個(gè) 觀測(cè)值來(lái)估計(jì)這么多的參數(shù)是不現(xiàn)實(shí)的。只有當(dāng)模型中需要估計(jì)的參數(shù)較少時(shí)，即模型 中Ω某種結(jié)構(gòu)要簡(jiǎn)化，才可以找到求解的方法。 可行的最小二乘估計(jì)（FGLS） 具有代表性的問題涉及到一小組參數(shù)[pic]，滿足[pic]。例如，[pic]只有一個(gè)未知 數(shù)[pic]，其常見的表達(dá)形式是 [pic]， 一個(gè)也只包含一個(gè)新參數(shù)的異方差模型是 [pic] 接下來(lái)，假定[pic]是[pic]的一致估計(jì)量（如果我們知道如何求得這樣的估計(jì)量）為了 使GLS估計(jì)可行，我們將使用 [pic] 替代真正的[pic]。我們所考慮的問題是利用[pic]是否要求我們改變上節(jié)的某些結(jié)果。 如果[pic]，利用[pic]似乎漸近等價(jià)于利用真正的[pic](根據(jù)slutsky定理)。當(dāng)然我 們還需要滿足一些其他的相應(yīng)的條件。令可行廣義最小二乘（或FGLS）估計(jì)量記為 [pic] 那么，[pic]漸近等價(jià)于[pic]的條件是 [pic][pic] （18） 和 [pic] （19） 如果（7）中變換后的回歸量表現(xiàn)良好，則（19）右邊服務(wù)從極限正態(tài)分布。這正是 我們求最小二乘估計(jì)量的漸近分布時(shí)所利用的條件。因此，當(dāng)[pic]替[pic]時(shí)（19）要 求同樣的條件成立。 這些是必須逐個(gè)情況進(jìn)行核實(shí)的條件。但在大多數(shù)情況中，它們的確成立。如果我們 假設(shè)它們成立，基于[pic]的FGLS估計(jì)量與GLS估計(jì)量具有同樣的漸近性質(zhì)。這是一個(gè)相 當(dāng)有用的結(jié)果。特別地，注意以下結(jié)論： 1、一個(gè)漸近有效的FLGS估計(jì)量不要求我們有[pic]的有效估計(jì)量，只需要一個(gè)一致估 計(jì)量。 2、除了最簡(jiǎn)單的情況，F(xiàn)GLS估計(jì)量的有限樣本性質(zhì)和精確分布是未知的。FGLS估計(jì) 量的漸近有效性在小樣本的情況下可能不再成立，這是因?yàn)橛晒烙?jì)的[pic]引入的易變性 。對(duì)于異方差情況的一些分析由泰勒（1977年）給出。自相關(guān)的模型由格涅里切斯和拉 奧（1969年）做了分析。在這兩項(xiàng)研究中，他們發(fā)現(xiàn)對(duì)于許多類型的參數(shù)，F(xiàn)GLS比最小 二乘更為有效。但是，如果偏離古典假設(shè)不太嚴(yán)重，在小樣本情況下最小二乘可能比FG LS更有效。 四）異方差的檢驗(yàn)異方差的多數(shù)檢驗(yàn)均基于下述策略 即便存在異方差性，普通最小二乘也是[pic]的一致估計(jì)量。所以，盡管由于抽樣變 化而不是十分完美，普通最小二乘殘差仍將非常近似于真實(shí)擾動(dòng)的異方差。因此，在大 多數(shù)情況下，為判定異方差性是否存在而設(shè)計(jì)的檢驗(yàn)均采用普通最小二乘殘差。 一、懷特的一般檢驗(yàn)(White’s General Test) 能對(duì)下述一般假設(shè)進(jìn)行檢驗(yàn)是乎是合理的檢驗(yàn) [pic]對(duì)所有i [pic] 用n個(gè)樣本對(duì)n個(gè)參數(shù)的模型進(jìn)行的估計(jì)，是一件十分困難的事，因此，對(duì)這種檢驗(yàn)是 極具挑戰(zhàn)性的。但這種檢驗(yàn)已經(jīng)被懷特于1980年設(shè)計(jì)出來(lái)。 異方差條件下的最小二乘估計(jì)量（OLS）的協(xié)方差矩陣是： [pic] 我們可用如下式對(duì)它加以估計(jì) Est. [pic] 如果不存在異方差性，最小二乘估計(jì)量（OLS）的協(xié)方差矩陣是： Var[b]=[pic] 可得到Var[b]的一個(gè)估計(jì)量， [pic] 方法：將[pic]對(duì)一個(gè)常數(shù)X中所有的單一變量的組合組成的變量進(jìn)行回歸，得到nR2 。 這個(gè)統(tǒng)計(jì)量漸近地服從P-1 個(gè)自由度的卡方分布，即nR2～x2(P－1)，（Why？），其中R2=SSR/SST，P為回歸量的數(shù) 量，但不包含常數(shù)。 懷特檢驗(yàn)極為一般。為進(jìn)行此檢驗(yàn)，我們不需對(duì)異方差的性質(zhì)作任何特定的假設(shè)。盡 管這是優(yōu)點(diǎn)，但同時(shí)也是極為嚴(yán)重缺點(diǎn)。懷特檢驗(yàn)可揭示異方差性，但也可能導(dǎo)致簡(jiǎn)單 地識(shí)別某些其他的設(shè)定誤差（如從一個(gè)簡(jiǎn)單回歸中省略[pic]）。此外，不同于我們要討 論的其他檢驗(yàn)，懷特檢驗(yàn)是非建設(shè)性，如果我們拒絕同方差假設(shè)，檢驗(yàn)的結(jié)果對(duì)我們下 一步應(yīng)當(dāng)做什么沒有任何啟示。 二、戈德菲爾德一匡特檢驗(yàn)(The Goldfeld-Quandt Test) 另外兩個(gè)相對(duì)一般性的檢驗(yàn)是戈?duì)柕乱豢锾貦z驗(yàn)（1965）和布羅施一帕甘（1979）拉 格朗日乘數(shù)檢驗(yàn)。 對(duì)于戈德菲爾德一匡特檢驗(yàn)，我們假設(shè)觀測(cè)值的擾動(dòng)方差相同，而在備擇假設(shè)情況下 ，擾動(dòng)方差可存在系統(tǒng)性差別。此檢驗(yàn)最理想的情形是組間異方差模型或者對(duì)某變量[pic] 滿足[pic]的這類模型。以該[pic]為基礎(chǔ)對(duì)觀測(cè)值進(jìn)行排列，可將觀測(cè)值分成高方差和 抵方差兩部分。通過(guò)將樣本分成具有[pic]和[pic]個(gè)觀測(cè)值的兩組來(lái)進(jìn)行此檢驗(yàn)。為獲 得統(tǒng)計(jì)上獨(dú)立的方差估計(jì)量，回歸是采用兩組觀測(cè)值分別進(jìn)行估計(jì)的。該檢驗(yàn)統(tǒng)計(jì)量為 ： [pic]， 其中我們假定第一個(gè)樣本中的擾動(dòng)方差大于第二組（若非如此，可變換下標(biāo)）。在同方 差的零假設(shè)情況下，此統(tǒng)計(jì)量為自由度是[pic]的[pic]分布?？蓪颖局祵?duì)照標(biāo)準(zhǔn)[pic] 表，若樣本值較大，則可拒絕零假設(shè)，這樣檢驗(yàn)就完成了。 提請(qǐng)注意的是：如果擾動(dòng)項(xiàng)是正態(tài)分布的，戈德菲爾德一匡特統(tǒng)計(jì)量在零假設(shè)下嚴(yán)格 服從[pic]分布，且該檢驗(yàn)的名義值是合適的；但如果擾動(dòng)項(xiàng)不是正態(tài)分布，則[pic]分 布是不適當(dāng)?shù)?，需要具有已知大樣本性質(zhì)的某些備擇方法。
上課材料之十一(簡(jiǎn)約版)