第五章回歸分析預(yù)測(cè)法
1. 一元線(xiàn)性回歸分析預(yù)測(cè)法 1. 概念（思路） 根據(jù)預(yù)測(cè)變量（因變量）Y和影響因素（自變量）X的歷史統(tǒng)計(jì)數(shù)據(jù)，建立一元線(xiàn)性回 歸方程[pic]，然后代入X的預(yù)測(cè)值，求出Y的預(yù)測(cè)值的方法。 基本公式：y=a+bx 其中：a、b為回歸系數(shù)，是未知參數(shù)。 基本思路： 1. 利用X，Y的歷史統(tǒng)計(jì)數(shù)據(jù)，求出合理的回歸系數(shù)：a、b，確定出回歸方程 2. 根據(jù)預(yù)計(jì)的自變量x的取值，求出因變量y的預(yù)測(cè)值。 2. 一元線(xiàn)性回歸方程的建立 1. 使用散點(diǎn)圖定性判斷變量間是否存在線(xiàn)性關(guān)系 例：某地區(qū)民航運(yùn)輸總周轉(zhuǎn)量和該地區(qū)社會(huì)總產(chǎn)值由密切相關(guān)關(guān)系。 |年份 |總周轉(zhuǎn)量（億噸公里）Y |社會(huì)總產(chǎn)值(百億元)X | |1 |12.5 |30 | |2 |14.5 |36 | |3 |14.7 |38 | |4 |15.1 |41 | |5 |15.5 |48 | |6 |16.8 |52 | |7 |17.5 |53 | |8 |18.2 |53.5 | |9 |18.8 |55 | 2. 使用最小二乘法確定回歸系數(shù) 使實(shí)際值與理論值誤差平方和最小的參數(shù)取值。 對(duì)應(yīng)于自變量xi，預(yù)測(cè)值（理論值）為b+m*xi，實(shí)際值yi， min∑(yi-b-mxi)2，求a、b的值。 使用微積分中求極值的方法，得： 由下列方程代表的直線(xiàn)的最小二乘擬合直線(xiàn)的參數(shù)公式： 其中 m 代表斜率 ，b 代表截距。 一元線(xiàn)性回歸.xls 3. 回歸方程的顯著性檢驗(yàn) 判斷X、Y之間是否確有線(xiàn)性關(guān)系，判定回歸方程是否有意義。 有兩類(lèi)檢驗(yàn)方法：相關(guān)系數(shù)檢驗(yàn)法和方差分析法 1. 相關(guān)系數(shù)檢驗(yàn)法 構(gòu)造統(tǒng)計(jì)量r [pic] 相關(guān)系數(shù)的取值范圍為：[- 1，1]，|r|的大小反映了兩個(gè)變量間線(xiàn)性關(guān)系的密切程度，利用它可以判斷兩個(gè)變量 間的關(guān)系是否可以用直線(xiàn)方程表示。 |r值 |兩變量之間的關(guān)系 | |r=1 |完全正相關(guān) | |1>r>0 |正相關(guān)，越接近1，相關(guān)性越強(qiáng)。越接近0，相 | | |關(guān)性越弱 | |r=0 |不線(xiàn)性相關(guān) | |0>r>-1|負(fù)相關(guān)，越接近-1，相關(guān)性越強(qiáng)；越接近0，相| | |關(guān)性越弱 | |r=-1 |完全負(fù)相關(guān) | 兩個(gè)變量是否存在線(xiàn)性相關(guān)關(guān)系的定量判斷規(guī)則： 對(duì)于給定的置信水平α，從相關(guān)系數(shù)臨界值表中查出r臨（n- 2），把其與用樣本計(jì)算出來(lái)的統(tǒng)計(jì)量r0比較： 若|r0|〉r臨（n- 2）成立，則認(rèn)為X、Y之間存在線(xiàn)性關(guān)系，回歸方程在α水平上顯著。差異越大，線(xiàn)性關(guān) 系越好。反之則認(rèn)為不顯著，回歸方程無(wú)意義，變量間不存在線(xiàn)性關(guān)系。 其中：n為樣本數(shù)。 2. 方差分析法： 方差分析的基本特點(diǎn)是把因變量的總變動(dòng)平方和分為兩部分，一部分反映因變量的 實(shí)際值與用回歸方程計(jì)算出的理論值之差，一部分反映理論值與實(shí)際值的平均值之差 。 Y的總變差=Y的殘余變差+Y的說(shuō)明變差，SST=SSE+SSR 或：總離差平方和=剩余平方和+回歸平方和 [pic] 回歸平方和U與剩余平方和Q相比越大，說(shuō)明回歸效果越好。 注：在方差分析中，已被解釋的和未被解釋的變差除以相應(yīng)的自由度的個(gè)數(shù)即變?yōu)榉讲?。Y的方差是Y的總偏差平方和除以n- 1，被解釋的方差等于被解釋的變差（因?yàn)榛貧w只比估計(jì)Y的均值多用一個(gè)約束條件） ，殘余方差等于殘差偏差平方和除以n- 2，殘差的方差S2是誤差方差的無(wú)偏且一致的估計(jì)（S叫做回歸標(biāo)準(zhǔn)差）S2=Q/(n-m) 定量判斷回歸有效性有兩種方法： 1) 可決系數(shù)檢驗(yàn)法 擬合優(yōu)度統(tǒng)計(jì)量；判定系數(shù) ：r2=SSR/SST=U/Syy 調(diào)整的r2 =1-[Q/(n-m)]/[Syy/(n-1)] 復(fù)相關(guān)系數(shù)檢驗(yàn)法：構(gòu)造統(tǒng)計(jì)量R=SQRT［1-Q/Syy］=SQRT（U/Syy） 判斷規(guī)則： 對(duì)于給定的置信度α，從相關(guān)系數(shù)r分布表中查出r臨（n- m），把其與用樣本計(jì)算出來(lái)的統(tǒng)計(jì)量R0比較： 若R0〉r臨（n- m）成立，則認(rèn)為回歸方程在α水平上顯著。反之則認(rèn)為不顯著，回歸方程無(wú)意義， 變量間不存在線(xiàn)性關(guān)系。 2) F檢驗(yàn)法：構(gòu)造統(tǒng)計(jì)量F=（U/m-1）/［Q/（n-m）］ 其中：m為變量個(gè)數(shù)（總數(shù)）；n為樣本數(shù)。 統(tǒng)計(jì)量F服從第一自由度為m-1、第二自由度為n-m的 F（m-1，n-m）分布。 F=r2/(1-r2)*(n-m)/(m-1) 判斷規(guī)則： 對(duì)于給定的置信度α，從F分布表中查出Fα（m-1，n- m），把其與用樣本計(jì)算出來(lái)的統(tǒng)計(jì)量F0比較： 若F0〉Fα（m-1，n- m）成立，則認(rèn)為回歸方程在α水平上顯著。反之則認(rèn)為不顯著，回歸方程無(wú)意義， 變量間不存在線(xiàn)性關(guān)系。 4. 回歸方程沒(méi)有通過(guò)檢驗(yàn)的原因 1. 定性分析選擇的各變量間，本來(lái)不存在因果關(guān)系。定性分析設(shè)想不準(zhǔn)確。 2. 選擇的變量間存在因果關(guān)系，但還存在其它起著更重要作用的變量尚未列入模型之中 。 3. 選擇變量之間的關(guān)系是非線(xiàn)性關(guān)系。 5. 利用檢驗(yàn)通過(guò)的回歸方程進(jìn)行預(yù)測(cè) y=6.34+0.213x 點(diǎn)估計(jì)值：若給定x值，則y的預(yù)測(cè)值為6.34+0.213*58=18.69 區(qū)間估計(jì)： 標(biāo)準(zhǔn)誤差：S=sqrt((∑e^2)/(n-m)) 2. 一元非線(xiàn)性回歸分析預(yù)測(cè)法 思路：與一元線(xiàn)性回歸分析基本相同。即通過(guò)變量替換將非線(xiàn)性方程轉(zhuǎn)化為線(xiàn)性方程； 使用最小二乘法建立線(xiàn)性回歸方程；在通過(guò)逆變換將線(xiàn)性方程轉(zhuǎn)化為非線(xiàn)性方程。 函數(shù)的線(xiàn)性變換及逆變換是個(gè)數(shù)學(xué)問(wèn)題，不講了。 例題，參見(jiàn)160頁(yè)：航空貨物周轉(zhuǎn)量=a*（社會(huì)總產(chǎn)值）α 196頁(yè)，SB機(jī)場(chǎng)空運(yùn)需求預(yù)測(cè) 202頁(yè)，利雅得國(guó)際機(jī)場(chǎng)業(yè)務(wù)量預(yù)測(cè) 3. 多元回歸分析 1. 思路 多元非線(xiàn)性回歸分析——轉(zhuǎn)換為多元線(xiàn)性回歸分析，多元線(xiàn)性回歸分析，與一元線(xiàn)性回 歸分析基本相同，只是在自變量的選定上、求解回歸方程及統(tǒng)計(jì)檢驗(yàn)等方面比一元回歸 要復(fù)雜一些。 設(shè)多元線(xiàn)性回歸模型為：y=b0+b1*x1+b2*x2+……+bm*xm 2. 參數(shù)求法為最小二乘法： min∑（yi-（b0+b1*x1i+b2*x2i+……+bm*xmi ））2 分別對(duì)bj求偏導(dǎo)數(shù)，偏導(dǎo)數(shù)等于0時(shí)，上式取得最小值。 可以得到m+1個(gè)關(guān)于bj的標(biāo)準(zhǔn)方程，使用線(xiàn)性代數(shù)中的行列式解法，可以求出回歸系數(shù)b j。 以二元回歸分析為例，說(shuō)明多元回歸方程的建立 1. 定性判斷得知，因變量Y與自變量X1, X2存在線(xiàn)性相關(guān)關(guān)系。模型形式為：y=b0+b1*x1+b2*x2 2. 確定回歸系數(shù)b0、b1、b2，最小二乘法。分別對(duì)b0、b1、b2求偏導(dǎo)，令偏導(dǎo)數(shù)=0，構(gòu)成 如下方程組： 手工列表計(jì)算： 3. 回歸方程的統(tǒng)計(jì)檢驗(yàn) 1. 回歸方程的顯著性檢驗(yàn)，檢驗(yàn)回歸方程的有效性 檢驗(yàn)方法有：F檢驗(yàn)法、復(fù)相關(guān)系數(shù)檢驗(yàn)法 2. 回歸系數(shù)的顯著性檢驗(yàn)，檢驗(yàn)回歸系數(shù)的有效性， 檢驗(yàn)方法有：t檢驗(yàn)法 構(gòu)造統(tǒng)計(jì)量t 其中：m為變量個(gè)數(shù)；n為樣本數(shù)。 統(tǒng)計(jì)量t服從自由度為n-m的t（n-m）分布。 判斷規(guī)則： 對(duì)于給定的置信度α，從t分布表中查出tα/2（n- m），把其與用樣本計(jì)算出來(lái)的統(tǒng)計(jì)量t0比較： 若t0〉tα（n- m）成立，則認(rèn)為回歸方程在α水平上顯著。反之則認(rèn)為不顯著，回歸系數(shù)無(wú)意義，變量 間不存在線(xiàn)性相關(guān)關(guān)系。 統(tǒng)計(jì)假設(shè)檢驗(yàn)總結(jié)：對(duì)于一元回歸，四種檢驗(yàn)方法選一即可；對(duì)于多元回歸必須進(jìn)行t檢 驗(yàn)和R、F間嚴(yán)重的一種。 |檢驗(yàn)?zāi)康?|檢驗(yàn)方法 |統(tǒng)計(jì)量 |判斷規(guī)則 | | |相關(guān)系數(shù)檢驗(yàn)法 |r | | |檢驗(yàn)回歸方程的有效| | | | |性 | | | | | |復(fù)相關(guān)系數(shù)檢驗(yàn)法 |R | | | |F檢驗(yàn) |F | | |檢驗(yàn)回歸系數(shù)的有效|t檢驗(yàn) |t | | |性 | | | | 4. 例題： 國(guó)外預(yù)測(cè)模型簡(jiǎn)介 全行業(yè)運(yùn)量預(yù)測(cè) 5. 幾個(gè)基本問(wèn)題及內(nèi)在假設(shè) 1. 自變量的選擇——（回歸分析測(cè)法的程序） 1) 確定預(yù)測(cè)變量 2) 確定影響預(yù)測(cè)變量的因素——定性分析，具有經(jīng)濟(jì)上的意義和內(nèi)在的因果關(guān)系。 3) 收集整理預(yù)測(cè)變量及其影響因素的歷史統(tǒng)計(jì)資料 4) 分析因變量和自變量的關(guān)系，確定回歸模型——定量分析，因變量與自變量、自變 量之間的相關(guān)系數(shù)，判別因變量和自變量是否顯著相關(guān)，顯著相關(guān)的影響因素 作為自變量；同時(shí)與因變量不相關(guān)或與某個(gè)自變量高度線(xiàn)性相關(guān)的自變量，應(yīng) 予剔除。 實(shí)踐經(jīng)驗(yàn)確定 散點(diǎn)圖分析確定 理論試算（計(jì)算擬和誤差（預(yù)測(cè)誤差）），選出擬和程度最好的模型 5) 求解模型參數(shù)，建立回歸方程 6) 檢驗(yàn)回歸方程的有效性 7) 利用檢驗(yàn)通過(guò)的回歸方程進(jìn)行預(yù)測(cè)，并確定預(yù)測(cè)值的置信區(qū)間 2. 多元共線(xiàn)性（多重共線(xiàn)性） 1. 概念：回歸分析中，自變量之間存在著相關(guān)關(guān)系，稱(chēng)這種關(guān)系為多元共線(xiàn)性。 多元回歸分析的假設(shè)是自變量之間是獨(dú)立的。得出的參數(shù)估計(jì)值是不可靠的。 例如：某省宏觀經(jīng)濟(jì)模型中， 建筑業(yè)產(chǎn)值=2.1684+0.1601*工業(yè)總產(chǎn)值- 0.0795*上年工業(yè)總產(chǎn)值+0.5651*上年建筑業(yè)產(chǎn)值 負(fù)號(hào)的出現(xiàn)很難解釋?zhuān)夏旯I(yè)總產(chǎn)值和上年建筑業(yè)產(chǎn)值存在共線(xiàn)性。 2. 檢驗(yàn)多元共線(xiàn)性的方法： U——χ2（m-1）分布 Q——χ2（n-m）分布 Syy——χ2（n-1）分布 擬和優(yōu)度判定系數(shù)： 1. 判定系數(shù)法：把某自變量用其它自變量進(jìn)行回歸計(jì)算，計(jì)算相應(yīng)的判定系數(shù)R2，若 R2較大，說(shuō)明本自變量可以用其它自變量的線(xiàn)性組合替代，存在多重共線(xiàn)性?；?者用因變量分別與含有本自變量或不含有本自變量的自變量組合進(jìn)行回歸計(jì)算， 若兩者計(jì)算的判定系數(shù)差不多，則說(shuō)明本自變量與其它自變量間存在多元共線(xiàn)性 。 2. 逐步回歸法：逐個(gè)引進(jìn)自變量，根據(jù)R2的變化情況判斷是否存在多重共線(xiàn)性。若R 2變化顯著，則不存在多重共線(xiàn)性，應(yīng)引入；若R2無(wú)顯著變化，則無(wú)需引入。 3. 偏相關(guān)系數(shù)檢驗(yàn)法，計(jì)算兩兩變量間的相關(guān)系數(shù)，進(jìn)行分析檢驗(yàn)。 3. 自相關(guān)（序列相關(guān)） 概念：若隨機(jī)誤差項(xiàng)在不同樣本之間存在相關(guān)性，ei與ej相關(guān)，則稱(chēng)為序列相關(guān)；較 多的是ei與eI+1之間序列相關(guān)，稱(chēng)為自相關(guān) 自相關(guān)的檢驗(yàn)： 1. 達(dá)賓—沃爾森檢驗(yàn) 計(jì)算出D.W值后，查達(dá)賓—沃爾森檢驗(yàn)表判定是否存在自相關(guān)。 2. 馮諾曼比檢驗(yàn) 3. 回歸檢驗(yàn) 4. 線(xiàn)性假設(shè) 回歸的另一假設(shè)是線(xiàn)性假設(shè)，因變量和自變量間的關(guān)系可以用線(xiàn)性表示出來(lái)。無(wú)法將 其轉(zhuǎn)化為線(xiàn)性的回歸方程，不能采用回歸分析方法，而要采取別的方法，如仿真方法。 5. 樣本數(shù)據(jù) 樣本數(shù)據(jù)的多少，影響變量個(gè)數(shù)的選擇。5個(gè)數(shù)據(jù)，一個(gè)自變量；三十個(gè)數(shù)據(jù)，最多只 能有5個(gè)自變量。 有20個(gè)到30個(gè)樣本數(shù)據(jù)，預(yù)測(cè)精度較高。 4. 自回歸分析——實(shí)質(zhì)是時(shí)間序列分析法 利用預(yù)測(cè)變量本身的時(shí)間序列在不同時(shí)期取值之間存在的依存關(guān)系，即自身相關(guān)， 建立起回歸方程進(jìn)行預(yù)測(cè)的方法。 預(yù)測(cè)模型：yt=b0+b1yt-1+ b2yt-2+ ……+bnyt-n+e ——AR（n） n=1時(shí)，稱(chēng)為一階自回歸分析 例題見(jiàn)書(shū)上。 ----------------------- [pic] [pic] [pic] [pic] [pic] [pic] [pic] [pic] [pic]
第五章回歸分析預(yù)測(cè)法