數據分析培訓提綱
數據分析培訓提綱 1．概論 1.1數據分析的重要性 （1）貫徹質量管理8項原則的需要 QM的8項原則之一為：基于事實的決策方法。要避免決策失誤必須提供足夠的信息， 以及進行科學決策。 信息：有意義的數據。 數據：能客觀反映事實的資料和數字。 要使數據提升為信息，才能將其增值。為此，必須從數據收集和分析上運用科學的方 法，使之便于利用。 （2）通過數據的收集和分析可證實QMS是否適宜和有效。 （3）幫助識別和評價QMS持續(xù)改進的機會。 （4）增強對各種意見和決策的分析、判斷、評審、質疑能力 因此，數據分析是保障QMS有效運行的重要手段。 1.2數據分析的一般過程 1.2.1數據收集 （1）收集范圍 產品、體系和過程的數據，如：產品檢測中的不合格，QMS質量目標完成情況、持續(xù) 改進情況、過程監(jiān)視和測量情況等。 事實上在QMS的各個過程中，都會產生一些數據，在管理中必須根據當前及長遠目標 的需要，確定應收集那些數據，重點如何。 （2）收集方法 1）各種報表和原始記錄（注意分類） 2）區(qū)域網中的數據庫 3）注意明確收集人、收集時間、收集方式、傳遞方式。 （3）收集的要求 1）及時 2）準確 數據的質量，“進來的是垃圾，出去的還是垃圾” 3）完整 數據項目齊全，數量符合要求。 1.2.2數據分析、處理 （1）數據的審查和篩選 剔除奇異點，確定數據是否充分 （2）數據排序 按其重要度進行排序，以確定分析處理的對象和順序 （3）確定分析內容，進行統(tǒng)計分析 （4）分析判斷 在統(tǒng)計分析的基礎上，以目標值或標準為依據，對統(tǒng)計分析結果（繪圖或計算）作進一 步分析，以獲得指導過程改進的明確信息，找出主要問題和薄弱環(huán)節(jié)，并提出相應的改 進建議。 （5）編寫報告 對分析判斷得出的規(guī)律、趨勢整理成報告（附有直觀的圖表） -1- 1.2.3數據的利用 不能為分析而分析，要有“的”放矢，數據分析應指導管理。數據分析是為了科學決策 ，決策的結果，可通過前后對比來分析判斷其有效性。數據分析應對其全過程做到閉環(huán) 管理。 為此，應將數據分析信息有效地傳遞，做到信息共享。在風險評估的基礎上，采取適 當措施。 2．統(tǒng)計分析技術 2.1概述 2.1.1什么是統(tǒng)計分析技術 （1）統(tǒng)計技術 運用數理統(tǒng)計的方法對數據進行分析，找出其規(guī)律和趨勢。如：常用的控制圖、回歸分 析、試驗設計等。 （2）分析技術 運用邏輯分析的方法對數據進行分析，找出影響事物的因素及其影響程度。如常用的 排列圖、因果圖、餅圖、QFD和 FMEA等方法。 2.1.2統(tǒng)計技術應用的基礎條件 （1）日常管理秩序健全，產品質量有可追溯性。 （2）生產過程相對穩(wěn)定。 影響質量的因素已規(guī)范化，過程質量處于受控狀態(tài)。 （3）具備必要的物質、技術基礎 測試手段適用，必要的圖表及計算處理用具或軟件。 （4）大量的數據計算和處理運用計算機 2.2統(tǒng)計技術的基礎知識 2.2.1隨機變量及其分布 （1）什么是隨機變量： 變量——數值有變化的量，相對常量而言。 隨機因素——隨機（不是人為偏向）因素（多種因素），如：年降雨量，拋硬幣。 加工尺寸——由模具磨損、機器磨損、材料、人的操作重復性、環(huán)境……等決定。 隨機變量——受隨機因素影響的在一定范圍內取值的量抽樣必須隨機，不能有傾向性， 。 （2）分布 直方圖： fi n——數據總數 頻率：fi= ni——第i組的頻數 連續(xù)型隨機變量： ΔX O 為一光滑曲線，此曲線為分布函數。 分布的特征：形狀（對稱、偏斜）、位置、分布寬度（最大值—最小值）。 2.2.2總體與樣本 總體——研究對象的全體，如一批電纜，可視為總體，研究其總長，每一根（或段）電 纜則為總體中的一個個體（成員），一批所有電纜的總長為總體。 總體用變量X表示 -2- 樣本——從總體中抽出的部份個體組成的集合稱為樣本。 抽樣 因為不可能研究每一個個體。 從樣本推斷總體，必須正確反映總體的信息，正確抽樣。 隨機抽樣——簡單隨機樣本、隨機數表 Xi 0~99 可以構成2500個隨機數。 2.2.3正態(tài)分布 鐘形曲線，曲線下的面積表示概率 對稱，中間高，兩邊低 X~（μ，σ 2） X μ μ——總體的均值；σ——總體標準差 正態(tài)分布檢驗： ·直方圖 ·概率紙 橫坐標——X的等距取值 ；縱坐標——不等距0.01%~99.99% 在概率紙上描出的點呈一直線，則為正態(tài)分布。 正態(tài)分布的分布函數值 近似正態(tài)分布——總趨勢符合正態(tài)分布，但有個別的奇異點。 2.2.4常用統(tǒng)計特征量（樣本） 統(tǒng)計量——不含未知數的樣本函數稱為統(tǒng)計量。 統(tǒng)計量是由樣本得出，但其對估計總體狀況（產品的某些特性值）具有重要意義。 （1）反映樣本位置的統(tǒng)計量 1）均值——樣本的算術平均值 X 樣本中的數據多數分布在樣本均值附近，因此它是表示樣本位置的最好的統(tǒng)計量。 局限性：容易受數據中的特大、特小值（異常值）的影響。 若有5個樣本，觀測值為 3，5，7，9，11 X=7 如果誤將11記為21 X=9 當數據異常時，把X作為數據的代表不太合適，需要引入新的統(tǒng)計量。 2）中位數——樣本中的數據從大到小排列后處在中間位置上的數。 樣本容量 n為奇數時，它為中間的一個數 n為偶數時，它為中間的兩個數的平均值，記為Mα 如樣本為 10，15，23，30 則Mα=（15+23）/2=19 10，15，23，30，35 則Mα=23 中位數受異常值的影響較小，如： 3，5，7，9，11 3，5，7，9，21 （2）反映數據波動的統(tǒng)計量 1）極差 R=Xmax —Xmin 極差計算簡便，但對樣本信息利用不夠，且它受異常值的影響較大。 如：前例中 3，5，7，9，21 則極差為18 3，5，7，9，11 極差為8 2）方差和標準差 樣本方差：較充分利用數據，反映數據的波動 S22= Σ（Xi—X）2/（n—1） -3- 即單個樣本數據與樣本均值之差的平方和除以（樣本容量—1） 若樣本為 3，5，7，9，11 n=5 S2=（3—7）2+（5—7）2+（7—7）2+（9—7）2+（11—7）2/4=10 5，6，7，8，9 則S2=2.5 S2小說明數據波動小，即數據較為集中。 標準差——方差的平方根 S2 =S， 如S2=16， 則S=4 因為方差雖可反映數據的波動，但其量綱為原始數據的量綱的平方，在量綱上不明確， 故引入標準差。 2.2.5正態(tài)分布總體參數估計 當一個特征量（總體函數）服從正態(tài)分布時，其分布可由μ，σ2唯一確定，若樣本的 觀察數據服從正態(tài)分布時，則可用樣本的均值和方差去估計總體。 估計值 μ=X σ2=S2 這時需注意三個層次對應的三種符號 μ、σ——總體； X、S——樣本； μ、σ2——估計值 2.3常用統(tǒng)計分析方法 2.3.1記實統(tǒng)計（描述性統(tǒng)計） （1）記實統(tǒng)計的概念 記實統(tǒng)計是揭示數據分布特性的概述和顯示定量數據的程序。 重要的數據特性： 1）趨中性（多數常常分布在中間）可以通過模型或中位數來描述。 2）數據范圍 如最大、最小值的區(qū)間，標準區(qū)域 3）數據分布 如對稱度，分布規(guī)律（可用數學模型描述） （2）記實統(tǒng)計的表達方法 常用簡單的圖形來有效地傳遞信息，如：餅圖、條形圖表、直方圖等，其優(yōu)點在于能顯 示定量分析中不易發(fā)現的數據的異常特性，可以顯示復雜數據，適于非專業(yè)人員分析相 關數據，它易于理解并能夠在所有層次用于分析和判斷。 （3）記實統(tǒng)計的應用 用于數據的概述并描述特征， 通常是定量數據分析的第一步，它可提供抽樣數據特性（如均值和標準偏差）的定量量 值，然而其量值取決于抽樣大小和所采用的抽樣方法。 記實統(tǒng)計對收集定量數據的所有領域均適用，如： ·描述產品特性的關鍵量值（如中值或范圍） ·描述過程參數（如溫度） ·對顧客調查中收集數據的統(tǒng)計。 2.3.2抽樣檢查 抽樣是為得到關于一個總體的一些特性的信息，而去研究總體的代表性部份（即樣本 ），通過樣本的特性來推斷總體的特性的方法。 可利用抽樣技術，如簡單隨機的、系統(tǒng)的、連續(xù)的、跳批等，來獲取樣本。抽樣方法 的選擇取決于抽樣的目的和具體條件。 針對不同的對象和目的，有許多抽樣標準，如GB/T2828是針對連續(xù)批產品驗收，GB/ T15239針對孤立批產品驗收。 2.3.3統(tǒng)計過程控制（SPC） 2.3.3.1概述 （1）歷史：休哈特1924年發(fā)明控制圖，30~60年代世界質量管理以此為基礎來控制質量 特性。 （2）統(tǒng)計過程控制的作用： -4- 1）完成QC的重要任務，即“監(jiān)測”影響質量的全部生產過程的變量和過程參數。 2）確定過程參數和產品特性是在期望的范圍內，還是偏離了上述范圍。 3）當過程中的問題暴露無遺時，將危及產品特性，因此需要統(tǒng)計過程控制來預見問題即 將出現，從而降低生產費用。 4）了解過程變差，并幫助達到統(tǒng)計控制狀態(tài)，處于統(tǒng)計控制狀態(tài)，其性能可預測。 5）改進受控狀態(tài)。 （3）SPC的應用條件 1）測量系統(tǒng)誤差必須能被識別或給予補償、消除，測量系統(tǒng)誤差可按（MSA）去控制。 2）測量過程參數的偏差，都應是隨機誤差，并且服務正態(tài)分布。 3）過程在統(tǒng)計控制之下，均值和標準差近于恒定，分布范圍在±3б之內。 2.3.3.2控制圖基礎知識 （1）控制圖的優(yōu)點 1）簡便，便于現場操作者使用 2）有助于穩(wěn)定過程和成本 3）促進過程信息交流（二、三班制工人間，工藝、質管人員） 4）易識別造成變差的原因，避免混淆、減少時間和資源的浪費 （2）應注意區(qū)別以下概念： ·公差（容差）：允許的參數變動范圍 ·偏差：與公稱值之差 ·變差：一批樣本中參數的變動范圍 （3）變差的兩類原因 1）普通原因 造成隨時間推移，穩(wěn)定且可重復的分布過程的變差原因，對于穩(wěn)定系統(tǒng)的偶然原因（ 如周期振動），需要采取系統(tǒng)措施： ·消除普遍原因 ·大都由管理人員糾正 ·85%問題屬此類 一個穩(wěn)定系統(tǒng)受到偶然因素干擾，排除干擾則受控。 2）特殊原因（可查明的原因） 不是始終作用于過程的形成變差原因，其影響過程分布改變（如熱處理夜班工人睡覺 ），若存在特殊原因，過程將不穩(wěn)定。 對于特殊原因需要采取局部措施： ·消除特殊原因 ·由與過程直接相關人員實施 ·15%問題屬此類 2.3.3.3控制圖的構造 觀測值 USL上偏差線 （統(tǒng)計量） UCL上控制限 A 警示線（2σ） LCL下控制限 LSL下偏差線 -5- 序號（觀測值的順序號） ·警示線：雖不能表明的問題已發(fā)生，但可提供重要信息。短期內有較多的值在警示 線外，應予重視，調查其原因，加以消除。在發(fā)生問題之前予以現場警示（2σ對應 于概率95.4%），4.6%將在線外。 A= kσ 我國 A=3σ 合格概率99.93%，不合格概率0.23% 汽車、電子（如焊點PPM） A=6σ 不合格概率2.7‰ 2.3.3.6繪制控制圖的一般步驟（隨機抽樣） （1）收集數據描點——按一定時間間隔，采集樣本，測定每一樣品特性值 計數 樣本容量n 可相同或不同 計量 分組（子組） 相同 子組內ni一般為5 一個樣本的樣品應當是在基本相同的生產條件下生產的（不能分層） （2）計算控制限 一般無特殊原因不應超出控制線，否則已失控，暴露出問題，應加以消除。 （3）分析 判斷是否異?；蚴芸兀薪涷灴勺裱?（4）改進 針對普通原因，采取系統(tǒng)措施 2.3.3.5控制圖的兩類作用 （1）監(jiān)控 中線CL、UCL、LCL都用以往數據可由試生產、以前生產統(tǒng)計、初次統(tǒng)計得到。 （2）分析 可先測出數據，在計算UCL、LCL、CPK。 2.3.4均值圖X、極值圖R 2.3.4.1概述 X—R 圖 X 過程突變其反應最快 R 較長周期較小波動 2.3.4.2繪圖步驟 （1）選擇子組： 子組內樣本數ni=2—5 子組的作用：子組的均值，比單次測量值更能表征總體。 注意事項： 1）測量誤差帶來影響，所產生不合格品的概率，要比過程本身大得多（應測量準確足 夠精密） 2）nI Xi超過±σ的概率 ni=2 概率為0.21% ni=3 概率為0.01% 意味著ni Xi向中心線靠攏 所以ni 有次序的數組的均值，很有作用。 3）周期性抽樣（抽樣頻率） 應該控制抽樣條件一致：機臺、模具不變，否則難以分清兩類（普通、特殊）原因 。 持續(xù)連續(xù)過程：幾秒鐘抽取一個樣本，這對研究過程能力很方便而可信。 慢速過程：一般不頻繁抽樣。 一般的周期可取15、30、60min，這可反映一段時間后過程的變化。潛在的原因： -6- 如換班、操作人員更換等。 初期過程不穩(wěn)定，抽樣頻率高，間隔短，生產過程穩(wěn)定后可放慢。 （2）總樣本容量：子組數n一般取n=25（樣本數），>20為小樣本，>100屬大樣本。 通?？倶颖緮礜=100即n=25，ni=4這樣可保證變差的主要原因有機會出現。 （3）繪制X-R圖 1）計算Xi 各子組的Xi 的均值 Ri 子組內RI =Rimax—Rimin 2）確定控制表的刻度（縱坐標） X≥2（Ximax—Ximin） R：一般可取X圖的2倍 3）計算控制限 UCLX= X+A2R LCLX= X—...
數據分析培訓提綱