›
›

Bài giảng Thống kê học ứng dụng trong quản lý xây dựng - Khám phá mối quan hệ giữa các biến

pdf 30 trang hapham 2360
Download
Bạn đang xem 20 trang mẫu của tài liệu "Bài giảng Thống kê học ứng dụng trong quản lý xây dựng - Khám phá mối quan hệ giữa các biến", để tải tài liệu gốc về máy bạn click vào nút DOWNLOAD ở trên

Tài liệu đính kèm:

  • pdfbai_giang_thong_ke_hoc_ung_dung_trong_quan_ly_xay_dung_kham.pdf

Nội dung text: Bài giảng Thống kê học ứng dụng trong quản lý xây dựng - Khám phá mối quan hệ giữa các biến

  1. 9/7/2010 Phần03 Nguyễn Duy Long, TiếnSỹ Bộ môn Thi Công và QLXD ©2010, Nguyễn Duy Long, Tiến Sỹ 1  Biểu đồ phân tán, sự liên hợpvàsự tương quan  Phân tích hồiqui tuyếntính ©2010, Nguyễn Duy Long, Tiến Sỹ 2 1
  2. 9/7/2010 ©2010, Nguyễn Duy Long, Tiến Sỹ 3  Đồ thị phân tán (scatter-plots) là biểuthị phổ biến và hiểuquả cho dữ liệu.  Đồ thị phân tán là cách tốtnhất để bắt đầuquan sát mối liên hệ và cách lý tưởng để xem sự liên hợp củahaibiến định lượng. ©2010, Nguyễn Duy Long, Tiến Sỹ 4 2
  3. 9/7/2010  Với đồ thị phân tán, xem hướng (direction), dạng (form), độ chặt(strength), và các đặc điểmbất thường (unusual features).  (1) Hướng: ◦ Hướng âm: giá trị dữ liệu đi theo chiềutừ trái qua phảivà từ trên xuống dưới. ◦ Hướng dương: theo chiềungượclại. ©2010, Nguyễn Duy Long, Tiến Sỹ 5  Mốiliệnhợpdương (posiiitive assoc iat ion) giữanăm(từ 1900) và % số ngườisẵnsàng i“Có” ờ l bầuphụ nữ làm tổng ả thổng ở Mỹ. % tr  Nhậnxét Năm(từ 1900) ©2010, Nguyễn Duy Long, Tiến Sỹ 6 3
  4. 9/7/2010  Mốiliệnhợpâm (negative association ) i ờ ữ ố ộ ư gi at c đ lúc cao m) điểm ở xa lộ và chi phí ă ung ầ đ ầ ờ i/n trên đ ungư ido ờ ư chậmtrễ giao thông. ($/ng i phí trên h  ậ C Nh n xét Tốc độ lúc cao điểm ở xa lộ (dặm/giờ) ©2010, Nguyễn Duy Long, Tiến Sỹ 7  (2) Dạng: ◦ Nếu liên hệ đường thẳng (tuyến tính): i ờ nhưđám mây hay ư m) ă ộ ấ ung m t đám ch mphân ầ đ i/n tán có dạng thẳng. ờ ư ($/ng i phí trên h C Tốc độ lúc cao điểm ở xa lộ (dặm/giờ) ©2010, Nguyễn Duy Long, Tiến Sỹ 8 4
  5. 9/7/2010  Dạng: ◦ Nếumối liên hệ không thẳng, nhưng cong cong, trong khi vẫntăng hay giảmdần chúng ta có cách để làm nó thẳng hơn. ©2010, Nguyễn Duy Long, Tiến Sỹ 9  Dạng: ◦ Nếu mối liên hệ là rất cong, chúng ta nói nó là liên hợp không tuyếntính ©2010, Nguyễn Duy Long, Tiến Sỹ 10 5
  6. 9/7/2010  (3) Độ chặt: ◦ Các điểmcóvẻ như theo mộtdòng thẳng (dù thẳng, cong, hay uốn). ©2010, Nguyễn Duy Long, Tiến Sỹ 11  Độ chặt: ◦ Các điểmtrông như một đám mây mờ mà không có mộthướng xác định nào: ◦ Ghi chú: chúng ta sẽ định lượng sự phân tán “scatter” sau. ©2010, Nguyễn Duy Long, Tiến Sỹ 12 6
  7. 9/7/2010  (4) Các đặc điểmbấtthường: ◦ Tìm các điều không kỳ vọng. ◦ Điềuthúvị nhấtlàkhiquansátđồ thị phân tán là thấynhững điều không mong đợisẽ tìm thấy. ◦ Ví dụ: các giá trị ngoạilệ đứng tách ra. ◦ Nên nghi vấnvới các cụm(clusters) hay các nhóm phụ (subgroups). ©2010, Nguyễn Duy Long, Tiến Sỹ 13  Xác định biếnnàolàtrụcx, biếnnàotrụcy.  Việcxácđịnh dựa trên các vai trò củacác biến.  Khivaitròlàrõràng ◦ Biến khám phá hay dự đoán (explanatory hay predictor variable) là trụcx, ◦ Biếnhưởng ứng (response variable) là trụcy. ©2010, Nguyễn Duy Long, Tiến Sỹ 14 7
  8. 9/7/2010  Chọnvaitròchocácbiếnphần nhiềuvề việc chúng ta suy nghĩ như thế nào về các biếnhơnlàvề chính các biến đó.  Chỉ đặtmộtbiến ở trục hoành không nhất thiếtcónghĩalànógiả thích hay dự báo cái gì đó .  Biến ở trục tung có thể không hưởng ứng nó trong bất cứ cách nào. ©2010, Nguyễn Duy Long, Tiến Sỹ 15  Dữ liệuthuthậptừ sinh viên các lớpthống kê học gồmchiều cao ()(in.) và cân nặng ()(lb):  Mối liên hợpdương (positive association) và khá thẳng, mặcdù ộ ị ạ ệ ng (lb) có m ttr ngo il . ặ Cân n Chiềucao(in.) ©2010, Nguyễn Duy Long, Tiến Sỹ 16 8
  9. 9/7/2010  Sự liên hợpgiữachiều cao và cân nặng củasinh viên các lớpthống kê họcchặt(strong) ra sao?  Nếu đinh lượng độ chặt, chúng ta muốn nó không phụ thuộcvàoloại đơnvị.  Biểu đồ phân tán giữa chiều cao (cm) và cân nặng (kg) không thay đổidạng phân tán. ng (kg) ặ ặ Cân n Chiềucao(in.) ©2010, Nguyễn Duy Long, Tiến Sỹ 17  Vì đơnvị không quan trọng, tạisaokhông bỏ nó?  Có thể chuẩnhóa các biếnvàviếttọa độ củamột điểmlà (zx, zy).  Biểu đồ phân tán của chiều cao và cân Zchiềucao nặng đượcchuẩn hóa. Zcân nặng ©2010, Nguyễn Duy Long, Tiến Sỹ 18 9
  10. 9/7/2010  Dạng tuyếntínhcủabiều đồ chuẩnhóacóvẻ dốc hơnbiểu đồ phân tán ban đầu.  Vì cả hai trụccótỷ lệ giống nhau.  Tỷ lệ bằng nhau tạo khách quan cho biểu đồ phân tán và độ chặtcủasự liệnhợp.  Giá trị chuẩnhóađượcxácđịnh như sau: (z , z ) ( x x , y y ) x y sx s y ©2010, Nguyễn Duy Long, Tiến Sỹ 19  Các điểmmàuxanh lá cây làm mạnh sự liên hợp dương giữachiều cao và cân nặng.  Các điểmmàunâu có khuynh hướng làm yếusự liên hợpdương.  Các điểm màu xanh dương có điểmz bằng Zchiềucao không không theo cách liên hợpnào. Zcân nặng ©2010, Nguyễn Duy Long, Tiến Sỹ 20 10
  11. 9/7/2010  Hệ số tương quan (r, correlation coefficient) đo lường độ chặtgiữabiến khám phá và biếnhưởng ứng. zz r  x y n 1 ©2010, Nguyễn Duy Long, Tiến Sỹ 21  Sự tương quan đo độ chặtcủasự liên hợptuyến tính giữa các biến định lượng.  Kiểm tra các điềukiệnsautrước khi dùng sự tương quan: 1. Điềukiệncácbiến định lượng 2. Điềukiệnkháthẳng (“Straight Enough”) 3. Điềukiệntrị ngoạilệ ©2010, Nguyễn Duy Long, Tiến Sỹ 22 11
  12. 9/7/2010 1. Điềukiệnbiến định lượng: ◦ Sự tương quan chỉ áp dụng cho các biến định lượng. ◦ Không dùng sự tương quan cho biến định tính. ◦ Kiểmtrađơnvị của các biến và chúng đolường cái gì. ©2010, Nguyễn Duy Long, Tiến Sỹ 23 2. Điềukiệnkháthẳng: ◦ Có thể tính (calculate) hệ số tương quan cho bấtcứ cặpbiếnnào. ◦ Nhưng sự tương quan chỉ đolường độ chặtcủa sự liên hợptuyếntínhvàsẽ gây sai lệch (misleading) nếumốiquanhệ không tuyến tính. ©2010, Nguyễn Duy Long, Tiến Sỹ 24 12
  13. 9/7/2010 3. Điềukiệntrị ngoạilệ: ◦ Các trị ngoạilệ có thể ggyây lệch (distort) sự tương quan rấtlớn. ◦ Mộttrị ngoạilệ có thể gây sự tương quan nhỏ thành lớnhay dấusự tương quan lớn. ◦ Khi gặptrị ngoạilệ, nên trình bày sự tương quan khi có và không có trị ngoạilệ đó. ©2010, Nguyễn Duy Long, Tiến Sỹ 25  Dấucủahệ số tương quan chỉ hướng củasự liên hợp.  Hệ số tương quan luôn trong khoảng [-1, +1].  Sự tương quan đốixử x và y giống nhau  Không có đơnvị. ©2010, Nguyễn Duy Long, Tiến Sỹ 26 13
  14. 9/7/2010  Sự tương quan không bịảnh hưởng bởi các thay đổi trung tâm hay tỷ lệ củabiến.  Sự tương quan đo độ chặtcủasự liên hợp tuyến tính giữahaibiến. ◦ Các biếncóthể có sự liên hợpmạnh nhưng vẫncósự tương quan nhỏ nếusự liên hợplàkhôngtuyếntính.  Sự tương quan là rấtnhạyvớitrị ngoạilệ. ©2010, Nguyễn Duy Long, Tiến Sỹ 27  Không đotương quan các biến định tính.  Không nói sự tương quan khi có ý là sự liên hợp m ể i Đ Nhiệt độ nướng (oF) ©2010, Nguyễn Duy Long, Tiến Sỹ 28 14
  15. 9/7/2010  Chú ý các trị ngoạilệ. IQ ố s ệ H Cở giày ©2010, Nguyễn Duy Long, Tiến Sỹ 29  Đừng nhầmsự tương quan (correlation) với quan hệ nhân quả (causation). ◦ Không phảimọisự lêliên hệ là quan hệ nhânquả. Chứng minh: Cò alàng mang trẻ thơđến ủ c ố cho làng s Dân Số cò ©2010, Nguyễn Duy Long, Tiến Sỹ 30 15
  16. 9/7/2010  Chú ý các biến ẩn(lurking variables). ◦ Biến ẩncóthể đứng sau sự liên hệ và xác định nó bằng cách tác động đồng thời hai biến.  Ví dụ-Bàitập 26 (tr.163): Điềutranăm 2004 về các quốc gia trên thế giớithấyrằng có độ tương quan dương giữaphầntrămdânsố dùng điện thoạidiđộng và tuổithọ trung bình củaquốcgia. ◦ Điềunàycónghĩa là dùng điệnthoạidiđộng tốtchosức khỏe? ◦ Hay ngượclại, bạncàngsống lâu thì khả năng gọidiđộng nhiềuhơn? ◦ Cái gì có thể giảithíchđộ tương quan dương này? ©2010, Nguyễn Duy Long, Tiến Sỹ 31 Linear Regression ©2010, Nguyễn Duy Long, Tiến Sỹ 32 16
  17. 9/7/2010  Từ biểu đồ phân tán bên dưới: ◦ Có sự liên hợpchặt(mạnh)? ◦ Sự liên hợp có vẽ tuyến tính? Lượng chấtbéovàđạmchothức ăncủa Burger King Dữ liệutừ 30 món trên menu của Burger King éo (g) b b t ấ Ch Đạm(g) ©2010, Nguyễn Duy Long, Tiến Sỹ 33  Sự tương quan lớn(âmhay dương) cho biết“cóvẻ có sự liên hợptuyếntínhgiữahaibiến,” nhưng không cho biết chính xác sự liên hợp đó là gì.  Chúng ta có thể biết nhiềuhơnvề sự liên hợptuyến tính giữahaibiến định lượng vớimột mô hình.  Mô hình tuyếntính(linear model) chỉ là mộtphương trình đường thẳng qua dữ liệu. ©2010, Nguyễn Duy Long, Tiến Sỹ 34 17
  18. 9/7/2010 •Bằng mắtthường, có thể vẽ đường thẳng qua dữ liệu? •Phương pháp để xác định mô hình phù hợpnhất (“best fit”) tbéo(g) ấ h C C Đạm(g) ©2010, Nguyễn Duy Long, Tiến Sỹ 35  Mô hình sẽ không bao giờ hoàn hảobấtkể vẽ đường nào.  ộ ố ể ằ M ts đi mn mtrên (số dư) ộ ố ằ ớ tbéo(g) và m ts n mdư i ấ đường thẳng. Ch  Sự ướclượng từ mô hình gọi là giá trị dự báo (predicted value) Đạm(g) (ký hiệulàŷ) ©2010, Nguyễn Duy Long, Tiến Sỹ 36 18
  19. 9/7/2010  Sự khác nhau giữagiátrị quan sát (observed value) và giá trị dự báo tương ứng (predicted value) gọilà số (phần) dư (residual).  Tìm số dư: Số dư = quan sát – dự báo = y – ŷ ©2010, Nguyễn Duy Long, Tiến Sỹ 37  Mộtsố số dư dương, mộtsố âm nên chung qui thì có thể triệttiêulẫn nhau.  Vì thế không thể đáhánh giá đường thẳng vừa hợp thế nào bằng cách cộng các số dư lại.  Tương tự nhưđộ lệch chuẩn, chúng ta bình phương số dư rồicộng lại.  Tổng càng nhỏ thì các vừahợp.  Đường phù hợpnhấtlàđường có tổng các bình phương số dư nhỏ nhất. ©2010, Nguyễn Duy Long, Tiến Sỹ 38 19
  20. 9/7/2010  Thông số thứ nhấtcủa mô hình, b1, là độ nghiêng (slope): s y br1 s x  Thông số thứ hai của mô hình, b0, là điểmchặn (intercept): bybx01  Với ví dụ về Burger King ở trên ©2010, Nguyễn Duy Long, Tiến Sỹ 39  Đường hồiqui chodữ liệucủa Burger King: yˆ(chatbeo) 6.8 0.97x(dam) tbéo(g) ấ h C Đạm(g) ©2010, Nguyễn Duy Long, Tiến Sỹ 40 20
  21. 9/7/2010  Dịch một độ lệch chuẩntừ trị trung bình củax sẽ dịch r lần độ lệch chuẩntừ trị trung bình của y. ◦ Biểu đồ phân tán theo điểm z cho chấtbéovàđạm: ©2010, Nguyễn Duy Long, Tiến Sỹ 41  r không thể lớnhơn1, vì thế mỗigiátrị dự báo y có khuynh hướng tiếngầntrị trung bình hơnlàgiátrị tương đốicủax.  Đặc điểmnàycủamôhìnhtuyếntínhgọilàhồiqui đếntrị trung bình (regression to the mean); đường thẳng gọilàđường hồiqui (regression line). ©2010, Nguyễn Duy Long, Tiến Sỹ 42 21
  22. 9/7/2010  Mô hình tuyếntínhgiả định sự liên hệ giữahaibiến là đường thẳng hoàn hảo. Các số dư là mộtphần củadữ liệu mà không được mô hình. Dữ liệu = Mô hình + Số dư hay Số dư = Dữ liệu – Mô hình hay eyy ˆ ©2010, Nguyễn Duy Long, Tiến Sỹ 43  Số dư giúp chúng ta xem mô hình có hợplý không.  Khi mô hình hồiqui hợplý, khôngcóđiềulýthú nào còn lại.  Sau khi có mô hình hồiqui, thường biểudiển các số dư vớihyvọng không tìm thấygì. ◦ Không có đường cong hay các đường thẳng ◦ Không có sự biếnthiêntăng hay giảm khi di chuyểndọc trụcx ©2010, Nguyễn Duy Long, Tiến Sỹ 44 22
  23. 9/7/2010  Các số dư cho hồi qui menu của Burger King trong “chán”– không có dạng gì tbéo) ấ (g ch ư d ố S Đạm(g) ©2010, Nguyễn Duy Long, Tiến Sỹ 45  Sự biến đổicủa các số dư là chìa khóa để đánh giá mô hình phù hợprasao.  Trong menu của Burger King, chấtbéocóđộ lệch chuẩn là 16.4 gam. Độ lệch chuẩn của các số dư từ sự dự báo chấtbéocủamôhìnhlà 9.2 gam.  Cái nào chỉ biến đổi nhiềuhơn? Chấtbéo Số dư ©2010, Nguyễn Duy Long, Tiến Sỹ 46 23
  24. 9/7/2010  Nếu độ tương quan là1.0 và mô hình dự báo giá trị chấtbéohoànhảo, tấtcả các số dư sẽ băng không và không có sự biến đổi  Với menu của Burger King, độ tương quan là 0.83 – không hoàn hảo.  Tuy nhiên, chúng ta đãthấy các số dư củamôhình ít biến đổihơnso vớichấtbéo.  Chúng ta có thể xác định sự biến đổi bao nhiêu trong mô hình và bao nhiêu còn lại trong các số dư. ©2010, Nguyễn Duy Long, Tiến Sỹ 47  Bình phương độ tương quan, R2, (“R-squared”) cho biếtphầnbiến đổi được xét trong mô hình.  1– R2 là phần biến đổi còn lại trong các số dư.  Khi diễntả mô hình hồiqui, cầnchobiếtý nghĩa của R2. ◦ Vớimôhìnhvề Burger King, R2 = 0.832 = 0.69, ◦ 69% củasự biến đổicủachấtbéođượcxácđịnh trong mô hình. ◦ 31% (100% - 69%) sự biến đổicủachấtbéocònlạitrong các số dư. ©2010, Nguyễn Duy Long, Tiến Sỹ 48 24
  25. 9/7/2010  R2 luôn giữa 0% và 100%.  Giá trị R2 tốtphụ thuộcvàoloạidữ liệu đang phân tích và muốnlàmgì vớikếtquả. ©2010, Nguyễn Duy Long, Tiến Sỹ 49  Điềukiện các biến định lượng: ◦ Các thống kê học cao hơnsẽ cho ta biếtkếthợp các dữ liệu định tính.  Điềukiệnkháthẳng: ◦ Mô hình tuyếntínhgiả định sự liên hệ giữahai biếnlàtuyến tính. ◦ Biểu đồ phân tán sẽ giúp kiểmtragiả định này hợp lý không. ©2010, Nguyễn Duy Long, Tiến Sỹ 50 25
  26. 9/7/2010  Điềukiệngiátrị ngoạilệ: ◦ Để ý đến các giá trị ngoạilệ. ◦ Các điểmngoại lệ có thể thay đổi mô hình . ◦ Các trị ngoạilệ thậmchícóthể thay đổidấucủa góc nghiêng, làm sai lệch về sự liên hệ giữahai biến. ©2010, Nguyễn Duy Long, Tiến Sỹ 51  Không dùng đường thẳng cho liên hệ không tuyến tính.  Chú ý các điểmngoại lệ.  Đừng ngoại suy ngoài dữ liệu – mô hình phi tuyến có thể không còn giá trị ngoài khoảng giá trị có trong dữ liệu.  Đừngsuyx gâyray mặcdùcómôhìnhtuyếntính tốtchomốiquanhệ của chúng – sư liên hợp không phảilàquan hệ nhân quả.  Đừng chọnmôhìnhchỉ dựatrênR2. ©2010, Nguyễn Duy Long, Tiến Sỹ 52 26
  27. 9/7/2010  Hồiqui về tuổi trung bình kếthônđầutiêncủa đàn ông và nămphùhợp cho các thậpniênđầucủathế kỷ 20 nhưng không đúng cho giai đoạnsau: u ầ đ n ầ thônl ế k àn ông lúc đ i ổ Tu Năm ©2010, Nguyễn Duy Long, Tiến Sỹ 53  Mô hình tuyếntínhkhônglàmtốtvới các điểmvới số dư lớn.  Bởivìcóvẻ chúng khác vớitrường hợp khác, đặc biệt chú ý đến các điểm có số dư lớn.  Một điểmdữ liệucóthể bấtthường nếugiátrị x củanóxaso vớitrị trung bình. Các điểm đólàcó đòn bẩylớn(high leverage). ©2010, Nguyễn Duy Long, Tiến Sỹ 54 27
  28. 9/7/2010 ‣ Mộ điểmcóđòn bẩylớncókhả năng thay đổi đường hồiqui. ‣ Điểm đógọilàảnh hưởng nếuloạibỏ nó khỏidữ liệu sẽ cho mô hình hồiqui kháchẳn. ‣ Ảnh hưởng Bozo (Bozo’s effect) vào mô hình “Chỉ số IQ và cỡ giày” IQ IQ ố s ố ỉ ỉ s s ỉ Ch Ch Cở giày Cở giày ©2010, Nguyễn Duy Long, Tiến Sỹ 55  Sự liên hợpchặt đến đâu, R2 lớn đến đâu, quan hệ thẳng đến đâu đinữa, không thể kếtluậnchỉ từ phân tích hồiqui làbiếnnàygâyrabiếnkia.  Vớidữ liệuquansát(observational), khác vớidữ liệu từ thí nghiệm đượcthiếtkế (designed experiment), không có cách gì để chắcchắnrằng biến ẩn(lurking variable) không phải là nguyên nhân củamộtsự liên hợp. ©2010, Nguyễn Duy Long, Tiến Sỹ 56 28
  29. 9/7/2010  Biểu đồ phân tán chỉ tuổithọ trung bình củamột quốc gia có liên hệ vớisố bác sỹ trên đầungười ở quốcgia đó. m) ă ng bình (n u u tr ọ ith ổ Tu Bacsy / daunguoi ©2010, Nguyễn Duy Long, Tiến Sỹ 57  Biểu đồ phân tán mớicònchobiết liên hệ giữatuổi thọ và số ti vi trên đầungườicủaquốcgia. ◦ Sự liên hệ thậmchíchặthơn: R2 of 72% thay vì 62%  Vì ti vi rẻ hơnbácsỹ, tạisaokhônggởitivi tới các nướccótuổithọ thấp để có tuổithọ cao hơn? m) ă gbình(n n tru ọ ith ổ Tu Tivi / daunguoi ©2010, Nguyễn Duy Long, Tiến Sỹ 58 29
  30. 9/7/2010 ©2010, Nguyễn Duy Long, Tiến Sỹ 59 30