Tài liệu Ước lượng và kiểm định trong thống kê nhiều chiều

Nội dung text: Tài liệu Ước lượng và kiểm định trong thống kê nhiều chiều

1. MỤC LỤC Trang phụ bìa Lời cảm ơn Mục lục Lời giới thiệu CHƯƠNG 1 : CÁC KHÁI NIỆM 1 1. 1 Véc tơ ngẫu nhiên nhiều chiều 1 1. 1. 1 Véc tơ ngẫu nhiên nhiều chiều 1 1. 1. 1. 1 Định nghĩa 1 1. 1. 1. 2 Hàm phân phối xác suất 1 1. 1. 1. 3 Phân phối xác suất 1 1. 1. 2 Vector trung bình – vector kỳ vọng 2 1. 2 Ma trận hiệp phương sai 5 1. 2. 1 Ma trận hiệp phương sai mẫu 5 1. 2. 2 Ma trận hiệp phương sai tổng thể 6 1. 2. 3 Ma trận tương quan 7 1. 2. 4 Vector trung bình - ma trận hiệp phương sai cho nhiều nhóm con của các biến 10 1. 2. 4. 1 Hai nhóm 10 1. 2. 4. 2 Ba hoặc nhiều các nhóm hơn 14 1. 3 Sự kết hợp tuyến tính giữa các biến 15 1. 3. 1 Tính chất của mẫu 15 1. 3. 2 Tính chất của tổng thể 22 1. 4 Hàm mật độ của một đại lượng ngẫu nhiên nhiều chiều 24 1. 4. 1 Định nghĩa 24 1.4.2 Tính chất 24 1. 5 Phân phối đại lượng ngẫu nhiên nhiều chiều 24 1. 5. 1 Định nghĩa 24 1. 5. 2 Tính chất 25
2. 1. 6 Phân phối chuẩn nhiều chiều 26 1. 6. 1 Hàm mật độ phân phối chuẩn một biến 27 1. 6. 2 Hàm mật độ của phân phối chuẩn nhiều chiều 28 1. 6. 3 Tổng quát hóa phương sai tổng thể 28 1. 6. 4 Tính chất phân phối chuẩn của biến ngẫu nhiên nhiều chiều 30 1. 6. 5 Ước lượng trong phân bố chuẩn nhiều chiều 36 1. 6. 5. 1 Ước lượng hợp lý tối đa (MLE) 36 1. 6. 5. 2 Phân phối của y và S 38 CHƯƠNG 2 : ƯỚC LƯỢNG KHÔNG CHỆCH TUYẾN TÍNH 40 2. 1 Mô hình thống kê tuyến tính tổng quát hạng đầy đủ 40 2. 2 Ước lượng không chệch cho mô hình thống kê tuyến tính tổng quát hạng đầy đủ 42 2. 2. 1 Định lí 2.1 (Gauss – Markov) 42 2. 2. 2 Bổ đề 2.1 43 2. 2. 3 Hệ quả 2.1 44 2. 3 Mô hình thống kê tuyến tính với hạng không đầy đủ 46 2. 4 Ước lượng không chệch cho mô hình thống kê tuyến tính hạng không đầy đủ 46 2. 4. 1 Định lí 2.2 46 2. 4. 2 Bổ đề 2.2 47 2. 4. 3 Định lí 2.3 ( Gauss – Markov ) 48 2. 4. 4 Ước lượng bình phương bé nhất mở rộng 49 2. 4. 5 Tổ hợp tuyến tính tốt nhất của thống kê thứ tự 52 2. 5 Ứng dụng trong mô hình ước lượng tham số hồi quy nhiều chiều 59 2. 5. 1 Hàm hồi quy tổng thể (PRF) 59 2. 5. 2 Dạng ma trận của hàm hồi quy 60 2. 5. 2. 1 Hàm hồi quy tổng thể PRF 60 2. 5. 2. 2 Hàm hồi quy mẫu SRF 60 2. 5. 3 Ước lượng bình phương bé nhất thông thường (OLS) 61 2. 5. 3. 1 Giới thiệu 61
3. 2. 5. 3. 2 Điều kiện cần 62 2. 5. 3. 3 Nghiệm hệ phương trình chuẩn 67 2. 5. 3. 4 Điều kiện đủ 69 2. 6 Xây dựng thuật toán hồi quy cho lập trình trên máy tính 72 2. 6. 1 Bài toán xây dựng phương trình siêu phẳng hồi qui. 72 2. 6. 2 Bài toán tính hệ số tương quan riêng 72 2. 6. 3 Bài toán hồi quy từng bước 73 2. 6. 4 Mô tả phương pháp tính toán 74 2. 6. 4. 1 Các ký hiệu sử dụng 74 2. 6. 4. 2 Phương pháp tính toán 74 2. 6. 5 Xây dựng hàm tính định thức của ma trận (sau đó sử dụng hàm này để tính định thức của ma trận covarian L_Da) 75 2. 6. 5. 1 Phần 1 75 2. 6. 5. 2 Phần 2 76 2. 6. 5. 3 Xây dựng hàm tính định thức của ma trận khi bỏ đi 1 hàng 1 cột 77 2. 6. 6 Bài toán về tương quan riêng 78 2. 6. 7 Bài toán về hồi quy từng bước 78 2. 6. 8 Lưu đồ thuật toán của ba bài toán nêu trên 79 CHƯƠNG 3 : KIỂM ĐỊNH GIẢ THIẾT TRÊN VECTƠ KỲ VỌNG 82 3. 1 Mâu thuẫn giữa kiểm định nhiều chiều và một chiều 82 3. 2 Kiểm định trên μ với Σ đã biết 83 3. 2. 1 Nhắc lại kiểm định đơn biến giả thiết H0: μ = μ0 với σ đã biết 83 3. 2. 2 Kiểm định nhiều chiều cho giả thiết : H00:μμ= với ∑ đã biết 84 3. 3 Kiểm định giả thiết trên μ khi ∑ chưa biết 89 3. 3. 1 Nhắc lại kiểm định đơn biến cho giả thiết H0: μ = μ0 khi σ chưa biết 89 2 3. 3. 2 T của Hotelling kiểm định giả thiết H00:μμ= với ∑ chưa biết 90 3. 4 So sánh hai vetor trung bình 95
4. 3. 4. 1 Nhắc lại hai mẫu một chiều với kiểm định tTest− 95 3. 4. 2 Kiểm định T 2 − Test với hai mẫu nhiều chiều 96 3. 5 Kiểm định trên từng biến riêng lẻ với điều kiện bác bỏ giả thiết H0 bởi Ttes2 − t 100 3. 6 Thao tác tính toán của T 2 - Thu được T 2 từ hồi quy nhiều chiều 106 3. 7 Kiểm định các cặp quan sát 108 3. 7. 1 Trường hợp một chiều 108 3. 7. 2 Trường hợp nhiều chiều 110 3. 8 Kiểm định thêm thông tin 113 3. 9 Phân tích hình thể 118 3. 9. 1 Phân tích hình thể một mẫu 118 3. 9. 2 Phân tích hình thể hai mẫu 121 CHƯƠNG 4: KIỂM ĐỊNH GIẢ THIẾT TRÊN MA TRẬN HIỆP PHƯƠNG SAI 130 4. 1 Giới thiệu 130 4. 2 Kiểm định mô hình dự kiến cho ∑ 130 4. 2. 1 Kiểm định giả thiết H0: ∑ =∑0 130 4. 2. 2 Kiểm định tính cầu 132 2 4. 2. 3 Kiểm định H0 :∑=σ ⎣⎡(1 −ρρ)I+J⎦⎤ 135 4. 3 So sánh các kiểm định ma trận phương sai 138 4. 3. 1 Kiểm đinh phương sai bằng nhau 139 4. 3. 2 Kiểm định bằng nhau các ma trận hiệp phương sai nhiều chiều 140 4. 4 Kiểm định tính độc lập 145 4. 4. 1 Độc lập của hai vector con 145 4. 4. 2 Sự độc lập của nhiều vectors con 147 4. 4. 3 Kiểm định độc lập cho tất cả các biến 151 Tài liệu tham khảo Phụ lục
5. Lời Giới Thiệu Ước lượng và kiểm định là các bài toán có ý nghĩa lớn trong thống kê. Từ mẫu ngẫu nhiên khảo sát được ta có thể đưa ra những nhận định sát với tổng thể để có được những dự đoán tương đối chính xác về một hiện tượng của xã hội hay các biến động trong tương lai Ở nước ta hiện nay, phân tích thống kê nhiều chiều chưa được quan tâm một cách đáng kể trong các trường đại học và cao đẳng. Ước lượng và kiểm định lại là bài toán có ý nghĩa quan trọng trong việc phân tích hồi quy và phương sai nhiều chiều. Bắt nguồn từ những suy nghĩ trên, với sự hướng dẫn của Thầy và sự nghiên cứu của bản thân, tác giả xin được giới thiệu luận văn thạc sĩ của mình với đề tài : “Ước Lượng và Kiểm Định Trong Thống Kê Nhiều Chiều”. Nội dung chủ yếu của luận văn này nhằm giới thiệu : ¾ Hàm gF( ) nào đối với nó có ước lượng tuyến tính không chệch. Tìm trong lớp tất cả các ước lượng tuyến tính không chệch của gF( ) ước lượng có phương sai bé đều nhất. Từ đó ứng dụng trong mô hình ước lượng tham số hồi quy và xây dựng các thuật toán cho bài toán tìm siêu phẳng hồi quy. ¾ Các kiểm định giả thiết chủ yếu là trên vector kỳ vọng và ma trận hiệp phương sai. Phân tích để làm nổi rõ ưu điểm của việc sử dụng kiểm định nhiều biến trong thống kê nhiều chiều thay vì sử dụng kiểm định một biến thông thường. Dựa vào nội dung cơ bản trên luận văn gồm bốn chương với bố cục như sau Chương 1 : CÁC KHÁI NIỆM Chương này nhằm giới thiệu sơ lược về các khái niệm, thuộc tính của biến ngẫu nhiên nhiều chiều. Giới thiệu rõ về các tính chất của phân phối chuẩn nhiều chiều. Đây là phân phối quan trọng trong bài toán ước lượng và kiểm định. Chương 2 : ƯỚC LƯỢNG KHÔNG CHỆCH TUYẾN TÍNH Giới thiệu các định lí (Gauss – Markov) và bổ đề dùng để giải quyết bài toán ước lượng cho mô hình thống kê tuyến tính với hạng đầy đủ và hạng không đầy đủ. Từ lý thuyết có được ta xây dưng mô hình để ứng dụng ước lượng tham số hồi quy bằng phương pháp bình phương bé nhất. Sau đó là ứng dụng để xây dựng thuật
6. toán tìm phương trình siêu phẳng hồi quy. Cuối chương là sơ đồ thuật toán tìm phuơng trình siêu phẳng hồi quy và hồi quy từng bước. Chương 3 : KIỂM ĐỊNH GIẢ THIẾT TRÊN VECTƠ KỲ VỌNG Ta tìm thấy từ chương này các kiểm định giả thiết H0 :μμ= 0 cho trường hợp ma trận hiệp phương sai ∑ đã biết hoặc chưa biết. Bài toán kiểm định giả thiết Ho :μμ1= 2 với đối thiết H11:μμ≠ 2 tức là so sánh hai vector trung bình của hai mẫu ngẫu nhiên nhiều chiều cũng được trình bày ở chương này. Hoặc là bài toán kiểm định các cặp quan sát từ ghép nối hai mẫu nhiều chiều cũng được thảo luận khá kĩ trong chương này Ưu điểm của chương này là các phần đều được xây dưng từ mô hình đơn chiều và phát triển thành mô hình đa chiều, giúp người đọc có thể so sánh ưu điểm của kiểm định nhiều chiều so vói dùng kiểm định một biến cho bài toán kiểm định nhiều chiều. Đồng thời các ví dụ được trình bày cụ thể với kết quả rõ ràng làm sáng tỏ hơn phần lý thuyết đã được trình bày. Chương 4 : KIỂM ĐỊNH GIẢ THIẾT TRÊN MA TRẬN HIỆP PHƯƠNG SAI Trong chương này , bao gồm ba loại hình cơ bản của kiểm định giả thiết : (1) mô hình dự kiến của ma trận hiệp phương sai, (2) hai hoặc nhiều ma trận phương sai bằng nhau, và (3) chắc chắn thành phần của ma trận phương sai là 0, kéo theo tính độc lập tương ứng của các biến ngẫu nhiên (chuẩn nhiều chiều). Trong hầu hết trường hợp, chúng ta sử dụng xấp xỉ tỉ số hợp lí. Kết quả thống kê kiểm định thường liên quan đến tỉ số xác định của các ma trận hiệp phương sai mẫu với giả thiết không và với đối thiết khác không. Ưu điểm của chương này là bên cạnh phần trình bày lý thuyết đều có kèm theo các ví dụ rất cụ thể với các kết quả rất rõ ràng và có liên thông với các kết quả của chương 1 và 3. Điều này giúp chúng ta có cái nhìn rõ liên hệ giữa các bài toán kiểm định với phương sai và cấu trúc của ma trận hiệp phương sai. Nhằm giúp luận văn chặt chẽ hơn về lí luận , cuối luận văn là phụ lục các bảng tra của phân phối như : phân phối chuẩn, phân phối chi bình phương, phân phối Student, phân phối Fisher
7. 1 Chương 1 CHƯƠNG 1 : CÁC KHÁI NIỆM 1. 1 Véc tơ ngẫu nhiên nhiều chiều : 1. 1. 1 Véc tơ ngẫu nhiên nhiều chiều n X=Ω (X12 ,X , ,X n ):( ,F ,P)→R X là hàm đo được, tức là nghịch ảnh của mọi ”hình hộp” đều là tập thuộc F . 1. 1. 1. 1 Định nghĩa n n Thứ tự trong R : với a== (a12 ,a , a n ), b (b 12 ,b , b n ) ∈R , ta nói ab≺ nếu ∀=i 1,2, ,n:aii ≤ b Hình hộp trong Rn : [a, b]== {x (x12 ,x , ,x n ) : a≺≺ x b} (a, b]== {x (x12 ,x , ,x n ) : a k<≤∀= x k b k k 1,2, ,n} 1. 1. 1. 2 Hàm phân phối xác suất n Fx:PX ()=ω∈Ωω<∀∈{} :X() x x - Là hàm đơn điệu không giảm : xy≺ ⇒≤ F(x)F(yXX) - Liên tục phải, có giới hạn trái : xxk0↓⇒ F(x)F(x) XkX0 ↓ ; xxF(x)cF(x) k0 ↑⇒ Xk ↑≤ X0 - Tiến tới 0 khi x j ↓−∞ với một chỉ số j nào đó - Tiến tới 1 khi x ↑+∞ 1. 1. 1. 3 Phân phối xác suất ⎜⎛⎞⎟ ⎜ ⎟ ⎜nm−∑ j⎟ ⎜ ⎟ ⎝⎠jn≤ m1m11−− m n 1m n PXX ((a, b]) :=−∑ ( 1) F (b1 a1 , ,bn an )≥∀ 0 a, b : a≺ b m{0,1}∈ n Từ định nghĩa trên ta có thể nới rộng ra một độ đo XS trên Rn n - PXX (∅= ) 0, F (R )= 1 nn - P(XXRR−=− A) 1 P(A) ∀∈ AB ( ) ___
8. 2 Chương 1 n - PXXX (A∪= B) P (A) + P (B) ∀ A,B ∈B (R ),A ∩=∅ B ∞ ∞ n - PXk (∪ A )=∀∈∩=∑ P Xk12 (A ) A ,A , B (R ),Aik A∅∀ i≠ k k1= k1= * Hệ quả : Trong nghiên cứu các đại lượng ngẫu nhiên nhiều chiều, có thể dùng các độ đo xác suất trên Rn (phân phối XS của ĐLNNNC) thay cho độ đo xác suất P trên Ω . 1. 1. 2 Vector trung bình – vector kỳ vọng : Cho y là biểu diễn của một vector ngẫu nhiên p biến đo được trên đơn vị mẫu. Nếu n vectors riêng lẻ được quan sát trong mẫu : y12 ,y , ,yn , thì : ⎛⎞y1 ⎜⎟ y y = ⎜⎟2 i ⎜⎟ ⎜⎟ ⎝⎠y p Vector trung bình mẫu y có thể có thể được tìm tương tự như n vector được quan sát hoặc được tính bởi trung bình của mỗi một p biến riêng lẻ : ⎛⎞y ⎜⎟1 n 1 ⎜⎟y2 yy==∑ i ⎜⎟ (1.1) n i=1 ⎜⎟ ⎜⎟ ⎝⎠y p n ở đây cụ thể như : yy= n. Do đó y là trung bình của n quan sát trên 2 ∑i=1 i 2 1 biến đầu tiên, y2 là trung bình của biến thứ hai và cứ như thế. Tất cả n vector được quan sát y12 ,y , ,yn có thể được chuyển vị đến vector dòng và được liệt kê trong ma trân Y như sau ___
9. 3 Chương 1 Các biến Các biến Đơn Đơn vị vị dòng dòng ở đây n thường là lớn hơn p. Dữ liệu được sắp xếp theo dạng bảng bằng việc truy nhập vào các vector quan sát theo hàng chứ không phải là theo cột. Chú ý rằng chỉ số dưới đầu tiên i tương ứng với các đơn vị dòng và chỉ số thứ hai j chỉ đến các biến. Quy ước này sẽ được mặc định cho bất kì các trình bày tương tự . Có thể bổ sung một cách thứ 2 để tính y , ta có thể có được y từ Y . Ta tính tổng n dữ liệu vào từ mỗi cột của Y và chia cho n. Điều này có thể được biểu diễn từ hướng dẫn sau : ⎛⎞∑ a1 j ⎜⎟j ⎜⎟a ' ⎛⎞∑ j 2 j j A= ⎜⎟∑∑aaii12 , , , ∑ a ip, Aj = ⎜⎟ ⎝⎠ii i ⎜⎟ ⎜⎟ ⎜⎟a ⎝⎠∑ j nj Vậy nên ta có : ' 1 yj= 'Y (1.3) n ở đây j' là vector dòng của : ⎛⎞1 ⎜⎟ 1 j = ⎜⎟ ⎜⎟ ⎜⎟ ⎝⎠1 ___
10. 4 Chương 1 Một minh họa thứ hai của j'Y là : ⎛⎞y12 ⎜⎟n ⎜⎟y22 ()11, , , 1 = ∑ yi2 ⎜⎟ i=1 ⎜⎟ ⎝⎠y2n ' Ta có thể biến đổi y để thu được : 1 y = Y'j (1.4) n Bây giờ ta đề cập đến tổng thể. Trung bình của y trên tất cả các giá trị có thể có trong tổng thể được gọi là vector kì vọng lí thuyết hoặc là giá trị kì vọng của y. Nó được định nghĩa như là vector của giá trị kì vọng của mỗi một biến. ⎛⎞Ey ⎛⎞y11( 1 ) ⎛⎞μ ⎜⎟⎜⎟ ⎜⎟ y ⎜⎟Ey()2 μ EEy ==⎜⎟22 = ⎜⎟=μ (1.5) () ⎜⎟⎜⎟ ⎜⎟ ⎜⎟ ⎜⎟ ⎜⎟ y pp⎜⎟Ey μ ⎝⎠⎝⎠()p ⎝⎠ ở đây μ j là kì vọng lí thuyết của biến thứ j. Điều này cho thấy rằng giá trị kì vọng của mỗi một y j trong y là μ j , đó chính là Ey( j ) = μ j , do đó giá trị kì vọng của y (trên tất cả các giá trị của mẫu) là ⎛⎞ ⎛⎞y Ey( 1 ) 1 ⎜⎟⎛⎞μ1 ⎜⎟ ⎜⎟ ⎜⎟y ⎜⎟Ey μ EEy ==2 ⎜⎟()2 =⎜⎟2 =μ (1.6) () ⎜⎟ ⎜⎟ ⎜⎟ ⎜⎟⎜⎟⎜⎟ ⎜⎟ ⎜⎟μ y p ⎜⎟Ey ⎝⎠p ⎝⎠⎝⎠()p Thành ra y là một ước lượng không chệch của μ . Ta nhấn mạnh lại, y sẽ không bao giờ bằng tới μ ___
11. 5 Chương 1 1. 2 Ma trận hiệp phương sai : 1. 2. 1 Ma trận hiệp phương sai mẫu : Ma trận hiệp phương sai mẫu S = (s jk ) là ma trận của các phương sai và hiệp phương sai mẫu với p biến ⎛⎞ss11 12 s 1p ⎜⎟ ⎜⎟ss21 22 s 2 p S ==()s jk (1.7) ⎜⎟ ⎜⎟ ⎜⎟ ⎝⎠spp12ss pp Trong S, phương sai mẫu của p biến nằm trên đường chéo ma trận. Tất cả các hiệp phương sai xuất hiện ngoài đường chéo chính của ma trận. Với j dòng (cột) bao gồm các hiệp phương sai của y j với p - 1 biến khác. Ta đưa ra hai cách tiếp cận để thu được S. Đầu tiên là các phép tính riêng lẻ 2 của s jk . Phương sai mẫu của phương sai của biến j, s jj= s j được tính bởi công thức : n 2 yy− ∑i=1( i ) ss==2 (1.8) jj n −1 n 2 yny2 − Hoặc là : s2 = ∑i=1 i (1.9) n −1 Nếu dùng cột j của Y thì : n 2 2 1 s jj==sy j ∑()ij −yj (1.10) n −1 i=1 1 ⎛⎞2 2 =−⎜∑ ynyij j ⎟ (1.11) n −1⎝⎠i ở đây y j là trung bình của j các biến. Hiệp phương sai của j x k các biến, s jk được tính bởi : ___
12. 6 Chương 1 n ∑ ( xii− xy)( − y) s = i=1 (1.12) xy n −1 Hoặc n x ynxy− s = ∑i=1 ii (1.13) xy n −1 Nếu dùng j và k cột của Y thì : 1 n s jk =−∑()yyyyij j (ik −k ) (1.14) n −1 i=1 1 ⎛⎞ =−⎜∑ yyij ik nyyjk⎟ (1.15) n −1⎝⎠i 1. 2. 2 Ma trận hiệp phương sai tổng thể Nếu y là một vector ngẫu nhiên được lấy từ bất kì một giá trị nào của tổng thể nhiều chiều , ma trận hiệp phương sai của tổng thể được định nghĩa là ⎛⎞σσ11 12 σ 1p ⎜⎟ ⎜⎟σσ21 22 σ 2 p ∑=cov() y = (1.16) ⎜⎟ ⎜⎟ ⎜⎟ ⎝⎠σσpp12 σ pp Ma trận hiệp phương sai tổng thể ở trên cũng có thể được tìm như sau : ' ∑=E ⎡ y −μ y −μ ⎤ (1.17) ⎣()()⎦ Ma trận ∑ ( p x p) là ma trận ngẫu nhiên. Giá trị được kỳ vọng của một ma trận ngẫu nhiên được xác định như là một ma trận những giá trị được kỳ vọng của sự tương ứng các phần tử. Ta sẽ thấy được sự xây dựng ma trận phương sai hiệp phương sai mẫu của p chiều như sau : ___
13. 7 Chương 1 ⎛⎞y11− μ ⎜⎟ ' y − μ ∑=EEy⎡⎤()()y −μ y −μ = ⎜⎟22 −μμ,yy − , , − μ ⎣⎦⎜⎟ ()1122 pp ⎜⎟ ⎝⎠ypp− μ ⎛⎞()yyyyy−−−−−μμμμμ2 ()() () ⎜⎟11 112 2 11()pp 2 ⎜⎟(yy−−μμ )()( y − μ ) ()yy−−μμ = E⎜⎟2 211 2 2 11()pp ⎜⎟ ⎜⎟ 2 ⎜⎟yy−−μμ yy −− μμ y−μ ⎝⎠()pp()11 ()pp()2 2 ()pp 2 ⎛⎞Ey()−−−−μμμμEy ()() y Ey () y−μ ⎜⎟11 112 2 11()pp 2 ⎜⎟Ey()()−−μμ y Ey () − μ Ey ()−−μμ y = ⎜⎟2211 22 11()pp ⎜⎟ ⎜⎟ 2 ⎜⎟Ey−−μμ y Ey −− μμ y Ey−μ ⎝⎠()pp()11 ()pp()2 2 ()pp ⎛⎞σσ11 12 σ 1p ⎜⎟ ⎜⎟σσ21 22 σ 2 p = ⎜⎟ ⎜⎟ ⎜⎟ ⎝⎠σσpp12 σ pp Vì ∑=Es( jk) =σ jk với mọi j và k nên ma trân hiệp phương sai mẫu S là một ước lượng không chệch của ∑ : E(S) = ∑ (1.18) 1. 2. 3 Ma trận tương quan : Tương quan mẫu giữa (j x k ) các biến được định nghĩa bỡi : s jks jk rjk == (1.19) ssjj kk s jks Ma trận tương quan mẫu là tương tự ma trận hiệp phương sai với sự tương quan trong không gian của các phương sai. ___
14. 8 Chương 1 ⎛⎞1 σσ12 1p ⎜⎟ ⎜σσ21 1 2 p ⎟ R ==()rjk (1.20) ⎜⎟ ⎜⎟ ⎜⎟ ⎝⎠σσpp121 Ví dụ ở dòng thứ 2, bao gồm tương quan của y2 với mỗi thành phần của y (bao gồm cả tương quan của y2 với chính nó, là 1). Dĩ nhiên ma trận tương quan là ma trận đối xứng, vì rrjk= kj . Ma trận tương quan có thể thu được từ ma trận hiệp phương sai, và ngược lại, Ds = diag( s11 ,ss 22 , , pp ) = diag()ss12 , , , sp ⎛⎞s 00 ⎜⎟ 00s = ⎜⎟ (1.21) ⎜⎟ ⎜⎟ ⎝⎠00 s Ta có : −11− RDSD= s s (1.22) SDRD= s s (1.23) Tương tự ma trận tương quan tổng thể và được định nghĩa là : ⎛⎞1 ρρ12 1p ⎜⎟ ⎜⎟ρρ21 1 2 p Pρ ==()ρ jk (1.24) ⎜⎟ ⎜⎟ ⎜⎟ ⎝⎠ρρpp121 Ở đây : σ jk ρ jk = σ jσ k ___
15. 9 Chương 1 Ví dụ 1.1 : Cho bảng dữ liệu sau, với ba biến được đo (mẫu thử là 100g )tại mười địa điểm khác nhau y1=calcium trong đất, y2=lượng calcium đã được chuyển đổi, y3=calcium có trong cây cải xanh. Địa điểm Bảng 1.1 : Lượng calcium trong đất và trong cây cải xanh Để tính được ma trận phương sai mẫu cho cột dữ liệu calcium của bảng. Ta tính tổng bình phương của mỗi một cột và tổng các kết quả mỗi cặp của cột, ta minh họa phép tính của s13 : Từ các công thức ở trên ta dễ dàng tính được : y1 = 28. 1 và y3 = 3. 089 Từ công thức (1.14) và (1.15), ta có : Tiếp tục với sự tương tự ta có được ma trận hiệp phương sai là : Để có được ma trận tương quan với dữ liệu trên ta có thể tính toán riêng lẻ bằng cách dùng công thức ( 1.19) . Hoặc có thể dùng trực tiếp từ thủ thuật ma trận : ___
16. 10 Chương 1 −11− RDSD= s s Ma trận đường chéo chính Ds có thể tìm bằng cách lấy căn bậc hai trên các đường chéo chính của ma trận S : Từ đó ta có : 1. 2. 4 Vector trung bình - ma trận hiệp phương sai cho nhiều nhóm con của các biến : 1. 2. 4. 1 Hai nhóm : Nhiều khi một khảo sát nào đó quan tâm đến hai dạng khác nhau của biến, cả hai cùng được đo trên một đơn vị mẫu. Một số hành vi được quan sát trong lớp học dành cho sinh viên, và trong cùng một khoảng thời gian nhất định (các đơn vị cơ bản thực nghiệm) một số hành vi của giáo viên cũng được quan sát. Khảo sát muốn nghiên cứu mối liên hệ các biến của học sinh và các biến của giáo viên. Ta sẽ biểu diễn hai nhóm vector bỡi y và x với p biến trong y và q biến trong x. Vì vậy, mỗi một vector quan sát trong mẫu là được phân chia là : ⎛⎞yi1 ⎜⎟ ⎜⎟ ⎜⎟ ⎛⎞yi yip ⎜⎟==⎜⎟,in12 , , , (1.25) ⎝⎠xi ⎜⎟xi1 ⎜⎟ ⎜⎟ ⎜⎟ ⎝⎠xp ⎛⎞SSyy yx S = (1.26) ⎜⎟ ⎝⎠SSxyxx ___
17. 11 Chương 1 Ở đây S yy là (p x p), S yx là ( p x q ) , Sxy là ( q x p) và Sxx là (q x q). Cũng cần chú ý rằng vì tính chất đối xứng của S nên ' SSxyy= x (1.27) Vậy nên, ta có thể viết : ⎛⎞SSyy yx S = ⎜⎟ (1.28) ⎜' ⎟ ⎝⎠SSyx xx Để minh họa ta cho p = 2 và q = 3, ta có : Các mẫu trong mỗi S,S,Syy yx xy và Sxx được biểu diễn rõ ràng trong minh họa này. Ví dụ dòng đầu của S yx là hiệp phương sai của y1 với mỗi x123,,xx. Dòng thứ hai là biểu diễn hiệp phương sai của y2 với ba biến của x. Mặt khác ta cũng có ở dòng đầu của Sxy là các hiệp phương sai của x1với y1 và y2 và cứ thế Như ' vậy : SSxyy= x Tương tự, đối với tổng thể kết quả của việc phân chia các vector ngẫu nhiên là : ⎛⎞y ⎛⎞E(y) ⎛⎞μ y E⎜⎟==⎜⎟⎜⎟ (1.29) x ⎜⎟⎜⎟ ⎝⎠ ⎝⎠E()x ⎝⎠μx ⎛⎞y ⎛⎞∑∑yy yx cov =∑= (1.30) ⎜⎟ ⎜⎟ ⎝⎠x ⎝⎠∑∑xyxx ___
18. 12 Chương 1 ' ở đây ∑=∑xyyx. Ma trận con ∑ yy là ma trận hiệp phương sai ( p x p) chứa phương sai của yy12, , , yp trên đường chéo chính và hiệp phương sai của mỗi y j và yk nằm ngoài đường chéo. Tương tự như vậy, ∑xx là ma trận hiệp phương sai ( q x q ) của x12,x , , xk . Ma trận ∑ yx là ( p x q ) và bao gồm hiệp phương sai của mỗi y j với mỗi xk . Ma trận hiệp phương sai ∑ yx thì cũng được biểu diễn bởi cov(y,x) tức là : cov( y,x) = ∑ yx (1.31) ⎛⎞y Cần chú ý sự khác nhau trong ý nghĩa giữa cov⎜⎟=∑ trong công thức ⎝⎠x ⎛⎞y (1.30) và cov( y,x) =∑yx trong công thức (1.31). cov⎜⎟ bao gồm một vector ⎝⎠x đơn chứa p+q biến, và cov(y,x) thì bao gồm hai vector. Nếu x và y là độc lập thì ∑ yx = 0 . Điều này có nghĩa là mỗi một biến y j đều không tương quan với mỗi x vì thế nên σ = 0 cho k yxjk j ==12, , ,pk ; 12 , , , q. Ví dụ 1.2: Reaven và Miller (1979; Andrews và Herzberg 1985, pp. 215-219) đo lường năm biến so sánh giữa người bình thường và của bệnh nhân đái tháo đường . Trong Bảng 1.2 ta chỉ xét một phần dữ liệu cho người bình thường. Ba biến chính được quan tâm là : x1= lượng đường không được dung nạp x2 = isulin dùng để cân bằng lượng đường được uống x3 = kháng isulin Thêm hai bổ sung các biến nhỏ cũng được quan tâm là : y1 = quan hệ trọng lượng y2 =Lưu lượng đường huyết ___
19. 13 Chương 1 Số người bệnh Bảng 1.2 : Quan hệ giữa nồng độ Insulin với cân nặng và lượng đường trong máu ___
20. 14 Chương 1 Vector trung bình được phân chia theo công thức là : Ma trận hiệp phương sai được phân chia như trong phân tích trên sẽ là : Lưu ý là ma trận S yy và Sxx là các ma trận vuông, và Sxy là ma trận chuyển vị của S yx 1. 2. 4. 2 Ba hoặc nhiều các nhóm hơn : Trong một số tình huống ba hay nhiều hơn các nhóm rất được quan tâm. Nếu vector y quan sát được phân chia như sau : ⎛⎞y1 ⎜⎟ y y = ⎜⎟2 , ⎜⎟ ⎜⎟ ⎝⎠yk ở đây y1 có p1 các biến, y2 có p2 , ,và yk có pk các biến với : p = pp12+++ pk Vector trung bình mẫu và ma trận hiệp phương sai được cho bởi : ⎛⎞y ⎜⎟1 ⎜⎟y2 y = ⎜⎟ (1.32) ⎜⎟ ⎜⎟ ⎝⎠yk ___
21. 15 Chương 1 ⎛⎞SS11 12 S 1p ⎜⎟ ⎜⎟SS21 22 S 2 p S == (1.33) ⎜⎟ ⎜⎟ ⎜⎟ ⎝⎠SSpp12 S pp Ví dụ như ma trận con S22k( p xpk) bao gồm phương sai và hiệp phương sai của các biến trong y2 với các biến trong yk . Tương ứng với tổng thể ta có kết quả như sau : ⎛⎞μ1 ⎜⎟ μ μ = ⎜⎟2 , (1.34) ⎜⎟ ⎜⎟ ⎝⎠μk ⎛⎞∑∑11 12 ∑ 1k ⎜⎟ ∑∑ ∑ ∑=⎜⎟21 22 2k (1.35) ⎜⎟ ⎜⎟ ⎝⎠∑∑kk12 ∑ kk 1. 3 Sự kết hợp tuyến tính giữa các biến 1. 3. 1 Tính chất của mẫu : Ta thường quan tâm đến sự kết hợp tuyến tính giữa các biến yy12, , , yp .Trong phần này chúng ta sẽ khảo sát trung bình, phương sai và hiệp phương sai của sự kết hợp tuyến tính. Cho aa12, , , ap là các là hệ số và được xem như là sự kết hợp tuyến tính của các yếu tố của vector y, ' zayay=+11 2 2 ++= aypp a y (1.36) ___
22. 16 Chương 1 ' Ở đây a= (aa12 , , , ap ). Nếu cùng một hệ số của vector a được áp dụng cho mỗi yi trong mẫu , ta có : ' zii=+ay11 ay 2 i 2 ++= a pipi y a y , i =12 , , , p (1.37) Trung bình mẫu của z có thể được tìm thấy bởi trung bình cộng của n giá trị ' ' ' z11= ay , z22= ay , , zn= ayn hoặc là như một kết hợp tuyến tính của y các vector trung bình mẫu của y12 ,y , ,yn . n 1 ' zz==∑ i ay (1.38) n i=1 Kết quả trên đây là tương tự như kết quả ở trường hợp đơn biến zay= ở đây zayiii==,1 , ,n ' Tương tự như vậy, phương sai mẫu của zyiii==a,1 , ,n có thể được tìm như là phương sai mẫu của zz12, , , zn hoặc trực tiếp từ a và S , ở đây S là ma trận hiệp phương sai của y12 ,y , ,yn n 2 ∑ (zzi − ) s2 =i=1 =aSa' (1.39) z n −1 2 ' 222 Chú ý rằng sz = aSa là mô hình nhiều biến từ kết quả đơn biến sz = as ở ' 2 đây zayiii==,1 , ,n và s là phương sai của yy12, , , yn 2 ' Vì phương sai là luôn không âm, ta có sz > 0 và thành ra aSa>0 cho mỗi a. Do đó ít nhất S là nửa xác định dương. Nếu các biến là liên tục và không quan hệ tuyến tính, và nếu n-1> p (do S hạng đầy đủ ) thì S được xác định dương ( với xác xuất là 1 ) ' Nếu ta xác định một kết hợp tuyến tính khác wbybyb==by 11 + 2 2 ++ ppy ' ' ở đây b= (bb12 , , , bp ) là vector hệ số ( hằng số ) khác a . Vì thế hiệp phương sai của z và w được cho bởi : ___
23. 17 Chương 1 n ∑ (zzwwii−−)( ) s =i=1 =aSb' (1.40) zw n −1 Tương quan mẫu giữa w và z sẵn sàng nhận được là : ' szw aSb rzw == (1.41) 22 '' sszw ()(aSa bSb) Giờ ta sẽ biểu diễn luôn hai vector hệ số ( hằng số ) a và b là a1 và a2 để tạo điều kiện thuận lợi về sau khi mở rộng nhiều hơn hai vectors như vậy. Cho : ⎛⎞a, A = ⎜⎟1 ⎜⎟, ⎝⎠a2 và định nghĩa: ' ⎛⎞ay11⎛⎞z z ==⎜⎟⎜⎟ ⎜⎟' z ⎝⎠ay2 ⎝⎠2 Và sau đó ta có thể có nhân tố y từ biểu diễn của biểu thức : ' ⎛⎞a1 z ==⎜⎟y Ay ⎜⎟, ⎝⎠a2 Nếu ta ước lượng hai chiều từ zi cho mỗi p – biến yi trong mẫu. Chúng ta nhận được zii== Ay ,i12 , , ,n và giá trị trung bình của z trên mẫu có thể được tìm thấy từ y : ' ⎛⎞za11⎛⎞y z ==⎜⎟⎜⎟ (1.42) z ⎜⎟' ⎝⎠2 ⎝⎠a2 y ⎛⎞a' z ==⎜⎟1 y = Ay (1.43) ⎜⎟' ⎝⎠a2 Ta có thể dùng (1.39) và (1.40) để xây dựng ma trận hiệp phương sai mẫu cho z : ___
24. 18 Chương 1 ⎛⎞2 '' sszzz⎛⎞aaSS aa ⎜⎟112 11 12 Sz ==⎜⎟ (1.44) ⎜⎟ss2 ⎜⎟aa'' S aa S ⎝⎠zz21 z 2 ⎝⎠21 22 Bởi vì : ⎛⎞aa''SS aa ASA' = ⎜⎟11 12 ⎜⎟'' ⎝⎠aa21SS aa 22 Yếu tố này đưa đến : ⎛⎞a' SSa,aA==⎜⎟1 ()SA' (1.45) z ⎜⎟' 12 ⎝⎠a2 Kết quả hai biến ở trên có thể sẳn sàng để mở rộng nhiều hơn hai kết hợp tuyến tính. Nếu chúng ta có k phép biến đổi tuyến tính, chúng ta có thể biểu diễn như sau : ' zayay1111122=+ ++= ay 1pp a 1y zayay=+ ++= ay a' y 2211222 2pp 2 ' zayaykk=+11 k 2 2 ++= ay kppk a y Hoặc bằng kí hiệu ma trận là : ⎛⎞⎛⎞'' ⎛⎞z1 ay11 a ⎜⎟⎜⎟⎜⎟ z ⎜⎟⎜⎟ay'' a z ==⎜⎟2 22 =y =Ay ⎜⎟ ⎜⎟⎜⎟ ⎜⎟⎜⎟⎜⎟ ⎜⎟z ⎜⎟⎜⎟'' ⎝⎠k ⎝⎠⎝⎠aykk a ở đây z là ( k x 1 ) chiều, A là ( k x p ) chiều, và y là ( p x 1 ) chiều ( chúng ta quy ước là k≤ p). Nếu zAyi= ilà định trị cho tất cả các yi ,i=1 , ,n điều này cho bởi (1.38) Vectror trung bình mẫu của z là : ___
25. 19 Chương 1 ⎛⎞ay' ⎛⎞a' ⎜⎟1 ⎜⎟1 ' ' ⎜⎟ay2 ⎜⎟a2 z ==⎜⎟ y =Ay (1.46) ⎜⎟ ⎜⎟ ⎜⎟ ⎜⎟' ⎜⎟' ⎝⎠ayk ⎝⎠ak Mở rộng từ biểu diễn (1.44) ta có ma trận hiệp phương sai mẫu của z trở thành : ⎛⎞aSa'' aSa aSa ' ⎜⎟11 12 1k '' ' ⎜⎟aSa21 aSa 22 aSa 2k Sz = ⎜⎟ (1.47) ⎜⎟ ⎜⎟'' ' ⎝⎠aSakk11 aSa aSa kk ' ⎛⎞ ' aSa,Sa,11( 2 Sak ) ⎛⎞a ⎜⎟⎜⎟1 ⎜⎟' ' aSa,Sa,21 2 Sak ⎜⎟a ⎜⎟()2 = = ⎜⎟()Sa12 , Sa , ,Sak ⎜⎟ ⎜⎟⎜⎟ ' ⎜⎟' ⎜⎟aSa,Sa, Sa ⎝⎠ak ⎝⎠kk()11 ⎛⎞a' ⎜⎟1 ' ⎜⎟a2 ' ==Sa,a,()12 ,ak ASA (1.48) ⎜⎟ ⎜⎟ ⎜⎟' ⎝⎠ak Chú ý rằng từ (1.47) và (1.48) ta có : k '' tr() ASA= ∑ aii Sa (1.49) i=1 biến đổi tuyến tính yếu hơn là : zAyb,ii= +=in12 ,, , (1.50) Vector trung bình và hiệp phương sai mẫu được cho bởi : zAyb= + (1.51) ' SASAz = (1.52) ___
26. 20 Chương 1 Ví dụ 1.3: Timn (1975, p. 233; 1980, p. 47) đã báo cáo về kết quả của một thí nghiệm ở đây chủ đề là tìm kiếm trả lời “đáp từ ” ở năm vị trí trong một chủ đề. Các biến là thời gian đáp ứng cho j đáp từ yjj =12, , , 5 . Dữ liệu được cho trong Bảng 1.3 sau: Số chủ đề Bảng 1.3: Thời gian đáp ứng cho năm đáp từ của một chủ đề Những biến này được quy ước ( đo trên cùng một đơn vị tương tự như trung bình và phương sai ) và các nhà nghiên cứu có thể muốn kiểm tra một số kết hợp tuyến tính đơn giản. Xem xét các kết hợp tuyến tính sau đây là mục đích để minh họa : Nếu z là được tính cho mỗi của 11 quan sát, chúng ta có được zz12==288, 155 , , z 11 = 146 với trung bình z =197. 0 và phương sai 2 sz = 2084. 0 . Ta cũng có cùng một kết quả như vậy nếu dùng công thức (1.38) và (1.39) thì vector trung bình mẫu và ma trận hiệp phương sai cho dữ liệu trên là : ___
27. 21 Chương 1 Kế đó , vì (1.38) nên ta có : và từ (1.39) : Bây giờ ta sẽ nêu ra một tổ hợp tuyến tính thứ hai : Trung bình mẫu và phương sai của w là : ' 2 ' wby==44 . 45 và sw ==bSb605 . 67 Ma trận hiệp phương sai mẫu của z và w được tính bởi (1.40) là : ' szw ==aSb40 . 2 Tiếp tục dùng công thức (1.41)ta tìm được tương quan của z và w là : Bây giờ chúng ta xét ba hàm tuyến tính : Ta cũng có thể biểu diễu dưới dạng ma trận như sau : ___
28. 22 Chương 1 hoặc : Vector trung bình mẫu cho bởi (1.46) là : ' Ma trận hiệp phương sai mẫu được cho bởi : SASAz = là : Ma trận hiệp phương sai Sz có thể biến đổi đến một ma trận tương quan bởi công thức (1.22): ở đây : Là nhận được từ căn bậc hai các phần tử trên đường chéo chính của Sz . 1. 3. 2 Tính chất của tổng thể : Các kết quả về sự kết hợp tuyến tính ở trên có bản sao trong tổng thể. Cho z = ay' ở đây a là một vector hệ số (hằng số ). Trung bình mẫu của z sẽ là: ___
29. 23 Chương 1 Ez( ) === E(ay'') a E( y) a'μ (1.53) Và phương sai của tổng thể là : 2 '' σ z = var( a y) =∑aa (1.54) Cho w = by' ở đây b là vector hệ số (hằng số) khác a. Hiệp phương sai tổng thể của z = ay' và w = by' là : ' cov( zw ,) = σ zw =∑ a b (1.55) Từ công thức tương quan của x và y: σ xy Ex( −−μμxy)( y ) ρxy ===corr() x, y 2 2 σσxy Ex()−−μμxy Ey() Ta có tương quan tổng thể của z và w là : ' '' σ zw ab∑ ρzw ===corr ()ay,by (1.56) σσ '' zw ()(aabb∑∑) Nếu Ay là biểu diễn cho nhiều kết hợp tuyến tính, vector trung bình mẫu và ma trận hiệp phương sai cho bởi : EE(Ay) == A( y) Aμ (1.57) cov( Ay) = AA∑ ' (1.58) Phép biến đổi tuyến tính tổng quát hơn zA= y + b có vector trung bình mẫu và ma trận hiệp phương sai là : EE(Ay+ b) =+= A( y) b Aμ +b (1.59) cov( Ay + bAA) =∑' (1.60) ___
30. 24 Chương 1 1. 4 Hàm mật độ của một đại lượng ngẫu nhiên nhiều chiều 1. 4. 1 Định nghĩa Ta nói rằng đại lượng ngẫu nhiên nhiều chiều X là liên tục nếu tồn tại một hàm số f:RRnn=−∞∞ ( , ) →+ : = [0, ∞ ) sao cho x xxxn21 F (x)== f ( t )dt f (t ,t , ,t )dt dt dt ∀= x (x ,x , ,x ) ∈Rn X1∫∫∫∫2n12n12n −∞ −∞ −∞ −∞ Lúc đó hàm f được gọi là hàm mật độ (XS) của véc tơ NN X . 1. 4. 2 Tính chất b bbbn21 i) P ((a, b])=∀ f ( t )dt = f (t ,t , ,t )dt dt dt a,b ∈Rn X1∫∫∫∫2n12n aaan21a ∞ ii) E(X)= ∫ t.f ( t )dt −∞ ∞ iii) Var(X)=−∫ ( t E(X)).( t − E(X))T .f ( t )dt −∞ 1. 5 Phân phối đại lượng ngẫu nhiên nhiều chiều : 1. 5. 1 Định nghĩa Cho X= (X12 ,X , ,X n ) là một đại lượng ngẫu nhiên nhiều chiều. Và hàm mật độ xác suất kết hợp của chúng là fX(X1, X2, , Xn). Tương tự như trước đây, chúng là độc lập nếu hàm mật độ xác suất chung là tích của mỗi hàm mật độ xác suất riêng lẻ. Vì vậy, chúng ta có fX(X1, X2, , Xn) = fX1(X1) . fX2(X2) . . . fXn(Xn) Trong trường hợp đặc biệt khi mỗi giá trị x được phân phối giống nhau và độc lập lẫn nhau, chúng ta có fX(X1, X2, , Xn) = fX(X1) . fX(X2) . . . fX(Xn) Trong đó fX(x) là hàm phân phối chung của mỗi giá trị x. ___
31. 25 Chương 1 1. 5. 2 Tính chất : a. Nếu a1, a2, , an là hằng số hoặc không ngẫu nhiên thì E[a1X1 + a2X2 + . . . + anXn] = a1E(X1) + a2E(X2) + . . . + anE(Xn). Giá trị kỳ vọng của một tổ hợp tuyến tính các số hạng bằng tổ hợp tuyến tính của mỗi giá trị kỳ vọng riêng lẻ. b. Nếu mỗi Xi đều có giá trị trung bình bằng nhau thì E(Xi) = µ, chúng ta có Ea.X()Σ=μΣii ai Đặc biệt, nếu tất cả hệ số ai đều bằng nhau và bằng (1/n) thì chúng ta có: ⎛⎞Σx EEX⎜ i ⎟ ==() μ ⎝⎠⎜ n ⎟ Giá trị kỳ vọng của giá trị trung bình của các biến ngẫu nhiên có phân phối giống nhau sẽ bằng giá trị trung bình chung của chúng. Var⎡⎤Σ=Σ+ a .X a2 .Var x a .a cov X .X c. ⎣⎦()ii ii () i ∑∑ ij( ij) ij≠ trong đó các hệ số ai được giả thiết là hằng số hoặc không ngẫu nhiên. d. Nếu tất cả các biến X1, X2, , Xn đều độc lập thì mỗi cặp tương quan ρij và hiệp phương sai sẽ bằng 0 hay Cov(xi, xj) = 0 =ρij với mọi i ≠ j. e. Từ (c) và (d) ta có thể rút ra kết luận rằng khi biến x độc lập thì ⎡Σ=Σ⎤ 2 Var⎣ () aii .X⎦ ii a .Var ( x i) vì số hạng hiệp phương sai sẽ không tồn tại nữa. Do đó, phương sai của tổng các biến ngẫu nhiên độc lập sẽ bằng tổng các phương sai. Đặc biệt, nếu tất cả các giá trị phương sai đều bằng nhau, 2 nghĩa là Var() Xi =σ với mỗi i thì ___
32. 26 Chương 1 ⎡Σ=σ⎤ 22Σ Var⎣ () aii .X⎦ a i f. Nếu tất cả các X1, X2, . . ., Xn đều là biến ngẫu nhiên độc lập nghĩa là tập 2 biến X i có phân phối chuẩn với giá trị trung bình µi và phương sai σi hay 2 được thể hiện bằng ký hiệu X i ~ N(µi, σi ) thì tổ hợp tuyến tính của tập biến x cho trước có dạng a1X1 + a2X2 + . . . + anXn cũng sẽ có dạng phân phối chuẩn với giá trị trung bình là a1 µ1 + a2 µ2 + . . . + an µn 22 22 22 và giá trị phương sai là a11σ+ a 22 σ+ + a nn σ. Trong ký hiệu phép lấy tổng, chúng ta có thể viết như sau UaX~Na,a=Σ⎡ Σ μ Σ22 σ ⎤ ()ii ⎣⎢ (ii )() 1i⎦⎥ g. Nếu tất cả các X1, X2, . . ., Xn đều độc lập và có phân phối giống nhau tuân theo phân phối chuẩn N(µ,σ2 ) thì giá trị trung bình của chúng là 1 X=ΣX sẽ có dạng phân phối chuẩn với giá trị trung bình bằng µ và n i σ2 ⎛⎞σ2 phương sai bằng , nghĩa là X ~ N⎜μ, ⎟. Tương tự, chúng ta có z = n ⎝⎠⎜ n ⎟ nX()−μ ~ N(0, 1). σ 1. 6 Phân phối chuẩn nhiều chiều : Đa số kiểm định của biến ngẫu nhiên một chiều và các khoảng tin cậy dựa trên phân phối chuẩn đơn chiều. Tương tự như vậy, phần lớn các phương pháp ngẫu nhiên đa chiều có phân phối chuẩn nhiều chiều như chính nền tảng cơ sỡ của nó. Có nhiều ứng dụng hữu ích cho phân phối chuẩn nhiều chiều. Phân phối có thể được mô tả bằng cách sử dụng : trung bình, phương sai và hiệp phương sai. Đồ ___
33. 27 Chương 1 thị của biến ngẫu nhiên hai chiều có xu hướng biểu thị tuyến tính. Hàm tuyến tính của biến ngẫu nhiên nhiều chiều có phân bố chuẩn thường là chuẩn tắc. Như trong trường hợp một chiều biểu hiện thuận lợi của hàm mật độ là mượn chính nó để làm nguồn gốc cho nhiều tính chất và các kiểm định thống kê. Thậm chí khi dữ liệu không phải là chuẩn tắc nhiều chiều thì chuẩn tắc nhiều chiều có thể xử lí bằng các xấp xỉ có lợi. Đặc biệt là trong những kết luận liên quan đến vector trung bình mẫu, thường được xấp xỉ chuẩn tắc nhiều chiều bởi định lí giới hạn trung tâm. Khi hàm mật độ chuẩn nhiều biến được mở rộng từ hàm mật độ chuẩn một chiều nó được thừa hưởng nhiều tính chất đặc trưng. Ta sẽ nhắc lại hàm mật độ của phân phối chuẩn một biến trong mục 1.6.1 và sau đó sẽ mở rộng để mô tả hàm mật độ phân phối chuẩn của biến ngẫu nhiên nhiều chiều trong mục 1.6.2. Các mục còn lại của chương dành cho việc nghiên cứu mở rộng các tính chất của phân phối chuẩn nhiều chiều. 1. 6. 1 Hàm mật độ phân phối chuẩn một biến : Nếu một biến ngẫu nhiên y, với trung bình μ và phương sai σ 2 , có phân phối chuẩn thì hàm mật độ của nó được cho bởi công thức : 1 2 2 fy()=− e−−()y μσ2 , ∞<y<∞ (1.61) 2πσ2 Khi biến y có hàm mật độ (1.61), ta nói rằng y có phân phối chuẩn N (μ,σ 2 ) . Hàm số này thường được biểu diễn minh họa bởi đồ thị hình quả chuông trong hình 1.1 khi cho μ =10 và σ = 2.5 Hình 1.1 : Đồ thị hàm mật độ phân phối chuẩn ___
34. 28 Chương 1 1. 6. 2 Hàm mật độ của phân phối chuẩn nhiều chiều Nếu biến y có phân phối chuẩn nhiều chiều với vector trung bình μ và ma trận hiệp phương sai ∑ , hàm mật độ được cho bởi : 1 ' −1 fe()y = −−()()y μ ∑y −μ 2 (1.62) p 12 ()2π ∑ ở đây p là số lượng các biến trong y có mật độ (1.62) ta nói y có phân phối N p (μ,Σ) hoặc đơn giản y là N p (μ,Σ) . 2 −1 Số hạng ()yy−=−−μ σμσ22()( ) (yμ) trong số mũ của hàm mật độ phân phối chuẩn một chiều là bình phương khoảng cách từ y đến μ , đơn vị độ lệch chuẩn . Tương tự như vậy số hạng (y − μ)∑−−1 (y μ) trong số mũ của hàm mật độ của phân phối chuẩn nhiều chiều là bình phương khoảng cách suy rộng từ y đến μ hoặc khoảng cách Manhalanobis ' Δ=21()()y −μ ∑− y −μ (1.63) Khoảng cách Δ đồng biến với số lượng của p biến. 1 Hệ số của hàm mũ ở (1.62) , Σ 2 xuất hiện như sự tương tự của σ 2 trong (1.61). 1. 6. 3 Tổng quát hóa phương sai tổng thể : Ta biết rằng S như là một tổng quát hóa phương sai mẫu. Tương tự Σ là tổng quát hóa phương sai tổng thể. Nếu σ 2 là bé trong phân phối chuẩn một biến, thì giá trị y tập trung gần trung bình . Tương tự giá trị nhỏ của Σ trong trường hợp nhiều chiều chứng tỏ rằng y,s tập trung gần μ trong không gian p chiều hoặc là các đa cộng tuyến tính giữa các biến. ___
35. 29 Chương 1 Số hạng đa cộng tuyến tính chỉ ra tương quan cao độ giữa các biến. Trong trường hợp có lợi số bậc ít hơn p. (a) ∑ nhỏ (b) ∑ lớn Hình 1.2 : Mật độ của phân phối chuẩn hai chiều Trong sự hiện diện của đa cộng tuyến tính một hoặc nhiều hơn giá trị riêng của ma trận Σ sẽ gần 0 và Σ sẽ nhỏ như vậy Σ là kết quả của các giá trị riêng. Hình 4.2 cho thấy rằng, trong trường hợp hai chiều, một phép so sánh của một phân bố với Σ nhỏ và một phân bố với Σ lớn hơn. Một cách khác để biểu diễn mật độ tập trung các điểm trong phân phối chuẩn hai chiều là biểu đồ đường viền. Hình 4.3 biểu diễn biểu đồ đường viền cho phân phối hai chiều ở hình 4.2 . Mỗi một ellipse bao hàm một tỉ lệ khác nhau giữa các vector y được quan sát Mặt cắt của mật độ chuẩn hai biến ở một vòng của ellipse là nơi bao gồm các tỉ lệ các quan sát. (a) ∑ nhỏ (b) ∑ lớn Hình 1.3: Biểu đồ đường viền cho các phân phối trong hình 1.2 ___
36. 30 Chương 1 Ở cả Hình 1.2 và 1.3, Σ nhỏ xuất hiện ở hình bên trái và Σ lớn hơn xuất hiện ở hình bên phải. Trong Hình 1.3a có sự tương quan chặt hơn giữa y1 và y2. Trong Hình 1.3b phương sai lớn hơn. Trong thực tế cho một p biến bất kì, Nếu giảm sự tương quan giữa các biến hoặc là tăng phương sai thì dẫn tới một Σ lớn hơn. Hình 1.4 : Đồ thị hàm mật độ phân phối chuẩn hai chiều 1. 6. 4 Tính chất phân phối chuẩn của biến ngẫu nhiên nhiều chiều : Dưới đây là một số tính chất của vector ngẫu nhiên y (p x 1) có phân phối chuẩn N p ()μ,Σ : 1 – Tính chuẩn tắc của kết hợp tuyến tính các biến trong y : (a). Nếu a là một vector hệ số ( hằng số ),thì hàm tuyến tính ' ay=+ay11 ay 2 2 ++ app y là chuẩn đơn biến : ' '' Nếu y là N p ()μ,Σ thì ay là N p (a μ,a∑ a) ___
37. 31 Chương 1 Trung bình và phương sai của ay' được cho bởi công thức (1.53) và (1.54). Như vậy thì E(ay'') = aμ và cov( Ay) = AA∑ ' cho bất kì một vector ngẫu nhiên y. Bây giờ chúng ta có thêm thuộc tính ay' có phân phối chuẩn nếu y có phân phối N p ()μ,Σ (b). Nếu A là ma trận hệ số (q x p) có hạng là q. Ở đây qp≤ , q dòng kết hợp tuyến tính trong Ay có phân phối chuẩn nhiều chiều : ' Nếu y có phân phối N p (μ,Σ) thì Ay có phân phối N p ()Aμ,A∑ A Ở đây một lần nữa nhắc lại E (Ay) = Aμ và cov( Ay) =∑AA' nhưng bây giờ có thêm các tính năng của q biến trong Ay với phân phối chuẩn nhiều chiều. 2 – Biến đã được chuẩn hóa : Chuẩn hóa vector z có thể đạt được bằng hai cách sau : −1 zT= ()( y− μ ) (1.64) ở đây ∑=TT' là chỉ số được dùng bởi phương pháp Cholesky hoặc : −1 zy= (∑−12) ()μ (1.65) ở đây ∑12 là căn bậc hai của ma trận đối xứng của ∑ được xác định bởi ACDC12= 12 ' . Như vậy mà ∑ =∑12 ∑ 12. Trong cả hai công thức (1.64) và (1.65) vector của biến ngẫu nhiên được chuẩn hóa có tất cả trung bình bằng 0 và phương sai bằng 1 và tất cả các hệ số tương quan bằng 0. Trong cả hai trường hợp từ (1b) ta thấy z có phân phối chuẩn nhiều chiều : Vậy nếu y là N p (μ,Σ) thì z là N p (0I, ) 3 – Phân phối chi ( khi )- bình phương: ___
38. 32 Chương 1 Một biến ngẫu nhiên chi-bình phương với p bậc tự do được xác định như là tổng bình phương p biến ngẫu nhiên chuẩn độc lập. Vì vậy, nếu z là vector đã p được chuẩn hóa xác định như trong (1.64) và (1.65) thì z2 = zz' có phân ∑ j=1 j 2 2 2 phối χ với p bậc tự do, kí hiệu là χ p hoặc χ ( p). Từ một trong hai công ' thức (1.64) và (1.65) ta có được zz' = ()( y−∑μ −1 y −μ). Do đó, ' −1 2 Nếu y có phân phối N p ()μ,Σ thì ()y − μ ∑−(y μ) có phân phối χ p . (1.66) 4 – Tính chuẩn tắc của phân phối biên duyên : (a). Bất kì một nhóm con nào của y đều có phân phối chuẩn nhiều chiều, với vector trung bình tương ứng với vector con của μ và ma trận hiệp phương sai tương ứng với ma trận con của ∑ . Để minh họa điều này, cho vector ' y112= ( yy, , , yr ) là vector con này chứa r phần tử đầu của y và ' y21= ( yyr+ , , p) bao gồm p – r phần tử còn lại. Như vậy y,μ và ∑ được phân chia như sau : ⎛⎞y11 ⎛⎞μ ⎛∑∑ 1112⎞ y ==∑=⎜⎟,,μ ⎜⎟ ⎜ ⎟ ⎝⎠y22 ⎝⎠μ ⎝∑∑ 2122⎠ Ở đây y1 và μ1 là ( r x 1) và ∑11 là ( rxr). Như vậy y1 là có phân bố chuẩn nhiều chiều. Vậy nếu y là N p ()μ,Σ thì y1 là Nr (μ111,Σ ) Cũng cần nhắc lại là ta có E(y11) = μ và cov(y1) = ∑11cố định cho bất kì một vector ngẫu nhiên nào được phân chia theo cách này. Nếu y là ngẫu nhiên p – biến phân bố chuẩn thì y1 là r biến phân bố chuẩn. ___
39. 33 Chương 1 (b). Một trường hợp đặc biệt của các kết quả trước, với mỗi y j trong y có phân phối chuẩn đơn : Nếu y là N p (μ,Σ) thì y j là Nj(μσjjj,) ,= 1,2, , p Cách đảo vấn đề này không thực sự đúng. Nếu mật độ của mỗi một y j trong y là phân bố chuẩn thì không nhất thiết y phải là phân bố chuẩn nhiều chiều theo như ở trên. Trong ba tính chất tiếp theo, ta cho một vector được quan sát và phân chia thành hai vector phụ được kí hiệu bởi y và x , ở đây y là (p x 1)và x là (q x 1). Hoặc, ngoài ra, cho phép x là đại diện cho một số bổ sung để cùng xét với các biến trong y. Từ kết quả trước ta có : ⎛⎞yy⎛⎞μ y ⎛⎞ ⎛⎞∑∑yy yx E ==⎜⎟,cov ⎜⎟ ⎜⎟xx ⎜⎟ ⎜⎟∑∑ ⎝⎠⎝⎠μx ⎝⎠ ⎝⎠xyxx Trong tính chất 5, 6, 7, chúng ta giả thiết rằng : ⎛⎞y ⎡⎛⎞μ y ⎛⎞∑∑yy yx ⎤ là N ⎢⎜⎟,⎜⎟⎥ ⎜⎟x pq+ ⎜⎟∑∑ ⎝⎠ ⎣⎢⎝⎠μx ⎝⎠xy xx ⎦⎥ 5 – Tính độc lập : (a). Nếu Vector con y và x là độc lập thì ∑ yx = 0 (b). Hai biến riêng lẻ y j và yk độc lập nếu σ jk = 0 . Chú ý rằng điều này không thực sự đúng cho các biến ngẫu nhiên không có phân bố chuẩn. 6 – Phân bố có điều kiện : Nếu y và x không độc lập, tức là ∑ yx ≠ 0 phân phối có điều kiện của y đối với x, f (y x) là phân bố chuẩn nhiều chiều với : −1 E(yx) =+∑∑−μ yyxxx(x μx) (1.67) −1 cov(yx) = ∑−∑∑∑yy yx xx xy (1.68) ___
40. 34 Chương 1 Chú ý rằng E(y x)là một vector của các hàm tuyến tính của x, trong khi cov(y x) là một ma trận không phụ thuộc vào x. Xu hướng tuyến tính trong công thức (1.67) cố định cho bất kì các cặp biến. Như vậy ta có thể dùng công thức trên để kiểm tra tính chuẩn tắc, kiểm tra đồ thị phân tán hai chiều của tất cả các cặp biến và cũng để xem xét bất kì một xu hướng phi tuyến nào. Trong công thức (1.67) ta có được sự điều chỉnh trong việc dùng phương sai và tương quan để đo sự liên hệ giữa hai biến ngẫu nhiên có phân bố chuẩn. Như đã trình bày ở phần trước hiệp phương sai và tương quan chỉ tốt cho việc đo mối liên hệ của các biến có xu hướng tuyến tính và thực tế sẽ không phù hợp cho biến ngẫu −1 nhiên phi chuẩn với mối liên hệ phi tuyến. Ma trận ∑ yx∑ xx trong công thức (1.67) được gọi là ma trận của các hệ số hồi quy (matrix of regression coefficients) bởi vì nó liên hệ từ E(y x) đến x. 7 – Phân phối của tổng của hai vector phụ : Nếu y và x có cũng cỡ (p x 1) và độc lập thì : yx+ là N pd(μμ+ d,∑+∑ yyxx) (1.69) y − x là N pd(μμ− d,∑+∑ yyxx) (1.70) Trong phần còn lại của mục này, ta sẽ minh họa trường hợp đặc biệt của tính chất 6 của phân bố chuẩn hai biến. Cho ⎛⎞y u = ⎜⎟ ⎝⎠x Có phân phối chuẩn hai biến với : ⎛⎞2 ⎛⎞μ y σσyyx E ()u = ⎜⎟, cov()u =∑=⎜⎟ μ ⎜⎟2 ⎝⎠x ⎝⎠σ yxσ x Từ định nghĩa f ( yx) = g( yx, ) h( x) ở đây hx( ) là hàm mật độ của x và gyx(, ) là hàm mật độ kết hợp của y và x. Do đó : ___
41. 35 Chương 1 gyx( , ) = f( yxhx) ( ) Và bởi vì bên phải là một tích số. Chúng ta cố gắng tìm kiếm một hàm của y và x, hàm này thì độc lập với x và mật độ của nó có chức năng như là f ( yx). Từ hàm tuyến tính của y và x là chuẩn tắc bởi tính chất (1a) , ta có thể xem y− β x như thế. Ta sẽ cố gắng tìm giá trị của β sao cho y− β x và x là độc lập với nhau. Khi mà zy= − β x và x là chuẩn tắc và độc lập thì cov()xz ,= 0 Để tìm cov(x , z) ta biểu diễn x và z như là hàm số của u, ⎛⎞y ' x ==()0, 1⎜⎟ () 0, 1 uau=, ⎝⎠x zy=−ββ x =(1, −)ubu =' Bây giờ : cov( xz ,) == cov(au'' , bu) a '∑ b [từ công thức (1.55)] 2 ⎛⎞σσyyx⎛⎞11 ⎛⎞ =()0, 1 ⎜⎟==σ ,σσ22−βσ ⎜⎟2 ⎜⎟−−ββ()xyx ⎜⎟ yx x ⎝⎠σσyx x ⎝⎠ ⎝⎠ 2 Khi cov( xz ,) = 0 ta thu được β =σσyx x và zy= − β xtrở thành : σ yx zy=− 2 x σ x 2 Bởi vì tính chất (1a) , mật độ của y− (σσyx x ) x là chuẩn tắc với : ⎛⎞σσyx yx Ey⎜⎟−=−22 x μ yxμ ⎝⎠σσxx ⎛⎞σ yx '' var⎜⎟yx−=2 var()bu = b∑ b ⎝⎠σ x ___
42. 36 Chương 1 ⎛⎞1 ⎛⎞σσ2 ⎛⎞σ yx yyx⎜⎟2 σ yx =−⎜⎟1, ⎜⎟σ yx =−σ y σ 22⎜⎟2 ⎜⎟− σ ⎝⎠x ⎝⎠σσyx x ⎜⎟2 x ⎝⎠σ x Đối với một giá trị của x, chúng ta có thể biểu diễn y như sau yxyx=+−β ()β ở đây β x là đại lượng cố định tương ứng với giá trị của x và y− β x là độ phân tán ngẫu nhiên. Nên f ( yx) là chuẩn tắc, với : EyxxEyxx( ) =+β ( −ββμβμμβμ) =+−yxy =+( x −x) 2 σ yx var()yx =−σ y 2 σ x 1. 6. 5 Ước lượng trong phân bố chuẩn nhiều chiều : 1. 6. 5. 1 Ước lượng hợp lý tối đa (MLE) : Khi một phân phối là phân bố chuẩn nhiều chiều được giả định để cố định cho một tổng thể, ước lượng các tham số thường được tìm bởi phương pháp hợp lý cực đại. Kỷ thuật này dựa trên ý tưởng đơn giản, các vector được quan sát yy12, , , yn được xem như là đã biết trước và giá trị của μ và ∑ được tìm như một tối đa hóa mật độ đồng thời của y được gọi là hàm hợp lý. Cho một phân bố chuẩn nhiều chiều thì ước lượng hợp lý tối đa của μ và ∑ là : μ = y (1.71) n 11' n −1 ∑=∑()yyii −()yy − =WS = (1.72) nni=1 n ' ở đây W =−(yyii)(y −y) và S là ma trận hiệp phương sai mẫu được định nghĩa bởi công thức (1.7) Khi ∑ có số chia là n thay vì n – 1, nó là một ước lượng chệch và ta thường dùng S thay thế ∑ ___
43. 37 Chương 1 Bây giờ ta cho một vector y được hiệu chỉnh và xem như là một ước lượng hợp lý tối đa của μ Vì yi từ cấu tạo của mẫu ngẫu nhiên, chúng độc lập, và mật độ đồng thời là tích của các mật độ của y . Hàm hợp lí sẽ là : nn 1 ' −1 −−()()y μ ∑y −μ 2 Lf()()yy12, , , yni ,μ ,∑=∏∏y ,,μ ∑= p 12 e ii==11()2π ∑ n −−∑−y μ ' −1 y μ 2 1 ∑i=1()() = np e (1.73) ()2π ∑ n 2 Để thấy rằng μ = y tối ưu là hàm hợp lí. Chúng ta bắt đầu bởi việc cộng trừ y trong công thức mũ ở (1.73) : n , 1 −1 −∑()yyyii −+−μ ∑()yyy −+−μ 2 i=1 Khi điều này được khuyết đại trong các số hạng của yi − y và y − μ hai trong bốn kết quả của các số hạng bị triệt tiêu bởi vì y− y và (4.13) trở thành : ∑i ( i ) n '' −−∑−−−∑−yy−−11 yy22n yμ y μ 1 ∑i=1()ii() ()() Le= np (1.74) ()2π ∑ n 2 ' Vì ∑−1 là xác định dương, ta có n(y − μ) ∑−−1 (y μ) 20 ≤ và ' −−∑−n()y μ −1()y μ 2 0<e ≤1 tối ưu hóa xảy ra khi số mũ là 0, lúc này L được tối ưu hóa khi μ = y Ước lượng hợp lý tối đa của ma trận tương quan tổng thể Pρ [ xem công thức (1.24)] là : PRρ = ___
44. 38 Chương 1 Mối quan hệ giữa các biến chuẩn nhiều chiều là tuyến tính, điều này đã được đề cập ở phần trước. Như vậy S và R chỉ phục vụ tốt cho phân bố chuẩn nhiều chiều. Bởi vì chúng chỉ đo được trong mối quan hệ tuyến tính [ xem mục 1.6.4]. Những ước lượng này không hữu ích cho các phân bố phi chuẩn. 1. 6. 5. 2 Phân phối của y và S : n Xây dựng phân phối của y= yn ta có thể chia thành hai trường hợp : ∑i=1 i 1- Khi y dựa trên cơ sỡ mẫu ngẫu nhiên yy12, , , yn từ phân phối chuẩn nhiều chiều N p (μ,Σ), thì y có phân phối Nnp (μ,Σ ) . 2- Khi y dựa trên cơ sỡ một mẫu ngẫu nhiên yy12, , , yn từ phân phối phi chuẩn nhiều chiều tổng thể với vector trung bình μ và ma trận hiệp phương sai ∑ , với độ rộng n, y được xấp xỉ Np (μ,Σ n) . Rõ hơn nữa, kết quả này được biết như là định lí giới hạn trung tâm nhiều chiều : “Nếu y là vector trung bình của một mẫu ngẫu nhiên yy12, , , yn từ một tổng thể với vector trung bình μ và ma trận hiệp phương sai ∑ , thì khi n →∞, phân phối của n (y − μ) xấp xỉ N p (0,∑) ⎛⎞p Có p biến trong S và ⎜⎟ hiệp phương sai, cho tổng cộng có : ⎝⎠2 ⎛⎞p pp( −11) pp( + ) pp+=+⎜⎟ = ⎝⎠2 22 đầu vào khác biệt nhau. Phân phối đồng thời của pp( +12) các biến khác nhau ' này trong WS= n −=1 yy −y −y là phân phối Wishart, kí hiệu là ()∑i ( ii)( ) Wnp ( −∑1, ) ở đây n −1 là số bậc tự do. ___
45. 39 Chương 1 Phân phối Wishart có số chiều tương tự như phân phối χ 2 và nó được sử dụng một cách tương tự. Trong tính chất 3 mục 1.6.4 , phân phối χ 2 của một biến ngẫu nhiên được định nghĩa là tổng bình phương của các biến ngẫu nhiên chuẩn độc lập : nn( y − μ )2 2 i là phân phối 2 ∑∑zi = 2 χ (n) ii==11σ 2 Nếu y được thay thế cho thì yy−=−σ 22 n1 sσ 2 có phân μ ∑i ( i ) () phối χ 2 (n −1) . Tương tự công thức xác định của biến ngẫu nhiên có phân bố Wishart : n ' ∑()()yii− μ y − μ là Wnp ( ,∑) i=1 ở đây yy12, , , yn là độc lập và có phân phối như N p (μ,Σ) Khi y được thay thế cho μ phân phối phần còn lại Wishart với ít hơn một bậc tự do : n ' ()n −=1 S ∑()yyii −()y −y là Wnp ( −1, ∑) i=1 Cuối cùng, lưu ý là khi lấy mẫu từ phân phối chuẩn nhiều chiều, y và S là độc lập. ___
46. 40 Chương 2 CHƯƠNG 2 : ƯỚC LƯỢNG KHÔNG CHỆCH TUYẾN TÍNH Lớp tất cả các đại lượng không chệch tuyến tính của hàm gF( ) nào đấy là họ tất cả các ước lượng không chệch các hàm tuyến tính của đại lượng ngẫu nhiên được quan sát. Trong chương này ta sẽ nghiên cứu hai vấn đề : 1) Hàm gF( ) nào đối với nó có ước lượng tuyến tính không chệch 2) Tìm trong lớp tất cả các ước lượng tuyến tính không chệch của gF( ) ước lượng có phương sai bé đều nhất. 2. 1 Mô hình thống kê tuyến tính tổng quát hạng đầy đủ : Mô hình thống kê tuyến tính tổng quát với hạng đầy đủ bao gồm vector ngẫu nhiên n chiều quan sát được Y được biểu diễn dưới dạng : YX= βε+ (2.1) Trong đó X là ma trận cấp n x p đã biết, vector β là vector cột p chiều và là vector tham số chưa biết, còn ε là vector sai số ngẫu nhiên n chiều với T 2 EEε ==0; εε σ In (2.2) 2 2 Với 0 <<σ ∞, σ nói chung là chưa biết, In là ma trận đơn vị cấp n. Mô hình được gọi là mô hình tuyến tính hạng đầy đủ nếu hạng rX( ) = p. Mô hình tuyến tính là trường hợp đặc biệt với mô hình tuyến tính cùng dạng nhưng với : EεεT = σ 2S (2.3) với S là ma trận cấp n đã biết, có hạng bằng n. Tuy nhiên ta có thể đưa mô hình (2.1), (2.3) về (2.1),(2.2). Thật vậy, vì S là ma trận hiệp phương sai xác định dương nên có tồn tại ma trận không suy biến D cấp n x n sao cho VDD= T . ___
47. 41 Chương 2 Nếu đặt YD* = −1Y ta có YX = βε+ * trong đó XDX, ==−−11ε D ε , do TT * 21−− 1 2 đó Eε = 0 và Eεε( ) =σ DSD( ) =σ In . Như vậy mô hình tuyến tính đối với Y* thõa mãn (2.2). Do đó giả thiết (2.2) không làm giảm tính tổng quát của mô hình. Nếu ma trận S suy biến thì không thể áp dụng được phương pháp trên và cần phải xét một lí thuyết tổng quát hơn. Chú ý rằng p vector cột của X là vector n chiều nằm trong một đa tạp tuyến tính (không gian con) của không gian n chiều. Vì vậy với bất kì vector p – chiều β , vector η = Xβ có chiều là n và nằm trong đa tạp tuyến tính p chiều cảm sinh bởi p cột của X. Ký hiệu đa tạp đó là . Giả sử ()12 ( ) (p ) là cơ sỡ trực chuẩn của Dp {ξ ,ξ ,ξ } p D . Khi đó vector η = Xβ có thể biểu diễn dưới dạng η = c ξ()i . Khoảng p ∑i=1 i cách giữa vector η∈ Dp và Y đạt cực tiểu khi η là hình chiếu trực giao của Y lên Dp . Giả sử β là vector sao cho : η = Xβ β là ước lượng bình phương bé nhất của β . Để tìm β ta để ý rằng Xβ là hình chiếu trực giao của Y lên Dp , do đó T (ξ()i ) (YX−==β ) 01,ip , , . Vì vector cột bất kỳ của X là tổ hợp tuyến tính của ξ(12) ,ξ( ) ,ξ( p) nên β thỏa mãn phương trình : XYXT ( − β ) = 0 Hoặc phương trình chuẩn Gauss – Markov : XXTβ = XYT (2.4) ___
48. 42 Chương 2 Vì XXT là ma trận không suy biến nên −1 β = (XXTT) XY (2.5) Rõ ràng là ước lượng bình phương bé nhất β đó là duy nhất. Ta sẽ chứng minh rằng ước lượng không chệch tuyến tính tốt nhất của hàm tuyến tính λT β là λβT khi mô hình là mô hình hạng đầy đủ. 2. 2 Ước lượng không chệch cho mô hình thống kê tuyến tính tổng quát hạng đầy đủ : 2. 2. 1 Định lí 2.1 (Gauss – Markov) : Giả sử YX= β+ε là mô hình tuyến tính hạng đầy đủ, λβT là hàm tuyến tính của β . Khi đó ước lượng λβT là ước lượng không chệch tốt nhất của λβT , trong −1 đó β được xác định bởi β = (XXTT) XY. Chứng minh : Trước tiên ta chứng minh rằng λβT là ước lượng không chệch của λβT . Thật vậy , −1 -1 EλβTT = λ(XXTTTTT) XEY=λ (XX) XXβ=λβT Giả sử AY là một ước lượng không chệch của bất kì của β , tron đó A là ma trận cấp p x n nào đấy. Để cho AY là ước lượng không chệch ta phải có : EAY= AE Y== AXββ tức là AX= I p . Ta sẽ chứng minh rằng : DDλβTT λAY ββ( ) ≤ ( ) với bất kì λ và bất kì β trong đó Dβ là kí hiệu của toán tử hiệp phương sai ứng với β , hoặc tương đương ___
49. 43 Chương 2 λβλλTDD T AY λ ββ( ) ≤ () Tức là ta phải chứng minh được rằng là ma trận xác định không DDβ()AY − β(β) âm. Đặt Q=A - V-1 X T với VXX= T , khi đó : 21− DDDβββ()AY=++ () QY (β) 2σ QXV −11− Vì AX= I p nên (QX) V= ( AX− Ip ) V= 0 , và vì vậy DDDβββ()AY −=(β) ()QY là ma trận xác định không âm. Dễ dàng thấy rằng T- 2 T 1 . Dβ (λβ) = σ λV λ Bây giờ ta hãy xác định ước lượng không chệch của σ 2 2. 2. 2 Bổ đề 2.1 : Ước lượng không chệch của σ 2 trong mô hình tuyến tính có hạng đầy đủ có dạng : 2 1 −1 σ =−YXXXXTT1 ()T Y. (2.6) np− ( ) Chứng minh : Chú ý rằng ma trận IXVX− -1 T là ma trận lũy đẳng, tức là : 2 (1−=−XV-T X) I XS-1 XT . Hơn nữa XI( − XVX-1 T ) X= 0, do đó ___
50. 44 Chương 2 EtYIXVXYT-−=1TrD YIXVXT- −1T ββ( ( ) ) ( ( ( ))) =−σ 22tr()IXVX-1 T =−()n p σ trong đó tr(.) là kí hiệu vết của ma trận vuông ( tức là tổng các phần tử trên đường chéo chính ) và ta cũng cần chú ý đến tính chất của tr(.) là tr( AB) = tr( BA) . Từ 2 2 đó suy ra rằng nếu σ cho bởi (3.6) thì Eσ = σ 2 . 2. 2. 3 Hệ quả 2.1 : Xét mô hình tuyến tính tổng quát (2.1), (2.3). Khi đó ước lượng không chệch bình phương bé nhất của β là : -1 β = (XS-1 X T) X T S -1 Y , (2.7) Còn ước lượng không chệch cho σ 2 là : 2 1 σ =−YST-1-1T-1T-1 SXXSXXSY() . (2.8) np− ( ) Thật vậy, nếu áp dụng (2.3) và bổ đề 1.1 cho mô hình (2.1), (2.2) trong đó thay Y bởi DY-1 và X bởi DX-1 ta sẽ nhận được (2.7), (2.8). T Ví dụ 2.1 : Giả sử Y là vector quan sát n chiều có EY==θ11 ,( 1, ,1) , −∞ 0. Hãy tìm ước lượng không chệch tuyến tính với phương sai bé nhất của θ . Ta có mô hình Y1=θ + ε trong đó EεεT = σ 2S . Do đó áp dụng hệ quả trên ta được : 1SYT -1 θ = , (2.9) 1S1T -1 ___
51. 45 Chương 2 2 1 σ =−YST-1-1T-1T-1 S11S11SY() . np− ( ) 22 Đặc biệt nếu S= diag (σ1 , ,σ n), trong đó diag (.) là kí hiệu của ma trận đường chéo, ta có : n Y σ 2 ∑i=1 ii θ = n 1 σ 2 ∑i=1 i 2 ⎡⎤nn n 1 22−−⎛⎞22−− 2 σσσ=−⎢⎥∑∑YYYiiii⎜⎟jσj ∑σi np− ⎣⎦⎢⎥ii==11⎝⎠, j i = 1 còn n −1 ⎛⎞−2 Dθ = ⎜⎟∑σ i ⎝⎠i=1 Khi σ 2 đã biết (cho σ 2 =1) thì ước lượng không chệch tuyến tính với phương sai bé nhất của θ cho bởi (3.9) trùng với ước lượng không chệch vớ phương sai bé nhất khi Y có phân bố chuẩn N (θ1,S) . Tuy nhiên có trường hợp ước lượng tuyến tính không chệch bằng phương pháp bình phương bé nhất rất là kém hiệu quả , chẳng hạn XX1, , n lấy mẫu ngẫu nhiên từ phân bố đều trên (0,θ ) thì có ước lượng không chệch với phương sai bé nhất là : n +1 θ = X n ()n Còn ước lượng tuyến tính bình phương bé nhất, như ta dễ dàng thấy là : X θ = 1 2 θ1 là ước lượng có phương sai lớn hơn đáng kể so với phương sai của θ khi n lớn. ___
52. 46 Chương 2 2. 3 Mô hình thống kê tuyến tính với hạng không đầy đủ Xét mô hình tuyến tính tương tự như ở (2.1) và (2.2) dạng : YX= β+ε , (2.10) với : EεεT = σ 2I , (2.11) còn rp(X) < Mô hình như vậy gọi là mô hình tuyến tính hạng không đầy đủ. Đối với mô hình tuyến tính hạng không đầy đủ không phải hàm tuyến tính dạng λβT nào cũng là hàm ước lượng được (tức là có ước lượng tuyến tính không chệch). 2. 4 Ước lượng không chệch cho mô hình thống kê tuyến tính hạng không đầy đủ : 2. 4. 1 Định lí 2.2 : Xét mô hình (3.10), (3.11) với r(X) < p. Hàm tuyến tính λβT ước lượng được khi và chỉ khi rr(XX:TT) = ( λ) , (2.12) (X:T λ) là ma trận nhận được bằng cách thêm vào ma trận XT cột số T λ = (λ1, ,λp ) Chứng minh : T TT T Giả sử λβcó ước lượng tuyến tính không chệch γ Y;γ = (γ1, ,γ p ) . Khi đó EγTTYX= γ T βλβ=∀; β Do đó : ___
53. 47 Chương 2 λT = γTX Vì vậy mà λT là tổ hợp tuyến tính của các vector cột của X . Từ đó ta có thể suy ra (2.12). Bây giờ ta giả sử ngược lại rằng (3.12) được thỏa mãn khi đó tồn tại vector T T T T T γ = (γ1, ,γ n ) sao cho λ = γ X . Dễ thấy γ Y là ước lượng không chệch của λβT . 2. 4. 2 Bổ đề 2.2 : Ta hãy xét mô hình (2.10), (2.11) với rr= (X) ≤ p. Giả sử λβT ước lượng được. Ta ký hiệu đa tạp tuyến tính căng trên các vector cột của X bởi Dr ( đa tạp T * * đó có chiều là r ). Khi đó tồn tại duy nhất một vector L ∈ Dr sao cho (LY) là ước lượng không chệch của λβT . Hơn nữa nếu LYT là ước lượng không chệch của T * λβ thì L là hình chiếu của vector L trên Dr , tức là * LPrL= ojDr ( ) Chứng minh : T Vì λβ là ước lượng được nên tồn tại vector L = (ll1, , n ) sao cho TT * * E(LY) = λβ. Giả sử L=L +K , L=ProjDr ( L) , còn K là vector trực giao với L* . Do đó ta có KXT = 0 và ta có : TTTT λβT*===EE((L+K) Y) ( L+K *) Xβ (LX *) β ((LY *) ), T Như vậy (LY* ) là ước lượng không chệch của λβT . Bây giờ ta sẽ chứng * minh rằng L là một vector duy nhất thuộc Dr có tính chất đó : TT * Giả sử A∈ Dr sao cho E(AY) = λβ khi đó (A-L) Xβ = 0 với mọi * Xβ∈ Dr . Do đó mà AL= . ___
54. 48 Chương 2 2. 4. 3 Định lí 2.3 : ( Gauss – Markov ) Xét mô hình tuyến tính (2.10), (2.11) với rr= (X) ≤ p. Hàm ước lượng được bất kỳ λβT có ước lượng tuyến tính không chệch tốt nhất λβT , trong đó β là ước lượng không chệch bình phương bé nhất của β , tức là β là nghiệm bất kỳ của phương trình chuẩn XXTTβ=X Y Chứng minh : Cho hàm λβT ước lượng được. Giả sử LYT là ước lượng tuyến tính không chệch của λβT , theo bổ đề 1.2 sẽ tồn tại ước lượng tuyến tính không chệch duy T * T * T nhất (LY) của λβ sao cho LojD= Prr ( L) . Phương sai của ước lượng LY là : D(LYTT) = σ 2 LL. T Như vậy (LY* ) là ước lượng không chệch tuyến tính với phương sai bé nhất. T Bây giờ ta sẽ chứng minh rằng (LY*) = λβT* trong đó β* là nghiệm nào đấy của phương trình chuẩn. Giả sử Xβ* là hình chiếu trực giao của Y lên , như ta đã chứng minh ở mục trước β là nghiệm của phương trình chuẩn XXT*β = XY T . T TT Bởi vì L* D nên LYX* β 0, và do đó LYLX β . Hơn ∈ r ( ) ( − ) = ( ) = ( ) T T nữa vì (LY* ) là ước lượng không chệch nên (LX* ) = λT . Do đó T (LY*T) = λβ . ___
55. 49 Chương 2 2. 4. 4 Ước lượng bình phương bé nhất mở rộng Theo định lý Gauss – Markov 2.3 nếu λβT ước lượng được thì nghiệm bất kỳ của phương trình chuẩn XXTTβ = XY sẽ cho ta ước lượng tuyến tính không chệch với phương sai bé nhất λβT . Bây giờ ta hãy mô tả phương pháp để nhận được ước lượng như vậy. Nếu mô hình tuyến tính có hạng đầy đủ p thì tồn tại duy nhất nghiệm β của phương trình chuẩn, nghiệm đó cho ta ước lượng bình phương bé nhất. Khi hạng của ma trận XXT bằng rp< , nghiệm của hệ phương trình chuẩn XXTβ = XYT(3.4) không duy nhất. Tồn tại đa tạp p − r chiều các nghiệm của phương trình chuẩn. Một trong các nghiệm đó được gọi là ước lượng bình phương bé nhất mở rộng. Để nghiên cứu ước lượng bình phương bé nhất mở rộng ta sẽ sử dụng khái niệm ma trận nghịch đảo mở rộng sau đây: Cho ma trận S cấp n x m, ma trận S− cấp m x n được gọi là ma trận nghịch đảo mở rộng yếu ( hoặc g − nghịch đảo yếu ) của ma trận S nếu đối với bất kỳ vector n chiều đã cho Y , vector S−Y là nghiệm của hệ phương trình tương thích SX= Y. Nếu ma trận g − nghịch đảo S− của S tồn tại thì nó thỏa mãn đẳng thức : SS− S= S Hơn nữa nếu đặt HSS= − thì : (i) H là ma trận lũy đẳng, tức là HH2 = ; (ii) SH = S và hạng rr(SH) ==( ) tr(H) ; (iii) Nghiệm mở rộng của phương trình SX= Y có dạng : XSYHIZ =+−− ( ) trong đó Z là vector tùy ý ; ___
56. 50 Chương 2 (iv) Ma trận λT X như nhau đối với mọi X thỏa mãn phương trình SX = Y khi và chỉ khi λTTH = λ ; (v) Luôn luôn tồn tại ma trận S− của S và rS( − ) ≥ rS( ) , hơn nữa luôn tồn tại nghịch đảo S− với hạng lớn nhất rS( − ) = min( mn , ) không phụ thuộc vào rS( ). Ma trận S− với hạng lớn nhất có thể được xây dựng như sau : đối với S đã cho cấp m x n , mn< , ta hãy xây dựng ma trận vuông cấp n x n * ⎡ S ⎤ S = ⎢ ⎥ ⎣O ⎦ Trong đó O là ma trận các số không cấp (n-m) x n . Khi đó dựa vào các phép biến đổi cơ bản có thể đưa S* về ma trận Hermite chính tắc. Nói khác đi, tồn tại ma trận không suy biến C cấp n x n sao cho ⎡ ⎤ IKr ⏐ * ⎢ ⎥ CS= ⎢ . ⎥ ⎢ ⎥ ⎣OO⏐ ⎦ trong đó rr= (S) . Đặt HCS= * . Dễ thấy rằng H là ma trận lũy đẳng. Do đó CS CS= H Bởi vì C không suy biến nên : SCS = C−1 H Hơn nữa ⎡⎤S * * −1 * *⎢⎥ S H== S S CS CS = C CS == S⎢⎥ , (2.13) ⎣⎦⎢⎥O Giả sử S− là ma trận cấp n x m được lập bởi m cột đầu tiên của ma trận C, tức là - CSD= ⎣⎡ ⎦⎤ khi đó : ___
57. 51 Chương 2 ⎡⎤SSSS ⎡⎤⎡ -S⎤ ⎢ ⎥ ⎢⎥⎡⎤ - ⎢⎥ S CS =⎢⎥ ⎣⎦ S D ⎢⎥ =⎢ ⎥ , (2.14) ⎢ ⎥ ⎣⎦⎢⎥OO ⎣⎦⎢⎥⎣ O⎦ So sánh (2.13) và (2.14) ta được SS- S=S . Điều đó có nghĩa rằng ma trận S− được xác định như vậy là g − nghịch đảo yếu của ma trận S . Cuối cùng vì C không suy biến nên m cột của S− là độc lập tuyến tính ,do đó r((S− )) = m, không phụ thuộc vào hạng r (S) . Sử dụng ma trận g − nghịch đảo của XXT trong phương trình chuẩn ta nhận được ước lượng không chệch của σ 2 trong mô hình tuyến tính hạng không đầy đủ. Như ta đã biết ước lượng Xβ cực tiểu hóa khoảng cách giữa vector quan sát Y và Xβ , tức là : T T R2 YXβ YXβ min Y Xβ YXβ . 0 =−( ) ( −) =()() − − 2 R0 có thể viết dưới dạng khác 2 TT R0 =−YY YXβ −− =−YYTTTTT YXXX() XY= Y( I − XXX() TT X) Y Bởi vì β là nghiệm của phương trình chuẩn − XXTβ = XYT hoặc β = (XXTT) XY. 2 R2 Mệnh đề 1.1 : Ước lượng σ = 0 , trong đó rrX= ( ) là ước lượng không nr− chệch của σ 2 Chứng minh : Dựa vào tính chất của ma trận nghịch đảo mở rộng ta có : ___
58. 52 Chương 2 - XXXXTT( ) X T= XT . Từ đó ta có T - R2 =−YXβ IXXXX − TT YX−β 0 ()( ( ) )() Và do đó − ER22=−σ tr IXXXXT T 0 ( ( ) ) − =−σσ22(ntr()()XXTT XX) =−()nr Từ đó ta suy ra 2 22 EERnrσ = 0 ()−=σ . Việc tìm ma trận thiết kế X sao cho ma trận hiệp phương sai của ước lượng bình phương bé nhất β được cho bởi −1 Dβσ = 2 (XXT ) có Dβ nhỏ nhất là bài toán thiết kế thí nghiệm tối ưu. Bài toán được nhiều tác giả nghiên cứu nhưng nó vượt ra ngoài phạm vi nghiên cứu của đề tài này. Sau đây sẽ là phần trình bày của mô hình tuyến tính vào việc nghiên cứu các ước lượng là tổ hợp tuyến tính của các thống kê : 2. 4. 5 Tổ hợp tuyến tính tốt nhất của thống kê thứ tự Một tổ hợp tuyến tính của thống kê thứ tự XX()1 , , (n ) trong nhiều trường hợp là ước lượng không chệch tốt nhất, ví dụ, trong trường hợp ước lượng các tham số θ12,θ của phân bố đều R(θ12,θ ) trên (θ12,θ ) , −∞<θ12 <θ <∞, tổ hợp tuyến tính của X ()1 và X ()n là ước lượng không chệch tốt nhất. Ngược lại trong nhiều trường hợp tổ hợp tuyến tính của các thống kê thứ tự không phải là ước lượng ___
59. 53 Chương 2 không chệch tốt nhất. Chẳng hạn nếu XX1, , n là mẫu từ phân bố chuẩn N (μ,σ 2 ), khi đó ước lượng không chệch với phương sai bé nhất của σ sẽ là : 1 n ⎛⎞2 2 σ nn=−CXX⎜⎟∑() i ⎝⎠i=1 trong đó ⎛⎞n −1 Γ ⎜⎟2 C = ⎝⎠ n ⎛⎞n 2Γ⎜⎟ ⎝⎠2 ( lưu ý ta có thể thử lại rằng σ là ước lượng không chệch của σ nếu để ý rằng n 2 1 σ 2 XX− có phân bố χ 2 với n bậc tự do) bởi vì σ là hàm của thống ( )∑i=1( i ) n n kê đủ bé nhất XX, 2 . ( ∑i=1 i ) Tuy nhiên người ta cũng thường sử dụng ước lượng không chệch đơn giản hơn của σ là : XX()n − ()1 σ n = ,()n ≥ 2 dn trong đó dn là giá trị trung bình của độ rộng mẫu ngẫu nhiên YY1, , n từ phân bố chuẩn N 01, , tức là dEYY=−. Ước lượng đó được ứng dụng rộng rãi ( ) n ( ()n ()1 ) trong việc kiểm tra chất lượng sản phẩm. Bảng các giá trị của dn có thể được tìm thấy trong bất kì một tài liệu nào về kiểm tra chất lượng. Tuy nhiên cũng dễ nhận thấy là ước lượng σ kém hiệu quả hơn ( có phương sai lớn hơn ) so với σ . Độ hiệu quả của nó giảm nhanh khi ta tăng cỡ mẫu vì rằng σ không phải là hàm của thống n kê đủ bé nhất XX, 2 . Một số ước lượng tốt hơn là hàm của thống kê thứ tự. ( ∑i=1 i ) Mặc dù các ước lượng như vậy là kém hiệu quả hơn ước lượng σ n , nhưng chúng ___
60. 54 Chương 2 vẫn được sử dụng rộng rãi do tính đơn giản của chúng, đặc biệt là khi cỡ mẫu lớn. Việc nghiên cứu sự tiện lợi của các ước lượng tuyến tính đã được tiến hành bởi Mosteller. Các ước lượng như vậy rất ưu việt khi cắt bỏ các giá trị cực biên của các quan sát, đặc biệt hơn là trong phép thử độ tin cậy. Hiệu quả của các phương pháp ước lượng đó khi phân bố cơ sở là chuẩn, Gamma, đều, phân bố giới hạn của các giá trị cực biên đã được nghiên cứu bởi Sarhan và Greenberg. Để ước lượng các tham số tỉ lệ và dịch chuyển dựa trên tổ hợp tuyến tính của các thống kê thứ tự ta xây dựng mô hình tuyến tính như đã làm bởi Lloyd. Giả sử ζ0 là lớp các hàm phân bố phụ thuộc vào tham số dịch chuyển μ và tham số tỷ lệ σ . Hàm phân bố bất kỳ của ζ0 có dạng Fx(( − μ ) / σ ) , trong đó Fx( ) đã cho trước. Nếu X có phân bố Fx(( − μ) σ ) thì đại lượng chuẩn hóa có phân bố Fx( ). Giả sử XX()1 , , (n ) là thống kê thứ tự từ mẫu XX1, , n còn UX=−μσ, r =1 , ,n là thống kê thứ tự từ phân bố Fx. Đặt r ( ()r ) () αr = EUr()r =1, , n ; s ==covUU , rt ,1 , , n rt ( ()rt ()) T là các đại lượng đã biết. Đặt α ===(αα1, ,nr) , S[s t ;rt ,1 , , n] là ma trận hiệp T phương sai , S≥= 0,1 1, ,1 , YT = XX , , . Khi đó ta có mô hình n ( ) ( ()1 (n )) tuyến tính ⎡⎤μ Y1= ()n α ⎢⎥+ ε ⎣⎦σ với EEε ==0, (εεT ) σ 2S . Giả sử rằng S là ma trận xác định dương khi đó theo (3.7) thì ước lượng bình phương bé nhất của μ và σ là ___
61. 55 Chương 2 −1 ⎡⎤ TT−−11T −1 μ ⎡⎤1Snnn 1 1S α ⎡1Sn Y⎤ ⎢⎥= ⎢⎥⎢ ⎥ TT−−11T −1 ⎣⎦⎢⎥σ ⎣⎦⎢⎥1Sn ααα S ⎣⎢α SY⎦⎥ Nếu đặt −11TT− S1( nnαα− 1S) C = γ trong đó 2 −−11TT −1 γ =−(1Snn 1)(α S α) (1Snα) thì ta có thể viết TT μ =−α CY, σ =1CYn Theo định lý Gauss – Markov , μ và σ là tổ hợp tuyến tính tốt nhất của thống kê thứ tự. Phương sai của chúng có dạng : 2T-1 2T − 1 σα( S ασ) (1Snn 1) DDμ ==, σ () γγ() còn σ2-(1S) 1α cov ==−μ,σ n () γ Bây giờ ta sẽ xét một ví dụ đơn giản đối với phân phối mũ. Ví dụ 2.2 : Giả sử X1 ,, Xn là mẫu ngẫu nhiên từ phân bố mũ hai tham số : 0 nêú x < μ ⎛⎞x − μ ⎪⎧ F = x−μ ⎜⎟⎨ − σ σ ⎝⎠⎪⎩1− enêúx≥ μ trong đó −∞ <μ < ∞ và 0 < σ <∞. Giả sử XX()1 ,, (n ) là thống kê thứ tự từ phân bố : ___
62. 56 Chương 2 ⎧00nêú x 0, khi đó mật độ phân bố đồng thời của UU()1 ()()rnr−−1 !! Từ đó suy ra n ∞ −1 α ==−uf() u du ( n i +1 ) rr∫0 ∑ i=1 còn mật độ phân bố đồng thời của U()r và U()t với rt< là ___
63. 57 Chương 2 rt−11−−r n! −−uu−−+()nt1 v −−uv fuvrt, (), =−e()1 e e() e− e ()()()rnttr−−−−11!! ! với 0 <<<∞uv . Đặc biệt với tr=+1 ta có : r−1 n! −−uu−−()nrv fuvrr, +1 (), =−e()1 e e , (2.17) ()()rnr−−−11!! với 0 <<<∞uv . Nếu dùng phép biến đổi : YU= ()rr, ZU=− (+1 ) U ()r thì mật độ phân bố đồng thời của Y và Z là n! r−1 fyz(), =−−()1 e− y e−−+()nr1 y() nre−−()nrz, 0 <<<∞yz ()()rnr−−1 !! Như vậy U()r độc lập với UU()rr+1 − () và UU()r+1 − (r) có phân bố mũ với tham số là (nr− ) . Tương tự như vậy có thể chỉ ra rằng, từ (3.17) bằng phép biến đổi YU==−()rt, ZU () U ()r, ta có Y và Z là độc lập với nhau. Đặc biệt, từ đó ta có : EU=+− E U U U ()rrrr( (−−11 ) () ( )) hoặc 1 zz=+ , (2.18) rr−1 nr− +1 Vì α ==EU 1 , ( do U có mật độ mũ với tham số n ), do đó từ (2.18) một 1 ()1 n ()1 lần nữa ta lại nhận được (3.15). Hơn nữa, do U()r độc lập với UU()r+1 − (r) nên ta có 1 DU=+ DU DU −=+ U DU , (2.19) ()rrrrr++11( ()) ( () ()) ( ()) 2 ()nr− còn ___
64. 58 Chương 2 1 DU = ()1 n2 do đó r+1 1 DU()r+1 = ∑ 2 i=1 ()ni−+1 Hơn nữa vì U()r độc lập với UU()t− (r ) nên : covUU , = DU , (2.20) ( ()rt ()) ( () r) Từ (2.19), (2.20) ta suy ra (3.16). Sarhan và Greenberg đã chứng minh được rằng ma trận ⎡⎤ với Ss= ⎣⎦rt,,1≤≤ rtn srt cho bởi (2.16) có ma trận nghịch đảo là 22 ⎛⎞()nnn−+1102 −− () 00 ⎜⎟ 222 2 ⎜⎟−−()()()nnn121 − +− −− () n 2 00 ⎜⎟ 222 −1 ⎜⎟0232−−()nnn ()() − +− 00 S = ⎜⎟ ⎜⎟ ⎜⎟ ⎜⎟00 0 21− ⎜⎟ ⎝⎠00 0 −11 Dễ dàng thấy rằng TT−12 TT−1 1,nnSnO= ( −1 ) và α S = 1n Từ đó ta nhận được γ =−nn2 ( 1) và nX()11−− X nX X () μσ ==; nn−−11 Ma trận hiệp phương sai của các ước lượng đó bằng : 11 ⎡nn−−11()−−−11−− nn ()⎤ ∑=σ 2 ⎢ ⎥ ⎢ −1 ⎥ ⎣ ()n −1 ⎦ ___
65. 59 Chương 2 Chúng ta có thể dễ dàng kiểm tra lại rằng thống kê XX, là thống kê đủ ( ()1 ) bé nhất đối với họ mũ hai tham số. Do đó theo định lí Blackwell Rao μ và σ không những là ước lượng tuyến tính không chệch tốt nhất mà còn là ước lượng không chệch với phương sai bé nhất đề. Ước lượng cho tham số μ và σ bằng cách sử dụng định lí Blackwell – Rao tìm được rất nhanh và rất đơn giản , trong khi đó sử dụng lí thuyết bình phương bé nhất ta phải tính toán rất phức tạp. Mặt khác nếu thống kê U()r có các mômen không đơn giản (ví dụ Fx( ) là phân bố chuẩn N (01, )) thì phương pháp bình phương bé nhất rất bất tiện và không thể thực hiện bằng các công thức đại số. 2. 5 Ứng dụng trong mô hình ước lượng tham số hồi quy nhiều chiều : 2. 5. 1 Hàm hồi quy tổng thể (PRF) * Định nghĩa: Hàm hồi quy tổng thể là hàm hồi quy được xây dựng trên kết quả nghiên cứu khảo sát tổng thể, kí hiệu PRF. Hàm hồi qui tuyến tính PRF (k + 1) biến dạng xác định như sau: YXX t011t22tk=β +β +β + +β Xkt trong đó: - t thể hiện thời điểm trong chuỗi thời gian hoặc là trị quan sát trong một chuỗi dữ liệu. - Xt1; Xt2; ; Xtk và Yt là bộ giá trị quan sát thứ t (t = 1 đến n) của biến độc lập và biến phụ thuộc - β0 là hệ số tự do; βi (i = 1, , k) gọi là hệ số hồi quy riêng, đều là các tham số chưa biết và sẽ được ước lượng. - Hệ số hồi quy βi cho biết ảnh hưởng riêng của biến Xi lên giá trị trung bình (có điều kiện) của Y khi các biến độc lập còn lại được giữ cố định ___
66. 60 Chương 2 2. 5. 2 Dạng ma trận của hàm hồi quy 2. 5. 2. 1 Hàm hồi quy tổng thể PRF Giả sử ta có n bộ giá trị quan sát của (Y,X12 ,X , ,X k ) là (Y,Xt1t2tkt ,X , ,X );t= 1;n. Hàm hồi quy tổng thể PRF ứng với từng quan sát là: Y10111212k1k1=β +β X +β X + +β X + U Y=β +β X +β X + +β X + U 20121222k2k 2 Yn01n12n2knk=β +β X +β X + +β X + Un Đặt các ma trận tương ứng như sau: ⎛⎞1X X X ⎛β ⎞⎛YU⎞⎛⎞ ⎜⎜11 12 1k ⎟⎟0 ⎜1 ⎟⎜1 ⎟ ⎜⎜⎟⎟⎜ ⎟⎜⎟ ⎜⎜1X21 X 22 X2k ⎟⎟β1 ⎜YU2 ⎟⎜2 ⎟ X,=β⎜⎜⎟⎟=,Y=⎜ ⎟,U=⎜⎟ ⎜⎜⎜⎟ ⎟⎟⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜⎜⎟⎟⎜ ⎟⎜⎟ ⎜⎜1X X X⎟⎟β ⎜YU ⎟⎜⎟ ⎝⎠n1 n2 nk nk××⎝k ⎠k1 ⎝n ⎠n1 ×⎝n ⎠n1× Khi đó hàm hồi quy PRF ngẫu nhiên dưới dạng ma trận như sau: ⎛⎞Y1XXX ⎛ ⎞ ⎛⎞β ⎛ U ⎞ ⎜⎜11⎟⎟1121k0⎜⎜⎟1⎟ ⎜⎜⎟⎟⎜⎜⎟⎟ ⎜⎜Y1XXX22⎟⎟1222 k1⎜⎜β ⎟ U2⎟ ⎜⎜⎟⎟=×⎜⎜⎟+⎟ ⎜⎟⎜⎜⎟⎟ ⎜ ⎟ ⎜⎟⎜⎜⎟ ⎜ ⎟ ⎜⎜⎟⎟⎜⎜⎟⎟ ⎜⎜Y1XXX⎟⎟ ⎜⎜β ⎟ U⎟ ⎝⎠nnn1×× ⎝ 1n2nkk⎠nk ⎝⎠ k1× ⎝n ⎠ n1× ⇔=×β+YX U 2. 5. 2. 2 Hàm hồi quy mẫu SRF Ứng với n bộ giá trị quan sát của (Y,X12 ,X , ,X k ) là(Y,Xt1t2tkt ,X , ,X );t= 1;n, ta có n bộ ước lượng (Yt ,X1t ,X 2t , ,X kt );t= 1;n là ước lượng của (Y,Xt1t2tkt ,X , ,X );t= 1;n và(βββ012 , , , , β k ) là bộ ước lượng của (βββ012 , , , , β k ) ; (U12 ,U , ,U n ) là bộ phần dư. Hàm hồi quy mẫu SRF ứng với từng ước lượng là: ___
67. 61 Chương 2 Y1 =β01 +β X11 +β 2 X 21 + +βk Xk1 + U1 YXX X2 =β +β +β + +β +U2 0112 2 22 kk2 Yn =β01 +β X1n +β 2 X 2n + +βk Xkn + Un Đặt các ma trận tương ứng như sau: ⎛⎞ ⎛⎞ ⎛ ⎞ ⎛⎞β Y1 ⎟ U1 1X11 X 21 Xk1 ⎟ ⎜⎜0 ⎟⎟⎜ ⎟ ⎜ ⎟ ⎜⎜⎟⎟⎜ ⎟ ⎜1X X X⎟ ⎜⎜ ⎟⎟⎜ ⎟ ⎜ 12 22 k2 ⎟ ⎜⎜β1 ⎟⎟ ⎜Y2 ⎟ U2 X,=β⎜ ⎟ =⎜⎜⎜⎟⎟⎟,Y=⎜⎜⎟⎟ ,U=⎜ ⎟ ⎜⎟⎜ ⎟ ⎜⎜⎟⎟⎜ ⎟ ⎜ ⎟ ⎜⎜⎟⎟⎜ ⎟ ⎝⎠⎜1X X X⎟ ⎜⎜ ⎟⎟⎜ ⎟ 1n 2n kn nk× ⎜⎜β ⎟ ⎜ n ⎟ Un ⎟ ⎝⎠k k1× ⎝⎠Y n1× ⎝ ⎠n1× Khi đó hàm hồi quy PRF ngẫu nhiên dưới dạng ma trận như sau: ⎛⎞ ⎛⎞ ⎛ ⎞ Y1 ⎟ ⎛⎞β U1 ⎜ ⎟ 1X11 X 12 X1k ⎟ ⎜⎜0 ⎟⎟ ⎜ ⎟ ⎜ ⎟ ⎜⎜⎟⎟ ⎜ ⎟ ⎜1X X X⎟ ⎜⎜ ⎟⎟ ⎜Y2 ⎟ ⎜ 21 22 2k ⎟ ⎜⎜β1 ⎟⎟U2 ⎜⎜⎟⎟ =×⎜ ⎟ ⎜⎜⎜⎟⎟⎟+ ⎜ ⎟ ⎜ ⎟ ⎜⎜⎟ ⎟ ⎜⎜⎟⎟ ⎜ ⎟ ⎜ ⎟ ⎜⎜⎟⎟ ⎜ ⎟ ⎜⎝⎠1X X X⎟ ⎜⎜ ⎟⎟ ⎜ n ⎟ n1 n2 nk nk× ⎜⎜β ⎟⎟Un ⎝⎠Y n1× ⎝⎠k k1×× ⎝ ⎠ n1 ⇔=×β+YX U 2. 5. 3 Ước lượng bình phương bé nhất thông thường (OLS) 2. 5. 3. 1 Giới thiệu Ta có thể có rất nhiều mẫu khảo sát nên có thể xây dựng được rất nhiều hàm hồi quy mẫu khác nhau được xây dựng từ những mẫu khác nhau. Những hàm hồi quy mẫu đều là ước lượng xấp xỉ của hàm hồi quy tổng thể. Vấn đề đặt ra là có quy tắc hay phương pháp nào để tìm ra hàm hồi quy mẫu “sát” với hàm hồi quy tổng thể nhất có thể được. Nói cách khác là làm thế nào để xác định được giá trị các tham số T T β=( β012 , β , β , , β k ) gần với các giá trị thực β=( β012 , β , β , , β k ) . mặc dù trên thực tế chúng ta không bao giờ biết được các giá trị thực này. Mục tiêu tiếp theo sẽ là sử dụng các dữ liệu Xt1; Xt2; ; Xtk và Yt để tìm kiếm T ước lượng “tốt nhất” của các tham số của tổng thể là β=( β012 , β , β , , β k ) . Sau đây chúng ta sẽ dùng phương pháp ước lượng được dùng phổ biến nhất là phương pháp ___
68. 62 Chương 2 bình phương tối thiểu (OLS). Phương pháp này thường được gọi là bình phương tối thiểu thông thường, để phân biệt với những phương pháp bình phương tối thiểu khác. Giả sử ta có n bộ giá trị quan sát của (X1; X2; ; Xk) và Y, kí hiệu là (Xt1; Xt2; ; Xtk) và Yt, trong các các giá trị (Xt1; Xt2; ; Xtk) không đồng nhất. T T Nhắc lại ký hiệu ước lượng của β=( β012 , β , β , , β k ) là β=( β012 , β , β , , β k ) , phần dư ước lượng thì bằng UYY=−t t . Chúng ta phải tìm giá trị tính toán Yt sao cho Yt càng gần các giá trị quan sát thực tế Yt càng tốt, tức UYY=−t t càng n 2 nhỏ càng tốt. Để khảo sát tất cả các quan sát cùng lúc thì người ta xét ∑ Ut và t1= n 2 mong muốn ∑ Ut Æ min. Vậy tiêu chuẩn tối ưu được sử dụng bởi phương pháp t1= bình phương tối thiểu là cực tiểu hóa hàm mục tiêu nn 2 2 ESS=∑∑ Ut =() Ytt −β01 −β X1t −β 2 X2 − −βk Xtk t1== t1 T với các tham số chưa biết là β=( β012 , β , β , , β k ) . ESS gọi là tổng bình phương các phần dư và phương pháp OLS là cực tiểu tổng bình phương các phần dư. ESS là khoảng cách bình phương được đo lường từ đường hồi quy. Sử dụng khoảng cách đo lường này, có thể nói rằng phương pháp OLS là tìm đường thẳng “gần nhất” với dữ liệu trên đồ thị. 2. 5. 3. 2 Điều kiện cần T Để cực tiểu ESS với β=( β012 , β , β , , β k ) sẽ thoả hệ phương trình sau đây, được gọi là hệ phương trình chuẩn. ___
69. 63 Chương 2 nnnn ∑∑∑∑Yt1= n β01 +β Xt2 +β 2 Xtk + +βk X t t1===t1 t1 t1 nnnn n 2 ∑∑∑∑Yt1t X=β012 X1t +β X1t +β X2t1t .X + +βk ∑ Xkt1t .X t1===t1 t1 t1 t1 = nnnn n 2 ∑∑∑∑Yt2t X=β01 X2t +β X1t2t .X +β 2 X2t + +β k ∑ Xkt2t .X t1===t1 t1 t1 t1 = nnnn n ∑∑∑∑YXtit=β01 Xit +β X1tit .X +β 2 X2tit .X + +βk ∑ Xktit .X t1===t1 t1 t1 t1 = nnnn n 2 ∑∑∑∑Ytkt X=β01 Xit +β X1tkt .X +β 2 X2tkt .X + +βk ∑ Xkt t1===t1 t1 t1 t1 = * Chứng minh T ∂ESS Để tối thiểu ESS với β=( β012 , β , β , , β k ) , chúng ta xét đạo hàm riêng theo ∂β ∂∂∂ESS ESS ESS ∂ ESS ∂ ESS từng biến ;;;;; của hàm mục tiêu ∂β012 ∂β ∂β ∂β i ∂βk nn 2 2 ESS=∑∑ Ut =() Ytt −β01 −β X1t −β 2 X2 − −βk Xtk. t1== t1 Ta có: n ∂ESS 2 =−β−β−β−−β−−β−2Y∑()tt01 X1t 2 X2t i Xitk X.1k() ∂β 0 t1= ⎛⎞nn n n n n =−2Y⎜ − β −β X −β X − −β X − −β X⎟ ⎜⎟⎜∑∑tt01 ∑1 2 ∑t2ti ∑ik ∑tk⎟ ⎝⎠t1== t1 t1 =t1 = t1= t1= ∂ESS n 2 =−β−β−β−−β−−β−2Y X X X X.X ∑()tt011t 22tiitkk()t1 ∂β1 t1= ⎛⎞nnnn ⎜ Y.X−β X −β X2 −β X .X −⎟ ⎜∑∑∑∑tt1 012t1 t1 t2t1⎟ ⎜ t1===t1 t1 t1 ⎟ =−2⎜ ⎟ ⎜⎟⎜ nn ⎟ ⎜ −βX.X − −β X .X ⎟ ⎜ ik∑∑it 1t tk t1 ⎟ ⎝⎠t1==t1 ___
70. 64 Chương 2 ∂ESS n 2 =−β−β−β−−β−−β−2Y X X X X.X ∑()tt011t 22tiitkk()t2 ∂β2 t1= ⎛⎞nnnn ⎜ Y.X−β X −β X .X −β X2 − ⎟ ⎜∑∑∑∑tt2 01t1 t1t2 2t2 ⎟ ⎜ t1===t1 t1 t1 ⎟ =−2⎜ ⎟ ⎜⎟⎜ nn ⎟ ⎜−βX.X − − β X .X ⎟ ⎜ ik∑∑ti t2 tk t2 ⎟ ⎝⎠t1==t1 ∂ESS n 2 =−β−β−β−−β−−β−2Y X X X X.X ∑()tt011t 22tiitkk()ti ∂βi t1= ⎛⎞nnnn ⎜ Y.X−β X −β X .X −β X .X − ⎟ ⎜∑∑∑∑tti 01ti t1ti 2t2ti ⎟ ⎜ t1===t1 t1 t1 ⎟ =−2⎜ ⎟ ⎜⎟⎜ nn ⎟ ⎜−βXX2 − − β .X ⎟ ⎜ ik∑∑ti tk ti ⎟ ⎝⎠t1==t1 ∂ESS n 2 =−β−β−β−−β−−β−2Y X X X X.X ∑()tt011t 22tiitkk()tk ∂βk t1= ⎛⎞nnnn ⎜ Y.X−β X −β X .X −β X .X − ⎟ ⎜∑∑∑∑ttk 01tk t1tk 2t2tk ⎟ ⎜ t1===t1 t1 t1 ⎟ =−2⎜ ⎟ ⎜⎟⎜ nn ⎟ ⎜−βX.X − − β X2 ⎟ ⎜ ik∑∑ti tk tk ⎟ ⎝⎠t1==t1 ∂ESS Hàm mục tiêu đạt cực trị khi các đạo hàm riêng = 0 ⇔=0 ∂β ⎛⎞T ∂∂∂∂∂ESS ESS ESS ESS ESS T ⇔=⎜ ; ; ;; ;;⎟ () 0;0;0;;0;;0 ⎜ ⎟ 1k× ⎝⎠∂β012 ∂β ∂β ∂β i ∂β k1k× Hiệp nhất các thành phần, ta có : ∂∂∂∂∂ESS ESS ESS ESS ESS ⇒===0; 0; 0; ; 0; ; 0 ∂β012 ∂β ∂β ∂β i ∂β k ___
71. 65 Chương 2 ⎪⎧ ⎛⎞nn n n ⎪ ⎜ YXX−β−β −β −⎟ ⎪ ⎜∑∑tt01 ∑1 2 ∑t2⎟ ⎪ ⎜ t1== t1 t1 =t1 =⎟ ⎪ −=20⎜ ⎟ ⎪ ⎜ nn⎟ ⎪ ⎜ −βXX − −β ⎟ ⎪ ⎜ ik∑∑ti tk ⎟ ⎪ ⎝⎠t1==t1 ⎪ ⎪ ⎪ ⎪ ⎪ ⎛⎞nnnn ⎪ ⎜ Y.X −βXXX.X −β2 −β −⎟ ⎪ ⎜∑∑∑∑t t1 012t1 t1 t2 t1 ⎟ ⎪ ⎜ t1===t1 t1 t1 ⎟ ⎪ −2⎜ ⎟=⎟ 0 ⎪ ⎜ nn ⎟ ⎪ ⎜ −βX.X − −β X .X ⎟ ⎪ ⎜ ik∑∑ti t1 tk t1 ⎟ ⎪ ⎝⎠t1==t1 ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎛⎞nnnn ⎪ ⎜ Y.X−β X −β X .X −β X2 −⎟ ⎪ ⎜∑∑∑∑tt2 01t1 t1t2 2t2⎟ ⎪ ⎜ t1===t1 t1 t1 ⎟ ⇔ ⎪⎨ −=20⎜ ⎟ ⎪ ⎜ nn ⎟ ⎪ ⎜ −βX.X − −β X .X ⎟ ⎪ ⎜ ik∑∑ti t2 tk t2 ⎟ ⎪ ⎝⎠⎜ t1==t1 ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎛⎞nnnn ⎪ ⎜ Y.X−β X −β X .X −β X .X −⎟ ⎪ ⎜∑∑∑∑tti 01ti t1ti 2t2ti⎟ ⎪ ⎜ t1===t1 t1 t1 ⎟ ⎪ −=20⎜ ⎟ ⎪ ⎜ nn ⎟ ⎪ ⎜ 2 ⎟ ⎪ ⎜ −βXX − −β .X ⎟ ⎪ ⎜ ik∑∑ti tk ti ⎟ ⎪ ⎝⎠⎜ t1==t1 ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎛⎞nnnn ⎪ ⎜ Y.X−β X −β X .X −β X .X −⎟ ⎪ ⎜∑∑∑∑ttk 01tk t1tk 2t2tk⎟ ⎪ ⎜ t1===t1 t1 t1 ⎟ ⎪ −=20⎜ ⎟ ⎪ ⎜ nn ⎟ ⎪ ⎜ −βX.X − −β X2 ⎟ ⎪ ⎜ ik∑∑ti tk tk ⎟ ⎩⎪ ⎝⎠t1==t1 ___
72. 66 Chương 2 ⎪⎧ nn n n n n ⎪ YXXXX− β −β −β − −β − −β =0 ⎪∑∑tt01 ∑1 2 ∑t2ti ∑ik ∑tk ⎪ t1== t1 t1 =t1 = t1=t1 = ⎪ ⎪ ⎪ ⎪ ⎪ nnnn ⎪ Y.X −βXXX.X −β2 −β − ⎪∑∑∑∑tt1 012t1 t1 t2 t1 ⎪ t===1t1t1t1 ⎪ nn ⎪ −βX.X − −βX .X = 0 ⎪ ik∑∑ti t1 tk t1 ⎪ t1==t1 ⎪ ⎪ ⎪ ⎪ ⎪ nnnn ⎪ Y.X−β X −β X.X−β X2 − ⎪∑∑tt2 01t1 ∑∑t1 t2 2 t2 ⎪ t1==t1 t1==t1 ⎪ nn ⎪ −βX.X − −βX .X = 0 ⎪ ik∑∑ti t2 tk t2 ⎪ t1==t1 ⇔ ⎨⎪ ⎪ ⎪ ⎪ ⎪ ⎪ nnnn ⎪ Y.X−β X −β X .X −β X .X − ⎪∑∑∑∑tti 01ti t1ti 2t2ti ⎪ t1===t1 t1 t1 ⎪ nn ⎪ −βXX2 − −β.X0 = ⎪ ik∑∑ti tk ti ⎪ t1==t1 ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ nnnn ⎪ ⎪∑∑∑∑Y.Xttk−β01 Xtk −β X t1tk .X −β 2 Xt2tk .X − ⎪ t1===t1 t1 t1 ⎪ ⎪ nn ⎪ 2 ⎪ −βik∑∑X.Xti tk − −βXtk = 0 ⎪ t1==t1 ⎪ ⎩⎪ ___
73. 67 Chương 2 ⎪⎧ nnnnn ⎪ Yn= β +β X +β X + +β X + +β X ⎪∑∑∑∑tt011t 2 2ti ik∑tk ⎪ t1===t1 t1 t1 t1= ⎪ nnnn ⎪ Y.X=β X +β X2 +β X .X + ⎪∑∑∑∑tt1 012t1 t1 t2t1 ⎪ t1===t1 t1 t1 ⎪ nn ⎪ +βX.X + +β X .X ⎪ ik∑∑ti t1 tk t1 ⎪ t1==t1 ⎪ nnn n ⎪ Y.X=β X +β X .X +β X2 + ⎪∑∑∑tt2 01t1 t1t2 2∑ t2 ⎪ t1===t1 t1 t1= ⎪ nn ⎪ ⎪ +βik∑∑X.Xti t2 + +β Xtk .X t2 ⎪ t1==t1 ⎪ ⇔ ⎨⎪ ⎪ ⎪ nnnn ⎪ Y.X=β X +β X .X +β X .X + ⎪∑∑∑∑tti 01ti t1ti 2t2ti ⎪ t1===t1 t1 t1 ⎪ nn ⎪ +βXX2 + +β .X ⎪ ik∑∑ti tk ti ⎪ t1==t1 ⎪ ⎪ ⎪ n nn n ⎪ Y.X =β XX.XX.X+β +β + ⎪∑ ttk 0 ∑∑tk 12t1 tk ∑t2 tk ⎪ t1= t1==t1 t1 = ⎪ nn ⎪ +βX.X + +β X2 ⎪ ik∑∑ti tk tk ⎪ t1==t1 ⎪ ⎩⎪ Ta có hệ phương trình chuẩn cần chứng minh 2. 5. 3. 3 Nghiệm hệ phương trình chuẩn Trong chương 2, chúng ta có: ⎛⎞⎛⎞β ⎛⎞ 1X11 X 12 X1k ⎟⎟⎜ 0 ⎟ Y1 ⎜⎜⎟⎟⎜ ⎟ ⎜⎜1X X X⎟⎟⎜ ⎟ Y ⎜⎜21 22 2k ⎟⎟ ⎜β1 ⎟ 2 X,=β⎜⎜⎟⎟=⎜⎟⎜ ⎟ ,Y= ⎜⎟ ⎟⎟⎜ ⎟ ⎜⎟ ⎜⎜⎟⎟⎜ ⎟ ⎜⎜1X X X⎟⎟⎜ ⎟ Y ⎝⎠n1 n2 nk nk××⎜ ⎟ ⎝n ⎠n1 ⎝⎠βk k1× ___
74. 68 Chương 2 ⎛⎞11 1 ⎜ ⎟ ⎜ ⎟ ⎜XX11 21 Xn1 ⎟ ⎜ ⎟ ⇒=XT ⎜⎟⎜XX X⎟ ⎜ 12 22 n2 ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜XX X⎟ ⎝⎠1k 2k nk kn× ⎛⎞11 1 ⎜ ⎟ ⎛⎞1X X X ⎜XX X⎟ ⎜ 11 12 1k ⎟ ⎜ 11 21 n1 ⎟ ⎜ ⎟ ⎟ ⎜1X21 X 22 X2k ⎟ T ⎜⎟⎜ ⎟ ⎜ ⎟ ⇒×=XX⎜ X12 X 22 Xn2 ⎟ ×⎜ ⎟ ⎜ ⎟ ⎜⎟ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎝⎠1Xn1 X n2 Xnk ⎜XX X⎟ nk× ⎝⎠1k 2k nk kn× ⎛⎞nn n ⎜ nX X X⎟ ⎜ ∑∑t1 t2 ∑tk ⎟ ⎜ t1==t1 t1 =⎟ ⎜ ⎟ ⎜⎟⎜ nnn n⎟ ⎜ XXX.XX.X2 ⎟ ⎜∑∑∑t1 t1 t1 t2 ∑t1 tk ⎟ ⎜ t1===t1 t1 t1 =⎟ ⎜ ⎟ = ⎜ nn n n ⎟ ⎜ X X .X X 2 X .X ⎟ ⎜∑∑t2 t2 t1 ∑t2 ∑t2 tk⎟ ⎜ t1== t1 t1 =t1 = ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ nn n n⎟ ⎜ XX.XX.XX 2 ⎟ ⎜∑∑tk tk t1 ∑tk t2 ∑tk ⎟ ⎝⎠t1== t1 t1 = t1=kk× và ⎛⎞n ⎜ Y ⎟ ⎜ ∑ t ⎟ ⎜ t1= ⎟ ⎜ ⎟ ⎛⎞11 1 ⎜⎟⎜ n ⎟ ⎜ ⎟ ⎛⎞ ⎜ ⎟ ⎜ ⎟ Y1 ⎜∑ Y.Xtt1⎟ ⎜XX X⎟ ⎜ ⎟ ⎜ ⎟ ⎜ 11 21 n1 ⎟ ⎜ ⎟ ⎜ t1= ⎟ ⎟ ⎜Y2 ⎟ ⎟ XYT ×=⎜⎟⎜XX X⎟ ×⎜ ⎟ =⎜ n ⎟ ⎜ 12 22 n2 ⎟ ⎜⎜⎟ ⎟ ⎜ Y.X ⎟ ⎜ ⎟ ⎜ ⎟ ⎜∑ tt2⎟ ⎜ ⎟ ⎜ ⎟ ⎜ = ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ t1 ⎟ ⎜ ⎟ ⎝⎠Yn ⎜ ⎟ ⎜XX X⎟ n1× ⎜ ⎟ ⎝⎠1k 2k nk kn× ⎜ ⎟ ⎜ ⎟ ⎜ n ⎟ ⎜ Y.X ⎟ ⎜∑ ttk⎟ ⎝⎠t1= k1× Do đó, ta suy ra dạng ma trận của ___
75. 69 Chương 2 T ∂∂∂∂∂∂ESS⎛⎞ ESS ESS ESS ESS ESS ==⎜ ;;;;;⎟ −2XTT .Y+ 2X .X.β: ⎜ ⎟ ∂β⎝⎠ ∂β012 ∂β ∂β ∂β i ∂β k ∂ESS Hàm mục tiêu đạt cực trị khi các đạo hàm riêng bằng = 0 ⇔=0 ∂β ⇔−2XTT .Y + 2X .X. β= 0 ⇔ X T .X. β= XT .Y −1 ⇔β= ()X.XTT .X.Y ⎛⎞1X X X ⎜ 11 12 1k ⎟ ⎜ ⎟ ⎜1X21 X 22 X2k ⎟ Vì X = ⎜ ⎟ là bộ n giá trị của (k + 1) biến độc lập ⎜ ⎟ ⎜ ⎟ ⎜1X X X⎟ ⎝⎠n1 n2 nk nk× −1 Ù rankX = (k + 1) Ù (X.XT )là khả nghịch −1 Vậy ước lượng β=(X.XTT) .X.Y 2. 5. 3. 4 Điều kiện đủ −1 Ước lượng β=()X.XT .X.YT là ước lượng cực tiểu của hàm mục tiêu ESS * Chứng minh ∂ESS Ta tính đạo hàm cấp hai của hàm mục tiêu ESS ∂β∂β. ∂ESS ∂ESS Từ =−2XTT .Y + 2X .X. β suy ra = 2XT .X ∂β ∂β∂β. ⎛⎞c ⎜ 1 ⎟ ⎜ ⎟ ⎜c2 ⎟ Gọi vectơ thực khác 0,c=⇒=⎜ ⎟ cT () c c c ⎜ ⎟ 12 k1k× ⎜ ⎟ ⎜c ⎟ ⎝⎠k k1× Xét dạng toàn phương: ___
76. 70 Chương 2 TT W= c(1××× k) .X (k n) .X (n k) .c (k× 1) = X.cT . X.c ()()1n×× n1 ⎛⎞v ⎜ 1 ⎟ ⎜ ⎟ n ⎜v2 ⎟ Đặt vectơ vX== .c ⎜ ⎟ Æ Wv.v==T2 v ≥ 0 (n×× k) (k 1) ⎜⎟⎜ ⎟ ∑ t ⎜ ⎟ t1= ⎜v ⎟ ⎝⎠n n1× Nếu vectơ v0=⇔ X.c0 = Æ tồn tại tổ hợp tuyến tính giữa các cột trong ma trận X bằng 0 Æ mâu thuẫn rankX = (k + 1) n ∂ESS Æ Wv.v==T2 v > 0 Æ W là xác định dương Æ là xác định dương Æ ∑ t t1= ∂β∂β. −1 Ước lượng cực trị β=(X.XTT) .X.Y là ước lượng cực tiểu của hàm mục tiêu ESS. Ví dụ 2.3: Từ số liệu của một mẫu gồm 8 quan sát, người ta tính được các tổng sau : 222 ∑=∑=∑=∑=∑=YXiiii56;12 48; X 24; Y 420; X1 i 300; ∑= X 2 i 80 ∑=∑=∑=XX12i i 135; XY1ii 354; XY2ii 154 Trong đó : Y là lượng hàng bán được của một loại hàng , đơn vị tính là tấn/tháng X1 : là thu nhập của người tiêu dùng , đơn vị tính là triệu đồng/tháng X 2 : là giá bán của mặt hàng này , đơn vị tính là ngàn đồng/kg Ta sẽ tìm hàm hồi quy mẫu : YXXii= ββ01++12 β 2i +U1 và cho biết ý nghĩa của hệ số hồi quy β 1 và β 2 . Từ số liệu đã cho ta có được các ma trận cơ bản như sau : ⎡⎤nXX∑ 12ii⎡84824⎤ ⎢⎥ XX=T ∑∑∑XXXX2 =⎢48 300 135⎥ , ⎢⎥1112iiii⎢ ⎥ ⎢⎥2 ⎢24 135 80⎥ ⎣⎦∑∑XXXX2122iiii ∑ ⎣ ⎦ ___
77. 71 Chương 2 ⎡⎤∑Yi ⎡ 56 ⎤ T ⎢⎥ XY=∑=XY ⎢354⎥ ⎢⎥1ii ⎢ ⎥ ⎢⎥ ⎣⎦∑ XY2ii ⎣⎢154⎦⎥ −1 Ta có ma trận nghịch đảo (XXT ) là : ⎡5775− 600− 720⎤ −1 1 XXT = ⎢−600 64 72 ⎥ ()120 ⎢ ⎥ ⎣⎢−720 72 96 ⎦⎥ Áp dụng công thức ước lượng được xây dựng ta có : ⎡5775− 600− 720⎤⎡ 56 ⎤ −1 1 XXTT XY= ⎢−600 64 72⎥⎢ 354 ⎥ () 120 ⎢ ⎥⎢ ⎥ ⎣⎢−720 72 96⎦⎣⎥⎢ 154 ⎦⎥ 120 1 ⎡⎤⎡⎤ ⎧ 1 ⎪YXXi =+11.212ii − 0.4 ==→⎢⎥⎢⎥144 1.2SRF : ⎢⎥⎢⎥ ⎨ 120 ⎪YXX=11.2+− 0.4 +U1 ⎣⎦⎣⎦⎢⎥⎢⎥−−48 0.4 ⎩ iii12 Ý nghĩa của các hệ số hồi quy : β 1 =1.2 : Phản ánh tác động của X1 đối với Y , tức là tác động của thu nhập đối với lượng hàng hóa bán được theo nghĩa , nếu thu nhập của người tiêu dùng tăng (hoặc giảm) 1 triệu đồng/tháng , thì lượng hàng bán được trung bình có xu hướng tăng (hay giảm) tương ứng xấp xỉ là 1.2 tấn/tháng với điều kiện giá bán của mặt hàng đó và các yếu tố khác là không đổi. β 2 =−0.4: Phản ánh tác động của X 2 đối với Y , tức là tác động của giá đối với lượng hàng bán được theo nghĩa, nếu giá bán của mặt hàng này tăng (hoặc giảm) 1 ngàn đồng/kg, thì lượng hàng bán được trung bình có xu hướng giảm (hay tăng) tương ứng xấp xỉ là 0.4 tấn/tháng , với điều kiện thu nhập của người tiêu dùng và các yếu tố khác là không đổi. ___
78. 72 Chương 2 2. 6 Xây dựng thuật toán hồi quy cho lập trình trên máy tính : 2. 6. 1 Bài toán xây dựng phương trình siêu phẳng hồi qui. Ta muốn tìm một hàm tuyến tính của (m −1) biến còn lại X 2 ,, X m aX22+ aX 33++ amm X Để xấp xỉ X1 tốt nhất theo nghĩa cực tiểu sai số bình phương trung bình tức là: 2 AEX=−++++{ 12233() aX aX aXCmm } đạt cực tiểu Câu trả lời cho bài toán đặt ra là: m Λ* X =−1k XEXEX − + 11∑ * ()kk k=2 Λ11 trong đó ma trận covarian Λ= λ ; λ =−EX EXX − EX Λ* là ( ij )mm× ij {()i i( j j )} 1k phần phụ đại số của λ1k trong ma trận Sai số bình phương trung bình mắc phải khi tính bởi biểu thức ở vế phải được gọi là phương sai phần dư. Nó được tính bởi: 2 det Λ σ1.23 m = * Λ11 Hệ số tương quan bội (hệ số tương quan tập hợp) đo mức độ phụ thuộc tuyến tính giữa và tổ hợp tuyến tính ở vế phải của công thức tính X1 là: 2 * det Λ σ1.23 m ρ1.23 m =−11*2 =− λσ11Λ 11 1 2. 6. 2 Bài toán tính hệ số tương quan riêng : Ta tìm số đo mức độ phụ thuộc tuyến tính giữa hai biến X1 và X 2 sau khi đã loại trừ ảnh hưởng tuyến tính của X 3 ,, X m đối với chúng. Ta gọi đại lượng này là hệ số tương quan riêng và ký hiệu là ρ12.34 m det Λ12 ρ12.34 m = detΛ22 .det Λ 11 ___
79. 73 Chương 2 trong đó Λij là ma trận nhận được từ ma trận bằng cách bỏ đi hàng i cột j, hoặc: ρ12.34 mmmmm− 1− ρρ 1 .34 −− 1. 2 .34 1 ρ12.34 m = 22 ()(1.1−−ρρ1mm .34 −− 1 2 mm .34 1 ) Như vậy theo công thức trên từ các hệ số tương quan toàn phần ρij ta tính được các hệ số tương quan riêng ρij. k , rồi sau đó tính ρij. kl và vân vân Công thức về phương sai phần dư có thể biểu diễn dưới dạng: 2222 σσσσ1.23 mm=−DX1()1.1 1 1.2 ( −13.2 ) ( −1 .23 m− 1 ) 2. 6. 3 Bài toán hồi quy từng bước : Ta muốn xác định xem những biến nào trong các biến X2, , Xm có ảnh hưởng nhiều đến X1. Nói khác đi tập các biến độc lập dùng để dự báo tuyến tính X1 cho toàn bộ các biến đang xét hay chỉ cần một tập con nào đó của tập đã cho. Để giải quyết bài toán này ta sẽ dùng phương pháp hồi qui từng bước. Ý cơ bản của phương pháp này dựa vào công thức phương sai phần dư như sau: Dựa vào công thức phương sai phần dư ở trên ta thực hiện các bước sau: Tính các hệ số tương quan toàn phần ρ1i , i = 2 m Chẳng hạn ρ12 = max ρ1i , ta chọn biến đầu tiên là biến X2 2≤≤im Đó là một trong các biến chính có tác động chính đến sự biến thiên của X1 Tính các hệ số tương quan riêng ρ1.2i , i = 3 m Chẳng hạn ρ13.2 = max ρ1i .2 , ta chọn biến tiếp theo là biến X3 và vân vân. 3≤≤im 2 Sau mỗi lần chọn thêm biến ta tính phương sai phần dư σ1.23 k . So sánh với 2 2 phương sai phần dư ở bước trước σ1.23 k− 1 . Nếu σ1.23 k giảm không đáng kể so với 2 σ1.23 k− 1 thì ta dừng lại và chọn tập biến độc lập là X2, , Xk – 1. Đó là tập các biến có tác động chính đến biến X1 (Theo công thức phương sai phần dư thì thực chất của ___
80. 74 Chương 2 2 2 2 việc so sánh σ1.23 k và σ1.23 k− 1 là việc đánh giá xem thừa số (1− ρ1kk .34 − 1 ) có gần 1 2 hay không hay tương đương với điều đó là xem ρ1.23 1kk− có gần 0 hay không) 2. 6. 4 Mô tả phương pháp tính toán : 2. 6. 4. 1 Các ký hiệu sử dụng m : Số biến ngẫu nhiên (vec tơ m chiều) n : Cỡ mẫu ngẫu nhiên xi : Biến thứ i xik : Giá trị thứ k của biến thứ i xiTB : Giá trị trung bình mẫu của biến thứ i Aij : Giá trị trung bình mẫu của tích 2 biến và bk : Hệ số hồi qui của biến thứ i theo biến thứ k L_Da : Ma trận Covarian mẫu L_Da[i, j] : Phần tử hàng i cột j của ma trận covarian mẫu L_Da L_Daij : Ma trận được nhận từ ma trận L_Da bằng cách bỏ đi hàng i cột j * L _ Daij : Phần phụ đại số của phần tử L_Da[i, j] trong ma trận covarian mẫu L_Da S2 : Phương sai phần dư mẫu r : Hệ số tương quan mẫu i1, , im : Biến lấy được sau mỗi bước trong bài tóan hồi qui 2. 6. 4. 2 Phương pháp tính toán : Như trên ta thấy, để xây dựng được siêu phẳng hồi qui, tính được phương sai phần dư, hệ số tương quan bội, hệ số tương quan riêng , ta cần tính được ma trận covarian mẫu L_Da. Nhưng trên thực tế khi nghiên cứu m biến ngẫu nhiên chúng ta chỉ có thông tin duy nhất là n kết quả quan sát độc lập về vectơ m chiều này. Giả sử có mẫu ngẫu nhiên cỡ n về m biến ngẫu nhiên X1, , Xm: (x1k , , xmk), k=1 n. ___
81. 75 Chương 2 Để giải quyết được các bài toán đặt ra việc đầu tiên là phải ước lượng được ma trận covarian mẫu L_Da. Ma trận covarian mẫu được sử dụng trong tất cả các bài toán phân tích thống kê biến ngẫu nhiên nhiều chiều, vì vậy nó cần được xây dựng xuất phát từ mẫu đã cho và chúng ta phải sử dụng nhiều lần đến nó. Trong thủ tục tính ma trận covarian mẫu ta cần phải tính: − Giá trị trung bình mẫu của biến thứ i 1 n XixTB = ∑ ik i = 1 m n k =1 − Giá trị trung bình mẫu của tích hai biến Xi và Xj 1 n Aij = ∑ xxik. jk i, j = 1 m n k =1 Như vậy giá trị của các phần L_Da[i,j] mẫu là: L _,Da[] i j =−AXiXij TB .j TB i, j = 1 m Nhìn vào công thức tính toán ở trên ta dễ dàng nhận thấy được ma trận covarian mẫu L_Da là một ma trận đối xứng (L_Da[i,j] = L_Da[j,i]). Như vậy ta đã tính xong ma trận covarian mẫu L_Da. Sau đây là một số thuật toán liên quan đến bài toán đang xét: 2. 6. 5 Xây dựng hàm tính định thức của ma trận (sau đó sử dụng hàm này để tính định thức của ma trận covarian L_Da) 2. 6. 5. 1 Phần 1: Đưa ma trạn về dạng tam giác trên (khử các phần tử dưới đường chéo) kak:,= []i Trong trường hợp phần tử trên đường chéo =0 thì trên cột chứa phần tử đó ta hoán đổi phần tử max với phần tử đường chéo. ___
82. 76 Chương 2 Tức là nếu a[k, k] = 0 thì: x :0= ik:=+ 1 m Nếu abs( a[i, k] > x)thì: ⋅ x :,= aik[ ] ⋅ Đánh dấu hàng cần đổi: ri:= Nếu tất cả các phần tử trên cột bằng 0 thì định thức bằng 0 Sau mỗi lần hoán đổi thì định thức lại đổi dấu vì vậy ta sẽ dùng một biến shv để đánh dấu số lần đổi dấu: shv:1= shv + Hoán đổi hàng có phần tử trên đường chéo =0 với hàng có phần tử trên cột đó nhận giá trị lớn nhất. x :,= aki[ ] aki[ ,:] = ari[ ,] ari[ ,:] = x ik:1 =+ m x :,= aki[ ] akk[ ,] jm:1 = ai[ ,: j] =−∗ a[ ji ,] x a[ jk ,] 2. 6. 5. 2 Phần 2: Tính định thức bằng cách nhân các phần tử trên đường chéo: Định thức = aa11××× 22 amm DT :1= im:1 = DTDTaii:,=∗[ ] Trong trường hợp (shv mod 2=0) thì định thức := DT ___
83. 77 Chương 2 Còn ngược lại thì định thức := −DT Như vậy đã tính xong định thức của một ma trận. 2. 6. 5. 3 Xây dựng hàm tính định thức của ma trận khi bỏ đi 1 hàng 1 cột : Giả sử tính định thức của ma trận L_Da bỏ đi hàng i cột j Gán lại ma trận như sau: km:= 1 rm:= 1 Nếu hàng k = hàng i, cột r = cột j thì gán TG[k, r] = 1 Nếu (hàng k = hàng i và cột r cột j) hoặc (hàng k hàng i và cột r = cột j) thì gán TG[k, r] = 0 Còn lại thì gán TG[k, r] = L_Da[k, r] Sau đó gọi hàm tính định thức cho ma trận TG, ma trận TG này có cỡ bằng cỡ với ma trận L_Da trên. Tương tự với cách tính định thức ma trận L_Da bỏ đi hàng i cột j bất kỳ ta sẽ dễ dàng tính được phần phụ đại số của một phần tử bất kỳ. Tiếp theo ta sẽ xây dựng phương trình siêu phẳng hồi quy. Như ta đã biết ở phần trên, để nhận được phương trình siêu phẳng hồi quy của X1 ta phải tính được: − Các hệ số hồi qui * −LDa_ 1k b1k = * k = 2 m LDa_ 11 − Tính hằng số C m CX=−1.TB∑ bXk1 k TB k =2 ___
84. 78 Chương 2 Như vậy sau khi tính được các hệ số hồi quy b1k và hằng số C ta sẽ viết được phương trình siêu phẳng hồi qui có dạng như sau: XbXbX1122133=++++ bX 1mm C Sau đó ta tính phương sai phần dư và hệ số tương quan bội như sau: − Phương sai phần dư: 2 detL _ Da S1.234 m = * L _ Da11 − Hệ số tương quan bội 2 S1.23 m r12.34 m =−1 LDa_1,1[] Như vậy đã tính xong bài toán về siêu phẳng hồi qui. 2. 6. 6 Bài toán về tương quan riêng : Hệ số tương quan riêng được tính bằng công thức: detLDa _ 12 r12.34 m = detLDa _11 .det LDa _ 22 2. 6. 7 Bài toán về hồi quy từng bước : Theo như phần trên ta thấy, ở bước 1 chúng ta phải tính các hệ số tương quan toàn phần r1i , i = 2 m. Nhưng thực chất ở đây ta phải tính tất cả rij, i, j = 1 m với i < j Theo định nghĩa ta có : LDaij_,[ ] rij = LDaiiLDajj_,._,[] [ ] Sang các bước sau, ta sẽ sử dụng công thức: rrr− . r = 1,iiii .12 , , ,kkkkk−− 1 1, iiiiiiiii . 12 , , , 1 , . 12 , , , − 1 1,ii .12 , i , , ik 1.1−−rr22 ()1,iiikk .12 , , , i−− 1 (iiii, kk .12 , , , i 1) ___
85. 79 Chương 2 Sau bước 1 ta chọn được r1,i1 đạt giá trị lớn nhất trong các rij. Biến được chọn là Xi1 Sử dụng công thức truy hồi trên, bước 2 ta sẽ phải tính các r1,i.i1, với ii≠ 1 và i ≠1 . Sau đó lại chọn được r1,i2.i1 đạt giá trị lớn nhất. Biến được chọn tiếp là Xi2 Cứ tiếp tục như vậy cho tới bước thứ k ta sẽ tính được r với i khác1, 1ii . 1, i 2, , ik −1 i1, i2, ik – 1. Song song với các bước trên, mỗi khi chọn được is, s = 1 k ta phải tính phương sai phần dư. Ở bước 2, phương sai phần dư sẽ là: 22 SLDar1,ii 1 =−_1,1.1[ ] ( 1, 1 ) và như vậy cho tới bước thứ k ta sẽ có: SS22=−.1 r 2 1,ii 1, 2, , ikkk 1, ii 1, 2, , i−−11( 1, iii . 1, 2, , ik) Điều đáng quan tâm của bài toán hồi quy từng bước này là việc phải xây dựng được hàm tính hệ số tương quan (ở bước 1 đó chính là tương quan toàn phần, ở các bước khác đó chính là tương quan riêng) giữa 2 biến bất kỳ. Hàm này sẽ được sử dụng sau mỗi khi ta lấy được một biến ứng với giá trị tương quan lớn nhất sau đó mới tính tiếp các giá trị phương sai phần dư của mỗi bước. 2. 6. 8 Lưu đồ thuật toán của ba bài toán nêu trên (trang bên) : ___
86. 80 Chương 2 ___
87. 81 Chương 2 ___
88. 82 Chương 3 CHƯƠNG 3 : KIỂM ĐỊNH GIẢ THIẾT TRÊN VECTƠ KỲ VỌNG 3. 1 Mâu thuẫn giữa kiểm định nhiều chiều và một chiều : Kiểm định giả thiết trong trường hợp đa chiều thường phức tạp hơn trong mô hình đơn chiều. Số lượng các biến số sẽ dẫn đến sự chênh lệch. Ví dụ như cho một ⎛⎞p phân phối chuẩn với p biến, sẽ có p trung binh, p phương sai và ⎜⎟ hiệp phương ⎝⎠2 ⎛⎞p sai, ở đây ⎜⎟ biểu diễn số cặp biến tương quan trong p biến. Tổng số các biến số ⎝⎠2 ⎛⎞p 1 được quan tâm sẽ là : pp++⎜⎟ = pp() +3 . ⎝⎠2 2 Ví dụ khi cho p = 10 thì tổng số biến số sẽ là 65. Với mỗi một biến số , một giả thiết có thể được đề ra. Ngoài ra, ta có thể quan tâm trong kiểm tra giả thiết về nhóm con các biến số hoặc về các hàm của chúng. Trong một số trường hợp, ta có thể có hai giả định trong sự mâu thuẫn giữa các kiểm định thống kê. Ta bàn về quá trình đầu trong kiểm định p biến nhiều chiều thay vì ( hoặc thêm vào ) một biến đơn chiều.Ví dụ như giả thiết về μ12,μ , ,μp trong μ. Ta có bốn luận cứ trong cách tiếp cận nhiều chiều để kiểm định giả thiết : 1. Sử dụng p đơn biến kiểm tra độ tăng tỉ lệ lỗi trong sai lầm I , α , bởi vì kiểm định mô hình nhiều chiều phải bảo đảm độ tin cậy α . Nếu ta cho p = 10 đơn biến riêng biệt và kiểm định ở độ tin cậy 0.05, xác suất có ít nhất một sai lầm được từ chối là lớn hơn 0.05. Nếu các biến là độc lập ( ít xảy ra ), chúng ta sẽ có (với giả thiết H0 ). P( ít nhất một từ chối) = 1−P( tất cả 10 kiểm định chấp nhận H0 ) 10 =−1095040( ) = 2. Kết quả tổng cộng α của 0.40 là một tỉ lệ lỗi không chấp nhận được. Thông thường khi 10 biến là tương quan thì tổng α giao động trong khoảng từ 0.05 ___
89. 83 Chương 3 đến 0.40. Các bài toán kiểm định đơn biến hoàn toàn bỏ qua sự tương quan giữa các biến, trong khi các kiểm định nhiều biến theo hướng sử dụng sự tương quan giữa các biến. 3. Trong nhiều trường hợp kiểm định nhiều biến thì mạnh hơn. Độ mạnh của một kiểm định là xác suất để từ chối H0 khi nó sai lầm. Tất cả p biến của kiểm định đơn biến không đạt đến một ý nghĩa, nhưng kiểm định nhiều chiều lại có ý nghĩa. Bởi vì ảnh hưởng nhỏ trên tổ hợp các biến đồng thời chứng tỏ được ý nghĩa. Tuy nhiên trong cùng một mẫu với giới hạn số lượng các biến, kiểm định nhiều biến có thể xử lí mà không mất đi sức mạnh của nó. Điều này sẽ được làm rõ ở chương này 4. Một số kiểm định nhiều biến liên quan đến kỳ vọng có hệ quả phụ đến sự kết hợp tuyến tính của các biến, điều này thêm chi tiết sự kết hợp các biến dẫn đến từ chối giả thiết. 3. 2 Kiểm định trên μ với Σ đã biết : Kiểm định trên một vector trung bình với giả thiết Σ đã biết được giới thiệu để minh họa trong bài toán kiểm định nhiều chiều để thiết lập nền móng cho trường hợp Σ chưa biết. Đầu tiên là trình bày trường hợp đơn biến, như vậy ta sẽ làm việc trên biến đơn y có phân phối chuẩn N (μ,σ 2 ) . 3. 2. 1 Nhắc lại kiểm định đơn biến giả thiết H0: μ = μ0 với σ đã biết : Một giả thiết được quan tâm là kỳ vọng của y bằng giá trị μ0 , đối thiết thay thế là không bằng với μ0 . Giả thiết H0: μ = μ0 ; đối thiết H10: μ ≠ μ Ta không xem xét một bên giả thiết thay thế bởi vì chúng không thể tổng quát hóa trong trường hợp kiểm định nhiều chiều. Giả sử có một mẫu ngẫu nhiên với n quan 2 2 sát : yy12, , , yn có phân phối N (μ,σ ) với σ đã biết. Ta có biểu thức n yy= n và dùng kiểm định thống kê so sánh với μ ∑i=1 i 0 ___
90. 84 Chương 3 yy−−μ μ z ==00 (3.1) σ y σ n z có phân phối chuẩn N (01, ) nếu H0 là đúng. Cho α = 005. ta sẽ bác bỏ giả thiết 2 2 H0 nếu z ≥196. . Tương tự như vậy, ta có thể dùng z với phân phối χ một bậc 2 2 tự do. Trong trường hợp đó ta sẽ bác bỏ H0 nếu z ≥=(196.) 384 Nếu n lớn, ta sẽ dùng định lí giới hạn trung tâm để xấp xỉ z, thậm chí ngay cả khi các quan sát không có phân bố chuẩn. 3. 2. 2 Kiểm định nhiều chiều cho giả thiết : H00:μμ= với ∑ đã biết : Trong trường hợp nhiều chiều ta có nhiều biến đo được trên cùng một đơn vị mẫu, và mong muốn đưa ra giả thiết giá trị kỳ vọng cho mỗi biến. Giả thiết H0:μμ= 0 ; đối thiết H1:μμ≠ 0. Cụ thể hơn , ta có ⎛⎞μ1 ⎛⎞μ01 ⎛⎞μ1 ⎛⎞μ01 ⎜⎟⎜⎟ ⎜⎟⎜⎟ μμ μμ Giả thiết H :⎜⎟20= ⎜2⎟, đối thiết H :⎜⎟20≠ ⎜⎟2 0 ⎜⎟ ⎜ ⎟ 1 ⎜⎟ ⎜⎟ ⎜⎟⎜⎟ ⎜⎟⎜⎟ ⎜⎟⎜⎟ ⎜⎟⎜⎟ ⎝⎠μ p ⎝⎠μ0 p ⎝⎠μ p ⎝⎠μ0 p ở đây mỗi một μ0 j thiết lập từ một tiên nghiệm hoặc là một giá trị mục tiêu. Vector đẳng thức trong H0 bao gồm μ j = μ0 j cho tất cả j =12, , , p . Vector biểu thức trong H1 chứa đựng ít nhất một μ j ≠ μ0 j . Vì vậy, nếu như μ j = μ0 j cho tất cả các j ngoại trừ 2, trong đó μ2≠ μ02 thì ta bác bỏ H0 . Để kiểm định H0 , ta dùng mẫu ngẫu nhiên với n vector được quan sát yy12, , , yn từ phân bố chuẩn N p (μ,∑) , với ∑ đã biết , và công thức n yy= n. Kiểm định thống kê là : ∑i=1 i ' 21− Zn=−∑−(y μ0) (y μ0) (3.2) ___
91. 85 Chương 3 2 2 Nếu H0 đúng, Z có phân phối chi-bình phương χ như ở công thức (1.66) ' −1 2 ( Nếu y có phân phối N p (μ,∑) thì (y − μ) ∑−(y μ) có phân phối χ ). Vì vậy 22 ta sẽ bác bỏ H0 nếu Z > χα , p . Cũng cần lưu ý, trong trường hợp đơn chiều một biến, z2 có phân phối chi-bình phương với một bậc tự do, ở đây với p biến thì Z 2 trong (3.2) có phân phối chi-bình phương với p bậc tự do. Nếu ∑ chưa biết thì ta có thể dùng S để thay thế trong công thức (3.2) và Z 2 sẽ được xấp xỉ bởi phân phối chi-bình phương. Khi n lớn, tương tự trong tình huống đơn chiều ta có : ( y − μ0 ) t = ()s n xấp xỉ phân phối chuẩn N (01, ) cho n > 30 . Giá trị của n cần cho công thức (3.2) để xấp xỉ phân phối chi-bình phương với p bậc tự do là bao nhiêu? Điều này sẽ được làm sáng tỏ ở phần sau. Bây giờ ta xét ví dụ: Ví dụ 3.1 : Cho Bảng 3.1, nghiên cứu về chiều cao và cân nặng của 20 nam sinh viên đại học. Ta giả thiết rằng mẫu này được phát xuất từ phân phối chuẩn hai chiều N2 (μ,∑), ở đây ⎛⎞20 100 ∑=⎜⎟ ⎝⎠100 1000 , Giả sử ta muốn kiểm định giả thiết H0 :,μ = (70 170) . Từ bảng dữ liệu ta có y1 = 71. 45 và y2 =164. 7 . Như vậy ta có : −1 ' 21− ⎛⎞71 45−− 70⎛⎞⎛⎞ 20 100 71 45 70 Zn=−∑−=()y μ00()y μ ()20 ⎜⎟⎜⎟⎜⎟ ⎝⎠164 7−− 170⎝⎠⎝⎠ 100 1000 164 7 170 ⎛⎞01 − 001⎛⎞ 145 =−()(20 1., 45 5 . 3 )⎜⎟⎜⎟=8. 4026 ⎝⎠−−001 0002⎝⎠ 53 . ___
92. 86 Chương 3 2 sử dụng αχ=005.,0052.,= 599 ., như vậy đủ mạnh để bác bỏ giả thiết , 2 H0 :,μ = ()70 170 bởi Z = 8 4026> 5 99 . Chiều cao Cân nặng Chiều cao Cân nặng Người Người Bảng 3.1: Số liệu về chiều cao và cân nặng của 20 nam sinh viên đại học , Miền bác bỏ cho y = ( yy12, ) ở trên hoặc bên ngoài ellipse trong Hình 1.1, kiểm định thống kê Z 2 lớn hơn 59. 9 khi và chỉ khi y nằm bên ngoài ellipse. Nếu y rơi vào trong ellipse thì H0 được chấp nhận. Như vậy khoảng làm cho μ0 tốt phải được tính theo hướng có lợi. Khi khoảng này đã được chuẩn hóa bởi ∑−1 thì tất cả các điểm trên biểu đồ là “ thống kê đồng đều” từ tâm điểm. Chú ý rằng kiểm định được hiệu chỉnh đến cấu trúc hiệp phương sai. Nếu cov(yy12 , )là đại lượng âm thì y2 có xu hướng tăng khi y1 giảm, và ellipse sẽ nghiêng theo một hướng khác. Trong trường hợp này y sẽ ở trong miền nhận. Bây giờ ta khảo sát hệ quả của việc kiểm định mỗi một biến riêng lẻ. Sử dụng zα 2 =196. cho α = 005. . Ta có y1 − μ01 z1 ==<1450 196 σ1 n y2 − μ02 z2 ==−<−0 7495 1 96 σ 2 n ___
93. 87 Chương 3 Như vậy cả hai kiểm định đều chấp nhận giả thiết. Trong trường hợp này cả hai y đều đủ tin cậy từ các giá trị giả thiết, đưa đến quyết định không bác bỏ. Nhưng khi tương quan giữa y1 và y2 dương, đưa vào kiểm định nhiều chiều, hai dấu hiệu đối nghịch μ0 kết hợp để đưa đến từ chối. Minh họa ưu điểm thứ 3 này của thống kê nhiều chiều đã được trình bày ở phần trước. Hình 1.1 Hình dạng ellipse miền nhận Hình 1.2 cho thấy được hình chữ nhật của miền nhận trong kiểm định đơn biến chồng lên trên hình dạng của ellipse miền nhận kiểm định nhiều chiều. Hình chữ nhật này thu được từ hai miền nhận sau : σ σ μμ−<<+196 11y 196 01 nn1 01 σ σ μμ−<<+196 22y 196 02 nn1 02 ___
94. 88 Chương 3 Những điểm nằm bên trong ellipse nhưng nằm bên ngoài hình chữ nhật sẽ bị từ chối trong trường hợp đơn biến nhưng lại được chấp nhận trong trường hợp nhiều biến. Nhiều chiều : chấp nhận Một chiều : bác bỏ Nhiều chiều từ chối Một chiều bác bỏ Hình 1.2 Miền nhận và miền bác bỏ cho kiểm định đơn và đa chiều Tương tự, kết quả của α từ kiểm định một biến cũng sẽ tăng như đã được giới thiệu trong phần trình bày động cơ dẫn đến việc nghiên cứu kiểm định nhiều chiều trong phần mở đầu. Vấn đề này được tham khảo thêm nghịch lí Rao. Nghiên cứu kĩ hơn có thể tìm thấy từ Rao (1966), Healy (1969), và Morrison (1990, p.174). Các điểm nằm bên ngoài ellipse nhưng bên trong hình chữ nhật sẽ bị từ chối trong mô hình nhiều chiều nhưng lại cùng được chấp nhận trong mô hình đơn chiều. Để ta thấy được trong nhiều tình huống kiểm định nhiều chiều là mạnh hơn. Trong trường hợp cả hai đều được biểu diễn từ phần được tô bóng. Ta cũng nên dùng kết quả của kiểm định nhiều chiều, không dùng kết quả kiểm định một chiều. Trong nhiều trường hợp kiểm định nhiều chiều mạnh hơn so kiểm định một chiều vì kiểm định nhiều chiều đảm bảo được hệ số α trong khi kiểm định đơn ___
95. 89 Chương 3 chiều thì lại làm tăng hệ số α . Do đó, khi mà kiểm định nhiều chiều và một chiều không tương thích thì kết quả kiểm định nhiều chiều là xu hướng tin cậy. 3. 3 Kiểm định giả thiết trên μ khi ∑ chưa biết : 3. 3. 1 Nhắc lại kiểm định đơn biến cho giả thiết H0: μ = μ0 khi σ chưa biết : Đầu tiên ta nhắc lại t-test một mẫu thông thường trong trường hợp một chiều. với một biến đo được trên cùng đơn vị mẫu. Giả thiết rằng mẫu ngẫu nhiên 2 2 yy12, , , yn có được từ phân phối N (μ,σ ) . Ta sẽ ước lượng μ bởi y và σ bởi s2 , ở đây y và s2 được cho bởi: n 2 n yy− 1 2 ∑i=1( i ) yy= ∑ i và s = n i=1 n −1 Để kiểm định Giả thiết H0: μ = μ0 ; đối thiết H1: μ ≠ μ0 , ta sử dụng : y − μ ny( − μ0 ) t ==0 (3.3) sn s Nếu giả thiết H0 là đúng , t được phân phối như tn−1 , với n −1là số bậc tự do. Ta bác bỏ giả thiết H0 nếu ny( −≥μ02) s tα ,n−1, với tα 2,n−1 là giá trị tới hạn được tra từ Bảng . Biểu thức đầu tiên ở (3.3) , là dạng ty=−( μ0 ) ( sn) đặc trưng của thống kê t , tức là biểu diễn mẫu đã được chuẩn hóa khoảng cách giữa y và μ0 . Trong mô hình này, kỳ vọng lý thuyết thì được trừ từ y và được chia bởi sy = sn. Khi yy12, , , yn là mẫu ngẫu nhiên từ phân phối chuẩn N (μ,σ 2 ) , biến ngẫu nhiên y và s là độc lập. Cũng sẽ tương tự cho dạng đặc trưng của thống kê T 2 trong trường hợp nhiều chiều. ___