›
›

Bài giảng Trí tuệ nhân tạo - Giới thiệu máy học mô hình Naïve Nayes

pdf 29 trang hapham 1380
Download
Bạn đang xem 20 trang mẫu của tài liệu "Bài giảng Trí tuệ nhân tạo - Giới thiệu máy học mô hình Naïve Nayes", để tải tài liệu gốc về máy bạn click vào nút DOWNLOAD ở trên

Tài liệu đính kèm:

  • pdfbai_giang_tri_tue_nhan_tao_gioi_thieu_may_hoc_mo_hinh_nave_n.pdf

Nội dung text: Bài giảng Trí tuệ nhân tạo - Giới thiệu máy học mô hình Naïve Nayes

  1. GII THIU MÁY HC MƠ HÌNH NẠVE BAYES TRÍ TU NHÂN TO
  2. Ni dung trình bày 2  Gii thiu Máy hc  Các vn đ và ví d ca Máy hc  Mơ hình Nạve Bayes
  3. Hc là gì? 3  ghi nh điu gì đĩ  hc các s kin qua quan sát và thăm dị  ci thin các k năng vn đng và/hay nhn thc qua vic luyn tp  t chc tri thc mi thành các biu din tng quát, hiu qu “Hc là quá trình t ci bin ca h, rút ra t quá kh nhng th giúp hành đng thích hp hơn trong tương lai”
  4. Qui np 4  Socrates là ngưi, đã cht.  Platon là ngưi, đã cht.  Aristote là ngưi, đã cht.   Tt c mi ngưi đu cht.  Hawking là ngưi, s cht.
  5. Phân loi Máy hc 5  Hc cĩ giám sát : cho trưc mt tp mu các cp input/output, tìm mt lut thc hin vic d đốn các kt xut gn vi các input mi  Hc khơng giám sát: cho trưc mt tp mu, nhưng chưa gán nhãn, gom nhĩm các mu thành các cm “t nhiên”  Hc tăng cưng: mt agent tương tác vi th gii thc hin các quan sát, hành đng, và đưc thưng hay pht; nĩ s hc đ chn các hành đng theo cách đ nhn đưc nhiu phn thưng
  6. Hc cĩ giám sát 6  Cho mt tp các thuc tính X 1, X 2, , X n gi là các thuc tính quan sát. X i cĩ min xác đnh D Xi  Mt thuc tính Y gi là thuc tính phân lp. Y cĩ min xác đnh D Y  Cho mt tp các d liu (gi là d liu hc hay t t t t t t hun luyn): D = { }, x = ∈ DX1 x D X2 x x D Xn , y t ∈ DY. Mi phn t trong D gi là mt mu hc  Cho mt mu quan sát x = hi giá tr ca thuc tính phân lp Y gn vi mu này là gì? (hay x thuc lp nào?)
  7. Hc mt Hàm 7 Cho trưc mt tp mu các cp input/output, tìm mt hàm làm tt đưc cơng vic biu din mi quan h  Phát âm: hàm ánh x t ký t sang âm thanh  Ném mt qu bĩng: hàm ánh x t v trí đích thành qu đo cánh tay  ðc các ch vit tay: hàm ánh x t tp các đim nh thành các ký t  Chn đốn bnh: hàm ánh x t các kt qu xét nghim thành các loi bnh tt
  8. Các vn đ đ hc mt hàm 8  ghi nh  ly trung bình  tng quát hố
  9. Bài tốn ví d 9 Khi nào thì lái xe (drive or walk) ? Ph thuc vào:  nhit đ (temperature)  mưa tuyt d kin (expected precipitation)  ngày trong tun (day of the week)  cơ y cĩ cn đi mua sm trên đưng v hay khơng (whether she needs to shop on the way home)  cơ y đang mc gì (what’s she wearing)
  10. Ghi nh 10 temp precip day shop clothes 80 none sat no casual walk 19 snow mon yes casual drive 65 none tues no casual walk 19 snow mon yes casual
  11. Ghi nh 11 temp precip day shop clothes 80 none sat no casual walk 19 snow mon yes casual drive 65 none tues no casual walk 19 snow mon yes casual drive
  12. Ly trung bình 12 X lý nhiu trong d liu temp precip day shop clothes 80 none sat no casual walk 80 none sat no casual drive 80 none sat no casual drive 80 none sat no casual walk 80 none sat no casual walk 80 none sat no casual walk 80 none sat no casual walk 80 none sat no casual
  13. Ly trung bình 13 X lý nhiu trong d liu temp precip day shop clothes 80 none sat no casual walk 80 none sat no casual drive 80 none sat no casual drive 80 none sat no casual walk 80 none sat no casual walk 80 none sat no casual walk 80 none sat no casual walk 80 none sat no casual walk
  14. Nhiu cm bin 14 X lý nhiu trong d liu temp precip day shop clothes 81 none sat no casual walk 82 none sat no casual walk 78 none sat no casual drive 21 none sat no casual drive 18 none sat no casual drive 19 none sat no casual drive 17 none sat no casual drive 20 none sat no casual
  15. Nhiu cm bin 15 X lý nhiu trong d liu temp precip day shop clothes 81 none sat no casual walk 82 none sat no casual walk 78 none sat no casual drive 21 none sat no casual drive 18 none sat no casual drive 19 none sat no casual drive 17 none sat no casual drive 20 none sat no casual drive
  16. Tng quát hố 16 X lý d liu chưa tng gp trưc đây temp precip day shop clothes 71 none fri yes formal drive 38 none sun yes casual walk 62 rain weds no casual walk 93 none mon no casual drive 55 none sat no formal drive 80 none sat no casual walk 19 snow mon yes casual drive 65 none tues no casual walk
  17. Tng quát hố 17 X lý d liu chưa tng gp trưc đây temp precip day shop clothes 71 none fri yes formal drive 38 none sun yes casual walk 62 rain weds no casual walk 93 none mon no casual drive 55 none sat no formal drive 80 none sat no casual walk 19 snow mon yes casual drive 65 none tues no casual walk 58 rain mon no casual
  18. Mt phương pháp hc đơn gin Nearest Neighbor 18  Nh tt c d liu  Khi đưc hi:  Tìm d liu đã bit ging nht  Tr v kt qu gn vi d liu đĩ
  19. Nạve Bayes 19  Da trên lut suy din xác sut ca Bayes P( X | Y).P( Y) P( Y | X ) = ___ P( X)  Cp nht xác sut ca gi thit da trên chng c  Chn gi thit cĩ xác sut ln nht sau khi tích hp các chng c  Thut tốn đc bit hu ích cho các lĩnh vc cĩ nhiu đc trưng
  20. Nạve Bayes (tt) 20  Gi X = (X 1, X 2, , X n) là các thuc tính quan sát, Y là thuc tính phân lp.  Vi quan sát x, tìm y k ∈ DY sao cho P(y = y k|x) là ln nht. P( x|y=y k).P( y=yk) ___ P(y = yk|x) = P(x)  P(x) là như nhau đi vi mi phân lp  Mơ hình Nạve Bayes gi s các thuc tính quan sát đc lp cĩ điu kin khi cho trưc Y P(x|y=y k) = P(x 1|y=y k).P(x 2|y=y k) P(x n|y=y k)
  21. Nạve Bayes (tt) 21  Các xác xut tính bng cách thng kê tn xut trong tp d liu  P(y k) = P(y=y k) = (s mu thuc lp y k)/(tng s mu)  Ri(x i,y k) = P(X i=x i|y=y k) = (s mu trong lp y k cĩ X i = x i)/(s mu ca lp y k)  S(y k) = P(y k). ∏i=1 n Ri(x i,y k)  Chn lp y k sao cho S(y k) ln nht
  22. Ví d 22 f1 f2 f3 f4 y  P(1) = 5/10: t l các mu 0 1 1 0 1 dương(y=1) 0 0 1 1 1  P(0) = 5/10: t l các mu 1 0 1 0 1 âm(y=0) 0 0 1 1 1  R1(1,1 ) = 1/5: t l tt c các mu dương cĩ đc trưng 1 = 1 0 0 0 0 1 1 0 0 1 0  R1(0,1) = 4/5: t l tt c các mu dương cĩ đc trưng 1 = 0 1 1 0 1 0  R1(1,0) = 5/5: t l tt c các mu 1 0 0 0 0 âm cĩ đc trưng 1 = 1 1 1 0 1 0  R1(0,0) = 0/5: t l tt c các mu 1 0 1 1 0 âm cĩ đc trưng 1 = 0
  23. Ví d 23 f1 f2 f3 f4 y R1(1,1) = 1/5 R1(0,1) = 4/5 0 1 1 0 1 R1(1,0) = 5/5 R1(0,0) = 0/5 0 0 1 1 1 1 0 1 0 1 R2(1,1) = 1/5 R2(0,1) = 4/5 0 0 1 1 1 R2(1,0) = 2/5 R2(0,0) = 3/5 0 0 0 0 1 1 0 0 1 0 R3(1,1) = 4/5 R3(0,1) = 1/5 1 1 0 1 0 R3(1,0) = 1/5 R3(0,0) = 4/5 1 0 0 0 0 1 1 0 1 0 R4(1,1) = 2/5 R4(0,1) = 3/5 1 0 1 1 0 R4(1,0) = 4/5 R4(0,0) = 1/5
  24. D đốn R1(1,1) = 1/5 R1(0,1) = 4/5 R1(1,0) = 5/5 R1(0,0) = 0/5 R2(1,1) = 1/5 R2(0,1) = 4/5 R2(1,0) = 2/5 R2(0,0) = 3/5 R3(1,1) = 4/5 R3(0,1) = 1/5 R3(1,0) = 1/5 R3(0,0) = 4/5 R4(1,1) = 2/5 R4(0,1) = 3/5 R4(1,0) = 4/5 R4(0,0) = 1/5  Mu mi x =  S(1) = P(1) * R 1(0,1) * R 2(0,1) * R 3(1,1) * R 4(1,1) = .205  S(0) = P(0) * R 1(0,0) * R 2(0,0) * R 3(1,0) * R 4(1,0) = 0  Ta cĩ S(1) > S(0), do đĩ d đốn lp 1 Trang 24
  25. Phép sa li Laplace 25 Tránh s xut hin ca 0 trong xác sut •P(y k) = (s mu thuc lp y k + 1)/(tng s mu + s phân lp) •Ri(x i,y k) = (s mu trong lp y k cĩ X i = x i + 1)/(s mu ca lp y k + |D Xi |)
  26. Ví d vi Sa li 26 f1 f2 f3 f4 y R1(1,1) = 2/7 R1(0,1) = 5/7 0 1 1 0 1 R1(1,0) = 6/7 R1(0,0) = 1/7 0 0 1 1 1 1 0 1 0 1 R2(1,1) = 2/7 R2(0,1) = 5/7 0 0 1 1 1 R2(1,0) = 3/7 R2(0,0) = 4/7 0 0 0 0 1 1 0 0 1 0 R3(1,1) = 5/7 R3(0,1) = 2/7 1 1 0 1 0 R3(1,0) = 2/7 R3(0,0) = 5/7 1 0 0 0 0 1 1 0 1 0 R4(1,1) = 3/7 R4(0,1) = 4/7 1 0 1 1 0 R4(1,0) = 5/7 R4(0,0) = 2/7
  27. D đốn R1(1,1) = 2/7 R1(0,1) = 5/7 R1(1,0) = 6/7 R1(0,0) = 1/7 R2(1,1) = 2/7 R2(0,1) = 5/7 R2(1,0) = 3/7 R2(0,0) = 4/7 R3(1,1) = 5/7 R3(0,1) = 2/7 R3(1,0) = 2/7 R3(0,0) = 5/7 R4(1,1) = 3/7 R4(0,1) = 4/7 R4(1,0) = 5/7 R4(0,0) = 2/7  Mu mi x =  S(1) = R 1(0,1) * R 2(0,1) * R 3(1,1) * R 4(1,1) = .156  S(0) = R 1(0,0) * R 2(0,0) * R 3(1,0) * R 4(1,0) = .017  Ta cĩ S(1) > S(0), do đĩ d đốn lp 1 Trang 27
  28. ðiu cn nm 28  Các vn đ ca hc máy  Hiu và s dng đưc mơ hình Nạve Bayes  Nm đưc các vn đ ca Nạve Bayes
  29. Thc mc 29