Báo cáo nghiên cứu khoa học Xác định quan hệ mờ bằng mạng Nơron nhân tạo

Nội dung text: Báo cáo nghiên cứu khoa học Xác định quan hệ mờ bằng mạng Nơron nhân tạo

1. TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN  BÁO CÁO NGHIÊN CỨU KHOA HỌC Tên đề tài: XÁC ĐỊNH QUAN HỆ MỜ BẰNG MẠNG NƠRON NHÂN TẠO Giáo viên hướng dẫn : T.S Nguyễn Tân Ân Sinh viên thực hiện : Nguyễn Thị Thuý Chinh. Lớp : C-K54-CNTT. Hà Nội 4/2008
2. B¸o c¸o nghiªn cøu khoa häc PHẦN MỞ ĐẦU 1. Tên đề tài Xác định quan hệ mờ bằng mạng nơron nhân tạo. 2. Lý do chọn đề tài Từ 20 năm nay, lý thuyết tập mờ và mạng nơron nhân tạo đã phát triển rất nhanh và đa dạng. Công nghệ mờ và công nghệ mạng nơron đã cung cấp những công nghệ mới cho các ngành công nghiệp làm ra nhiều sản phẩm thông minh, đáp ứng nhu cầu thị trường cần có những bộ điều khiển linh hoạt hơn. Hệ mờ và mạng nơron được kết hợp với nhau để cùng phát huy những ưu điểm của chúng. Một trong những dạng kết hợp đó là mạng nơron mờ, nhờ có nó mà chúng ta đã giải quyết được rất nhiều bài toán khó mà với thuật giải thông thì không thực hiện được hoặc nếu có thì cũng rất phức tạp và mất nhiều thời gian. Với bài toán xác định quan hệ giữa không gian vào và không gian ra dựa trên các cặp phần tử vào ra đã biết. Cụ thể cho không gian vào X , không gian ra Y và các cặp phần tử vào ra (x, y)đã biết , tức là cho một phần tử xÎ X thì có một phần tử ra tương ứng yÎ Y . Yêu cầu bài toán đặt ra là xác định quan hệ R giữa X và Y . Một trong những phương pháp thường được sử dụng để giải quyết bài toán trên đó là phương pháp bình phương bé nhất. Để giảm độ phức tạp và thời gian tính toán trong báo cào này tôi sử dụng một phương pháp mới đó là dùng mạng nơron nhân tạo. Và quan hệ giữa không gian vào và ra xác định được không phải là quan hệ bình thường mà là quan hệ mờ. Bài nghiên cứu gồm những phần sau: I. Tổng quan lý thuyết tập mờ và quan hệ mờ Giới thiệu về khái niệm tập mờ, các phép toán trên tập mờ, quan hệ mờ. II. Giới thiệu về mạng nơron nhân tạo. Giới thiệu cấu trúc của một nơron, định nghĩa và phân loại mạng nơron, các thủ học mạng nơron, thuật toán lan truyền ngược. Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 2
3. B¸o c¸o nghiªn cøu khoa häc III. Bài toán xác định quan hệ mờ bằng mạng nơron nhân tạo Ánh xạ bài toán xác định quan hệ mờ lên mạng nơron nhân tạo, đưa ra cách huấn luyện mạng. Cuối cùng là demo thuật toán xác định quan hệ mờ bằng mạng nơron nhân tạo. I. Tổng quan lý thuyết tập mờ và quan hệ mờ 1.1 Khái niệm tập mờ Tập mờ được xem là sự mở rộng trực tiếp của tập kinh điển. Bây giờ ta xét khái niệm hàm thuộc của tập kinh điển. Định nghĩa 1.1 Cho một tập hợp A. Ánh xạ m:U ® { 0,1} được định nghĩa như sau: ïì 1 nÕu xÎ A mA (x)= í (1.1) îï 0 nÕu xÏ A được gọi là hàm thuộc của tập A . Tập A là tập kinh điển, U là không gian nền. Như vậy hàm thuộc của tập cổ điển chỉ nhận hai giá trị là 0 hoặc 1. Giá trị 1 của hàm thuộc mA (x) còn được gọi là giá trị đúng, ngược lại 0 là giá trị sai của mA (x). Một tập U luôn có mU (x)= 1, với mọi x được gọi là không gian nền (tập nền). Một tập A có dạng A={ x Î U x tho¶ m·n mét sè tÝnh chÊt nµo ®ã} thì được gọi là có tập nền U , hay được định nghĩa trên tập nền U . Ví dụ tập A={ x Î¥ 9 < x < 12} có tập nền là tập các số tự nhiên ¥ . Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 3
4. B¸o c¸o nghiªn cøu khoa häc Hàm thuộc mA (x) định nghĩa trên tập A , trong khái niệm kinh điển chỉ có hai giá trị là 1 nếu xÎ A hoặc 0 nếu xÏ A . Hình 1.1 mô tả hàm thuộc của hàm mA (x), trong đó tập A được định nghĩa như sau: A={ x Ρ 2 < x < 6}. (1.2)  A (x) 1 0 2 6 x Hình 1.1. Hàm thuộc mA (x) của tập kinh điển A . Cách biểu diễn hàm phụ thuộc như vậy không phù hợp với những tập được mô tả “mờ” như tập B gồm các số thực dương nhỏ hơn nhiều so với 6 B={ x Î ¡ x = 6}, (1.3) có tập nền là ¡ , hoặc tập C gồm các số thực gần bằng 3 cũng có tập nền ¡ C={ x Ρ x » 3} (1.4) Tập B , C như vậy được gọi là các tập mờ. Lý do là với những định nghĩa “mờ” như vậy chưa đủ để xác định được một số chẳng hạn như x = 4,5 có thuộc B hoặc x = 2,5 có thuộc C hay không. Nên chúng ta không thể dùng hàm thuộc của tập cổ điển chỉ có hai giá trị 1 và 0 để định nghĩa tập B và C trong trường hợp này. Vì vậy người ta nghĩ rằng: tại sao lại không mở rộng miền giá trị cho hàm thuộc của tập cổ điển, tức là hàm thuộc sẽ có nhiều hơn hai giá trị. Khi đó thay vì việc trả lời câu hỏi x = 4,5 có thuộc B hay không, ngưòi ta sẽ trả lời câu hỏi là: vậy thì x = 4,5 thuộc B bao nhiêu phần trăm? Giả sử rằng có Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 4
5. B¸o c¸o nghiªn cøu khoa häc câu trả lời thì lúc này hàm thuộc mB (x) tại điểm x = 4,5 phải có một giá trị trong đoạn [0,1], tức là 0£mB (x) £ 1 (1.5) Nói cách khác hàm mB (x) không còn là hàm hai giá trị như đối với tập kinh điển nữa mà là một ánh xạ (hình 1.2) mB :U ® [ 0,1], (1.6) trong đó U là tập nền của tập “mờ”. Hình 1.2 a, Hàm phụ thuộc của tập “mờ” B b, Hàm phụ thuộc của tập “mờ” C Định nghĩa 1.2 Tập mờ F xác định trên tập kinh điển U là một tập mà mỗi phần tử của nó là một cặp các giá trị (x,mF ( x)) trong đó xÎ U và mF là một ánh xạ mF :U ® [ 0,1]. (1.7) Ánh xạ mF được gọi là hàm thuộc (hàm phụ thuộc hay hàm thành viên ) của tập mờ F . Tập kinh điển U được gọi là tập nền (hay tập vũ trụ) của tập mờ F . Ví dụ một tập mờ F của các số tự nhiên nhỏ hơn 6 với hàm phụ thuộc mF (x) có dạng như hình 1.2a định nghĩa trên nền U sẽ chứa các phần tử sau Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 5
6. B¸o c¸o nghiªn cøu khoa häc F = {(1, 1) ,( 2, 1) ,( 3, 0,8) ,( 4, 0,07)}. Số tự nhiên 1 và 2 có độ phụ thuộc mFF(1)= m ( 2) = 1, các số tự nhiên 3 và 4 có độ phụ thuộc nhỏ hơn 1 mF (3)= 0,8 và mF (4)= 0,07 , Những số tự nhiên không được liệt kê đều có độ phụ thuộc bằng 0. 1.2 Các phép toán về tập mờ Giống như định nghĩa về tập mờ các phép toán trên tập mờ cũng sẽ được định nghĩa thông qua các hàm thuộc. Nói cách khác, khái niệm xây dựng những phép toán trên tập mờ là việc xác định các hàm thuộc cho phép hợp, giao , bù từ những tập mờ. Một nguyên tắc cơ bản trong việc xây dựng các phép toán trên tập mờ là không được mâu thuẫn với những phép toán đã có trong lý thuyết tập hợp kinh điển. 1.2.1 Phép hợp Cho hai tập hợp mờ A và B có cùng không gian nền U với hai hàm thuộc tương ứng là mA (x) và mB (x). Hợp của A và B là một tập mờ cũng xác định trên U , kí hiệu là ABÈ có hàm thuộc mABÈ (x) thoả mãn: i. mABÈ (x) chỉ phụ thuộc vào mA (x) và mB (x). ii. mB (x)= 0 với " x Þ mABÈ (x) = mA (x). iii. Tính giao hoán, tức là mABBAÈÈ(x)= m ( x). iv. Tính kết hợp, tức là m()()ABCABCÈÈÈÈ(x)= m ( x). v. Là hàm không giảm: mx£ m x Þ mx£ m x . AA1( ) 2 ( ) ABAB1ÈÈ( ) 2 ( ) Để tính hàm thuộc mABÈ (x) có nhiều cách khác nhau, sau đây là một công thức được dùng trong báo cáo này: mABABÈ (x)= max{ m( x) , m ( x)} (Luật lấy max) (1.8) Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 6
7. B¸o c¸o nghiªn cøu khoa häc   B ()x A ()x a) x x   A ()x B ()x b) x Hình 1.3. Hàm thuộc của hai tập mờ có cùng không gian nền a) Hàm thuộc của hai tập mờ A và B b) Hợp của hai tập mờ A và B theo luật max. Một cách tổng quát thì bất cứ một ánh xạ dạng mABÈ (x): U ® [ 0,1] nếu thoả mãn 5 tiêu chuẩn đã nêu trong định nghĩa hợp hai tập mờ đều được xem như là hợp của hai tập mờ A và B có chung một không gian nền U . Công thức trên cũng được mở rộng để áp dụng cho việc xác định hợp của hai tập mờ không cùng không gian nền, bằng cách đưa cả hai tập mờ về chung một không gian nền là tích của hai tập nền đã cho. Ví dụ cho tập mờ A xác định trên không gian nền M và tập mờ B xác định trên không gian nền N . Do hai tập nền M và N độc lập với nhau nên hàm thuộc mA (x), xÎ M của tập mờ A sẽ không phụ thuộc vào N và ngược lại mB (x), yÎ N của tập B cũng sẽ không phụ thuộc vào M . Điều đó thể hiện ở chỗ trên không gian nền mới là tập tích MN´ hàm mA (x) phải là một mặt “cong” dọc theo trục y và mB (x) là một mặt “cong” dọc theo trục x (hình 1.4). Tập mờ A như vậy được định nghĩa trên hai không gian nền M và Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 7
8. B¸o c¸o nghiªn cøu khoa häc MN´ . Để phân biệt được chúng, sau đây kí hiệu A sẽ được dùng để chỉ tập mờ A trên không gian nền MN´ . Đối với các tập mờ khác cũng được kí hiệu tương tự. Với kí hiệu đó thì mAA(x, y)= m ( x) với mọi yÎ N và mBB(x, y)= m ( x) với mọi xÎ M . a.   ()x   ()x A B x y   (,)x y   (,)x y B A b. x M×N x M×N y y    (,)x y c. AB M×N x y Hình 1.4. Phép hợp hai tập mờ không cùng nền a. Hàm thuộc của hai tập mờ A và B b. Đưa hai tập mờ về chung một nền MN´ c. Hợp hai tập mờ trên nền MN´ Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 8
9. B¸o c¸o nghiªn cøu khoa häc Sau khi đã đưa được hai tập mờ A và B về chung một không gian nền là MN´ thành A và B thì hàm thuộc mABÈ (x, y) của tập mờ ABÈ được xác định theo công thức (1.8). Hợp hai tập mờ theo luật max Cho tập mờ A xác định trên không gian nền M và tập mờ B xác định trên không gian nền N , có hàm thuộc lần lượt là mA (x), mB (x). Hợp của hai tập mờ A và B theo luật max là một tập mờ xác định trên không gian nền MN´ với hàm thuộc mABABÈ (x, y)= max{ m( x , y) , m ( x , y)}. (1.9) trong đó mAA(x, y)= m ( x) với mọi yÎ N và mBB(x, y)= m ( x) với mọi xÎ M . Một cách tổng quát, do hàm thuộc mABÈ (x, y) của hợp hai tập mờ A , B không cùng không gian nền chỉ phụ thuộc vào mA (x)Î [0,1] và mB (x)Î [0,1] nên ta có thể xem mABÈ (x, y) là hàm của hai biến mA , mB được định nghĩa như sau 2 mABABÈ (x, y)= m( m , m ) :[ 0,1] ® [ 0,1] (1.10) Ta đi đến định nghĩa về hàm thuộc m( mAB, m ) của hợp hai tập mờ không cùng không gian nền: Định nghĩa 1.3 Hàm thuộc của hợp giữa hai tập mờ A với mA (x) định nghĩa trên không gian nền M và B với mB (x) định nghĩa trên không gian nền N là một hàm 2 hai biến m( mAB, m ) :[ 0,1] ® [ 0,1] xác định trên nền MN´ thoả mãn: a) mB =0 Þ m( mABA, m)= m . Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 9
10. B¸o c¸o nghiªn cøu khoa häc b) m( mABBA,, m)= m( m m ), tức là có tính giao hoán. c) m( mABCABC,,,, m( m m))= m( m( m m) m ), tức là có tính kết hợp. d) m( mABCDACBD, m)£ m( m , m) , " m £ m , m £ m , tức là có tính không giảm. 2 Một hàm hai biến m( mAB, m ) :[ 0,1] ® [ 0,1] thoả mãn các điều kiện của định nghĩa trên còn được gọi là hàm t-đối chuẩn (t-conorm). 1.2.2 Phép giao Cho hai tập hợp mờ A và B có cùng không gian nền U với hai hàm thuộc tương ứng là mA (x) và mB (x). Giao của A và B là một tập mờ cũng xác định trên U , kí hiệu là ABI có hàm thuộc mABI (x) thoả mãn: i. mABI (x) chỉ phụ thuộc vào mA (x) và mB (x). ii. mB (x)= 1 với " x Þ mABI (x) = mA (x). iii. Tính giao hoán, tức là mABBAII(x)= m ( x). iv. Tính kết hợp, tức là m()()ABCABCIIII(x)= m ( x). v. Nếu AA1Í 2 thì ABAB1ÇÍÇ 2 hay mABÈ (x) có tính chất không giảm, tức là mx£ m x Þ mx£ m x . AA1( ) 2 ( ) ABAB1ÇÇ( ) 2 ( ) Tương tự như đã trình bày về phép hợp hai tập mờ, có nhiều công thức khác nhau để tính hàm thuộc mABI (x) của giao hai tập mờ và bất cứ một ánh xạ mABI (x): U ® [ 0,1] nào thoả mãn 5 tiêu chuẩn đã nêu trong định nghĩa trên đều được xem như là hàm thuộc của giao hai tập mờ A và B có chung một không gian nền U . Sau đây là một trong những công thức để tính hàm thuộc mABI (x) của phép giao gồm: Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 10
11. B¸o c¸o nghiªn cøu khoa häc mABABI (x)= min{ m( x) , m ( x)} (Luật min) (1.11) Công thức trên cũng áp dụng được cho hợp hai tập mờ không cùng không gian nền bằng cách đưa cả hai tập mờ về chung một không gian nền là tích của hai không gian nền đã cho.     A ()x B ()x  A ()x B ()x  A ()x B ()x x x x b) a) c)  AB (,)x y x M×N y d) Hình 1.5. Phép giao của hai tập mờ a) Hàm thuộc của hai tập mờ A và B . b) Phép giao hai tập mờ cùng không gian nền theo luật min. c) Phép giao hai tập mờ cùng không gian nền theo luật tích đại số. d) Phép giao hai tập mờ không cùng khôn gian nền Giao của hai tập mờ theo luật min Giao của hai tập mờ A với hàm thuộc mA (x) định nghĩa trên không gian nền M và B với hàm thuộc mB (x) định nghĩa trên không gian nền N là một tập mờ xác định trên không gian nền MN´ có hàm thuộc Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 11
12. B¸o c¸o nghiªn cøu khoa häc mABABABÇ (x, y)= min{ m( x) , m( y)} = min{ m( x ,, y) m ( x , y)}. (1.12) Trong đó mAA(x, y)= m ( x) với mọi yÎ N và mBB(x, y)= m ( x) với mọi xÎ M . Với ví dụ về tập mờ A , B có hàm đặc tính như trong hình 1.5a thì tập giao của chúng trên tập nền chung MN´ sẽ có hàm thuộc mô tả như trong hình 1.5d. Trong ví dụ trên ta thấy hàm thuộc mABÇ (x, y) của giao hai tập mờ A , B không cùng không gian nền chỉ phụ thuộc vào mA (x)Î [0,1] và mB (x)Î [0,1]. Do đó không mất tính tổng quát nếu ta xem mABÇ (x, y) là hàm của hai biến mA , mB được định nghĩa như sau 2 mABABÇ (x, y)= m( m , m ) :[ 0,1] ® [ 0,1] (1.13) Ta đi đến định nghĩa về hàm thuộc m( mAB, m ) của hợp hai tập mờ không cùng không gian nền như sau: Định nghĩa 1.4 Hàm thuộc của hợp giữa hai tập mờ A với mA (x) định nghĩa trên không gian nền M và B với mB (x) định nghĩa trên không gian nền N là một hàm 2 hai biến m( mAB, m ) :[ 0,1] ® [ 0,1] xác định trên nền MN´ thoả mãn: e) mB =1 Þ m( mABA, m)= m . f) m( mABBA,, m)= m( m m ), tức là có tính giao hoán. g) m( mABCABC,,,, m( m m))= m( m( m m) m ), tức là có tính kết hợp. h) m( mABCDACBD, m)£ m( m , m) , " m £ m , m £ m , tức là có tính không giảm. Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 12
13. B¸o c¸o nghiªn cøu khoa häc 2 Một hàm hai biến m( mAB, m ) :[ 0,1] ® [ 0,1] thoả mãn các điều kiện của định nghĩa trên còn được gọi là hàm t- chuẩn (t-norm). 1.2.3 Phép bù Cho tập mờ A trên không gian nền U . Phép bù của A là một tập mờ cũng xác định trên không gian nền U , kí hiệu là Ac , nó có hàm thuộc thoả mãn: i. m x chỉ phụ thuộc vào m x . Ac ( ) A ( ) ii. Nếu xÎ A thì xÏ Ac , hay m x = 1 m x = 0 A ( ) Þ Ac ( ) iii. Nếu xÏ A thì c , hay m x = 0 m x = 1 xÎ A A ( ) Þ Ac ( ) iv.Nếu ABÍ thì ABcÊ c , tức là mx£ m x AA1( ) 2 ( ) Þ mx³ m x . ABAB1ÈÈ( ) 2 ( ) Do hàm thuộc m x của c chỉ phụ thuộc vào m x nên ta có thể xem Ac ( ) A A ( ) m x như là một hàm của m x trong 0,1 . Từ đó đưa ra định nghĩa tổng Ac ( ) A ( ) [ ] quát hơn về phép bù mờ như sau: Định nghĩa 1.5 Tập bù của tập mờ A xác định trên không gian nền U là một tập mờ Ac cũng xác định trên không gian nền U với hàm thuộc m( mA ) :[ 0,1]® [ 0,1] thoả mãn i. m(1)= 0 và m(0)= 1 ii, mABAB£ m Þ m( m) ³ m( m ), tức là hàm không tăng. Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 13
14. B¸o c¸o nghiªn cøu khoa häc A ()x  c ()x A 1 x a) b) Hình 1.6: Tập bù mạnh Ac của tập mờ A . a. Hàm thuộc của tập mờ A . b. Hàm thuộc của tập mờ Ac . 1.3. Quan hệ mờ Định nghĩa 1.6 Cho X , Y là hai không gian nền. R gọi là một quan hệ mờ trên X ´ Y nếu R là một tập mờ trên X ´ Y , tức là có một hàm thuộc mR : XY´ ® [ 0,1], ở đây mR (x,, y)= R( x y) là độ thuộc của (x, y) vào quan hệ R . - Tính bắc cầu Định nghĩa: Quan hệ mờ R trên X ´ X gọi là: a) Min-chuyển tiếp nếu min{RxyRyz( ,,) ( ,)}£ Rxz( ,) " xyz,, Î X b) Bắc cầu yếu nếu "Îx,, y z X có R( x,, y)> R( y x) và R( y,, z)> R( z y) thì R( x,, z)> R( z x). c) bắc cầu tham số nếu có một số 0 q > R( y x) và R( y,, z)>q > R( z y) thì R( x,, z)>q > R( z x) * Phương trình quan hệ mờ Phương trình quan hệ mờ lần đầu tiên nghiên cứu bởi GS.Sanchez năm 1976, đóng vai trò quan trọng trong các lĩnh vực phân tích các hệ mờ, thiết kế Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 14
15. B¸o c¸o nghiªn cøu khoa häc các bộ điều khiển mờ, quá trình lấy quyết định và nhận dạng mờ.Dạng đơn giản nhất có thể diễn đạt như sau: Cho một hệ mờ biểu diễn dưới dạng một quan hệ mờ nhị nguyên R trên không gian tích X ´ Y . Đầu vào (input) của hệ là một tập mờ A cho trên không gian nền input X . Tác động của đầu vào A với hệ R sẽ là phép hợp thành ARo sẽ cho ở đầu ra (output) một tập mờ trên không gian nền Y , kí hiệu là B . Khi ấy ta có ARBo = . II. Giới thiệu về mạng nơron nhân tạo Mạng nơron hay mạng nơron nhân tạo là sự tái tạo bằng kỹ thuật những chức năng của hệ thần kinh con người. Trong quá trình tái tạo không phải tất cả các chức năng của bộ não con người có đều được tái tạo, mà chỉ có những chức năng cần thiết. Bên cạnh đó còn có những chức năng mới được tạo ra nhằm giải quyết một bài toán điều khiển đã định hướng trước. Trước khi tìm hiểu về mạng nơron chúng ta giới thiệu sơ lược về mạng nơron sinh học. 2.1. Mạng nơron sinh học Não người là tổ chức vật chất cấp cao, có cấu tạo vô cùng phức tạp, dày đặc các mối liên kết giữa các nơron nhưng xử lý thông tin rất linh hoạt trong môi trường bất định. Hình 2.1. Mô hình mạng nơron sinh học Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 15
16. B¸o c¸o nghiªn cøu khoa häc Trong bộ não người có khoảng 1011 - 10 12 tế bào thần kinh được gọi là các nơron và mỗi nơron có thể liên kết với 1014 nơron khác thông qua các khớp nối thần kinh (synapse). Dưới con mắt của những người làm tin học cấu tạo của mỗi nơron gồm các thành phần cơ bản sau: - Thân nơron được giới hạn trong một màng membran và trong cùng là nhân. Từ thân nơron còn có rất nhiều đường rẽ nhánh tạm gọi là rễ. - “Bus” liên kết nơron này với các nơron khác được gọi là axon, trên axon có các đường rẽ nhánh. Nơron còn có thể liên kết với các nơron khác qua các rễ. Chính vì cách liên kết đa dạng như vậy nên mạng nơron có độ liên kết rất cao. Các rễ của noron được chia làm hai loại: loại nhận thông tin từ các nơron khác qua axon, mà ta sẽ gọi là rễ đầu vào và loại đưa thông tin qua axon tới các nơron khác, gọi là rễ đầu ra. Một nơron có thể có nhiều rễ đầu vào, nhưng chỉ có một rễ đầu ra. Bởi vậy nếu coi nơron như một khâu điều khiển thì nó chính là khâu có nhiều đầu vào, một đầu ra. Một nơron sẽ ở trạng thái kích thích khi tại đầu vào xuất hiện một tín hiệu tác động vượt quá ngưỡng cân bằng của nơron. Một tính chất rất cơ bản của mạng nơron sinh học là các đáp ứng theo kích thích có khả năng thay đổi theo thời gian. Các đáp ứng có thể tăng lên, giảm đi hoặc hoàn toàn biến mất. Qua các nhánh axon liên kết tế bào nơron này với các nơron khác, sự thay đổi trạng thái của một nơron cũng dẫn theo sự thay đổi trạng thái của những nơron khác và do đó là sự thay đổi của toàn bộ mạng nơron. Việc thay đổi trạng thái của mạng nơron có thể thực hiện qua một quá trình “dạy” hoặc do khả năng “học” tự nhiên. Cấu trúc của mạng nơron luôn luôn phát triển và thay đổi để thích nghi dần với môi trường, làm cho cấu trúc bộ não ngày càng trở nên phức tạp sau mỗi lần học. Một số cấu trúc của nơron được xác định trước, một số sau này mới được hình thành và một số thì bị huỷ bỏ qua quá trình chọn lọc tự nhiên, học và thích nghi. Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 16
17. B¸o c¸o nghiªn cøu khoa häc Các nhà khoa học đã và đang xây dựng và phát triển các mô hình xử lý thông tin mô phỏng hoạt dộng của bộ não người. Đó chính là mô hình mạng nơron nhân tạo. 2.2. Mạng nơron nhân tạo 2.2.1 Mô hình nơron nhân tạo Một nơron nhân tạo phản ánh các tính chất cơ bản của nơron sinh học. Mỗi nơron nhân tạo là một đơn vị xử lí thông tin làm cơ sở cho hoạt động của một mạng nơron. Nó có chức năng nhận tín hiệu vào, tổng hợp và xử lý các tín hiệu vào để tính tín hiệu ra. Dưới đây là một mô hình của một nơron nhân tạo. qj w x 1 1j j y w net j 2j f net x 2 å () M wnj x n Hình 2.2. Mô hình một nơron nhân tạo Trong đó: - xi với i= 1,2, , n: các tín hiệu đầu vào. - wij với i= 1,2, , n: các trọng số tương ứng với đầu vào. - qj : ngưỡng kích hoạt của nơron j . - net : tín hiệu tổng hợp đầu vào. - f() net : Hàm kích hoạt. - yj : tín hiệu ra của nơron j . Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 17
18. B¸o c¸o nghiªn cøu khoa häc Đầu vào của nơron nhân tạo gồm n tín hiệu xi với i= 1,2, , n. Mỗi tín hiệu đầu vào tương ứng với một trọng số wij với i= 1,2, , n, nó thể hiện mức độ ảnh hưởng của tín hiệu xi đến nơron j . Một nơron có thể có nhiều đầu vào nhưng chỉ có một tín hiệu đầu ra. Tín hiệu đầu vào của một nơron có thể là dữ liệu từ bên ngoài mạng, hoặc đầu ra của một nơron khác, hoặc là đầu ra của chính nó. Nhằm tăng khả năng thích nghi của mạng nơron trong quá trình học, người ta sử dụng gán thêm một tham số (Bias) cho mỗi nơron nhân tạo. Tham số đó còn gọi là trọng số của nơron, ta kí hiệu trọng số của nơron thứ j là qj . Mỗi một nơron trong một mạng kết hợp các giá trị đưa vào nó thông qua các liên kết với nơron khác, sinh ra một giá trị gọi là net . Hàm thực hiện nhiệm vụ này gọi là hàm kết hợp (combination function), được định nghĩa bởi một luật lan truyền cụ thể. Trong phần lớn các mạng nơron, chúng ta giả sử rằng mỗi một nơron cung cấp một bộ cộng như là đầu vào cho đơn vị mà nó liên kết. Để tính tổng hợp tín hiệu đầu vào net , ta giả định net là hàm của các tín hiệu xi và các trọng số wij . n netxw=1 1j + xw 2 2 j + + xw n nj = å xw i ij . (2.1) i= 1 Có nhiều cách để tính tổng tín hiệu vào của nơron, trên dây là cách khá đơn giản và hữu ích khi chúng ta xây dựng một mạng có nhiều nơron. Trường hợp wij > 0 , nơron được coi là đang ở trạng thái kích thích. Tương tự, nếu như wij < 0 , nơron ở trạng thái kiềm chế. Sau khi tổng hợp được tín hiệu đầu vào net , sử dụng hàm kích hoạt f biến đổi net để thu được tín hiệu đầu ra out . yj= out j = f( net) (2.2) Tóm lại có thể xem nơron là một hàm phi tuyến nhiều đầu vào, một đầu ra. Hàm kích hoạt phải thoả mãn các điều kiện sau: - Tín hiệu đầu ra phải không âm với mọi giá trị của net . Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 18
19. B¸o c¸o nghiªn cøu khoa häc - Hàm f phải liên tục và bị chặn trong khoảng [0,1]. Hàm kích hoạt hay còn được gọi là hàm nén vì chúng nén tín hiệu đầu ra vào một khoảng nhỏ. Hàm kích hoạt hay được sử dụng là: 1) Hàm đồng nhất (Linear function, Identity function) f( x)= x (2.3) Nếu coi các đầu vào là một đơn vị thì chúng ta sẽ sử dụng hàm này. Đôi khi một hằng số được nhân với net để tạo ra một hàm đồng nhất. f(x) 1 1 -1 0 1 x 1 Hình 2.3. Hàm đồng nhất 2) Hàm bước nhị phân (Binary step function, Hard limit function) Hàm này còn được gọi là hàm ngưỡng (Threshold function hay Heaviside function). Đầu ra của hàm này chỉ giới hạn trong hai giá trị: ïì 1, nÕu x ³ q f( x)= íï (2.4) îï 0, nÕu x<q Dạng hàm này được sử dụng trong các mạng chỉ có một lớp. Trong hình vẽ sau, q được chọn bằng 1. f(x) -1 -1 0 1 2 3 4 x Hình 2.4. Hàm bước nhị phân Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 19
20. B¸o c¸o nghiªn cøu khoa häc 3) Hàm sigmoid (Sigmoid function (logsig)) 1 f( x)= (2.5) 1+ e- x Hàm này đặc biệt thuận lợi khi sử dụng cho các mạng được huấn luyện (trained) bởi thuật toán lan truyền ngược (back-propagation), bởi vì nó dễ lấy đạo hàm, do đó có thể giảm đáng kể tính toán trong quá trình huấn luyện. Hàm này được ứng dụng cho các chương trình ứng dụng mà các đẩu ra mong muốn rơi vào khoảng [0,1]. 4) Hàm sigmoid lưỡng cực (Bipolar sigmoid function (tansig)) 1- e- x f( x)= (2.6) 1+ e- x Hàm này có các thuộc tính tương tự của hàm sigmoid. Nó làm việc tốt đối với các ứng dụng có đầu ra yêu cầu trong khoảng [-1,1]. 2.2.2 Định nghĩa và phân loại mạng nơron nhân tạo. 2.2.2.1 Định nghĩa Mạng nơron nhân tạo là sự mô phỏng hoạt động của bộ não con người. Nó là sự liên giữa các nơron độc lập với nhau. Không có một định nghĩa tổng quát về mạng nơron, song phần lớn những người làm việc trong lĩnh vực mạng nơron đều có thể đồng ý với định nghĩa sau: “Mạng nơron là một hệ thống bao gồm rất nhiều phần tử xử lý đơn giản hoạt động song song. Tính năng của hệ thống này phụ thuộc vào cấu trúc của hệ thống, cường độ liên kết giữa các phần tử và quá trình xử lý bên trong các phần tử. Hệ thống này có thể học số liệu và có khả năng tổng quát hoá từ các số liệu được học”. Trong định nghĩa trên, các phần tử xử lý được nhắc đến chính là các nơron. 2.2.2.2 Phân loại Liên kết các đầu vào và ra của nhiều nơron với nhau ta được một mạng nơron. Nguyên lý cấu tạo của một mạng nơron bao gồm một hoặc nhiều lớp. Mỗi lớp bao gồm nhiều nơron có cùng một chức năng trong mạng. Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 20
21. B¸o c¸o nghiªn cøu khoa häc Mạng nơron nhân tạo có thể được chế tạo bằng nhiều cách khác nhau vì vậy trong thực tế tồn tại rất nhiều kiểu mạng nơron nhân tạo. Dựa vào số lớp hay sự liên kết giữa các lớp trong mạng mà người ta phân mạng nơron nhân tạo thành các nhóm khác nhau. * Phân loại theo số lớp Phân loại theo số lớp thì mạng nơron nhân tạo gồm có hai nhóm: mạng một lớp và mạng nhiều lớp. - Mạng một lớp Mạng một lớp cấu thành từ một lớp mạng, nó vừa là lớp vào vừa là lớp trung gian và cũng là lớp ra. Một lớp mạng bao gồm một nhóm các nơron được tổ chức theo một cách sao cho tất cả chúng đều nhận cùng một véc tơ đầu vào để xử lý cùng thời điểm. Việc sản sinh ra net đầu vào, biến đổi thành tín hiệu đầu ra out xuất hiện cùng một lúc trong tất cả các nơron. y1 x1 y2 x2 M M ym x n Hình 2.5. Mô hình mạng một lớp. - Mạng nhiều lớp Mạng nhiều lớp được cấu thành từ nhiều lớp liên kết với nhau, bao gồm một lớp vào, lớp ẩn và một lớp ra. Trong đó, lớp nhận tín hiệu đầu vào được gọi là lớp vào. Các tín hiệu đầu ra của mạng được sản sinh bởi lớp ra của mạng. Các lớp nằm giữa lớp vào và lớp ra được gọi là lớp ẩn. Lớp ẩn là thành phần nội tại của mạng, nó không có bất kỳ tiếp xúc nào với môi trường bên ngoài. Số lượng lớp ẩn có thể dao động từ 0 đến một vài lớp. Tuy nhiên thực tế cho thấy chỉ cần một lớp ẩn là mạng đã đủ để giải quyết được một lớp các bài toán phức tạp nào. Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 21
22. B¸o c¸o nghiªn cøu khoa häc x1 y1 x2 y2 M M M M M xn ym lớp lớp lớp vào ẩn ra Hình 2.6. Mô hình mạng 3 lớp truyền thẳng. * Phân loại theo sự liên kết giữa các lớp Sự liên kết trong mạng nơron tuỳ thuộc vào nguyên lý tương tác giữa đầu ra của từng nơron riêng biệt với nơron khác và tạo ra cấu trúc mạng nơron. Về nguyên tắc sẽ có rất nhiều kiểu liên kết giữa các nơron, nhưng chỉ có một số cấu trúc hay gặp trong ứng dụng sau: - Mạng truyền thẳng (Feedforward neural networks) Dòng dữ liệu đầu vào từ các nơron đầu vào đến các nơron đầu ra chỉ được truyền thẳng. Việc xử lý dữ liệu có thể mở rộng ra nhiều lớp, nhưng không có các liên kết ngược. Tức là, không có các liên kết từ các đơn vị đầu ra tới các đơn vị đầu vào trong cùng một lớp hay các lớp trước đó. Nếu mô hình hoá mạng truyền thẳng bằng một đồ thị, thì nó là một đồ thị có hướng hữu hạn không chu trình. Trong đó, mỗi nơron là một nút, các liên liên kết giữa các nơron là các cung của đồ thị. Hình 2.6 là một minh họa về mạng truyền thẳng nhiều lớp. - Mạng hồi quy (mạng nối ngược) (Recurrent neural network) Khác với mạng truyền thẳng, mạng hồi quy có chứa các liên kết ngược. Mô hình hoá mạng hồi quy bằng một đồ thị thì nó là một đồ thị có hướng hữu hạn có chu trình. Hình 2.7 minh họa cho một mạng hồi quy. Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 22
23. B¸o c¸o nghiªn cøu khoa häc x y 1 1 x y 2 2 M M M M M xn ym Hình 2.7. Mô hình mạng nơron nhiều lớp hồi quy 2.3. Thủ tục học của mạng nơron nhân tạo Mạng nơron khi mới hình thành chưa có tri thức, để có thể giải quyết một bài toán cụ thể nào đó thì phải cho mạng nơron học. Mạng nơron học thông qua quá trình huấn luyện mạng bằng một tập dữ liệu (training data). Tiến trình điều chỉnh các trọng số để mạng “nhận biết ” được mối quan hệ giữa đầu vào và đích mong muốn được gọi là học (learning) hay huấn luyện (training) . Rất nhiều thuật toán học đã được phát minh để tìm ra tập trọng số tối ưu làm giải pháp cho bài toán. Các nhân tố quyết định tới khả năng của một mạng nơron gồm: cấu trúc của mạng (số lớp, số nơron trên một lớp, và cách mà các lớp được liên kết với nhau) và các trọng số của các liên kết bên trong mạng. Dựa vào điều này, người ta phân các thuật toán học của mạng nơron thành hai nhóm chính: học cấu trúc và học tham số. 2.3.1 Học tham số Học tham số quan tâm đến chiến lược hiệu chỉnh các trọng số của các nơron trong mạng. Giả sử có n nơron, mỗi nơron có m trọng số. Chúng ta có thể kết hợp được lại tạo thành ma trận dạng sau: Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 23
24. B¸o c¸o nghiªn cøu khoa häc éw wK w ù ê11 12 1n ú êw wK w ú W ê21 22 2n ú (2.7) = ê ú êMMKM ú ê ú ëwm1 w m 2 K w mn û Trong đó, wij là trọng số liên kết từ nơron i đến nơron j . Các thủ học tham số nhằm tìm kiếm ma trận trọng só W sao cho mạng có khả năng đưa ra các dự báo sát với thực tế. Các thủ học có tham số có thể được chia thành ba lớp nhỏ hơn: học có chỉ đạo (học có thầy), học tăng cường, học không chỉ đạo (học không có thầy hay học tự tổ chức). - Học có chỉ đạo Véc tơ vào Tín hiệu ra out Mạng nơron Sản sinh sai số Hình 2.8. Sơ đồ học có chỉ đạo Mỗi lần véc tơ tín hiệu vào X được cấp cho mạng, ta cũng cấp luôn cho mạng véc tơ đầu ra mong muốn Y . Mạng phải sản sinh ra tín hiệu đầu ra out sao cho nó gần với Y nhất. Cụ thể, nếu ta cấp một tập ngẫu nhiên MXY= ( i, i ). Khi véc tơ X i đi vào mạng, véc tơ đầu ra Yi cũng được cung cấp. (Hình 2.8) Độ lệch tín hiệu giữa đầu ra outi và véc tơ đầu ra Yi sẽ được bộ sản sinh sai số thu nhận và sản sinh ra tín hiệu sai số. Tín hiệu sai số này sẽ đi vào mạng và mạng sẽ hiệu chỉnh các trọng số của mình sao cho tín hiệu đầu ra outi sẽ gần với véc tơ đầu ra mong muốn Yi . Nếu tín hiệu ra out = Y thì lúc đó mạng nơron đã bão hoà, ta nói thủ tục học của mạng đã hội tụ. - Học tăng cường Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 24
25. B¸o c¸o nghiªn cøu khoa häc Véc tơ vào Tín hiệu ra out Mạng nơron Tín hiệu tăng cường Sản sinh tín hiệu tăng cường Hình 2.9. Sơ đồ học tăng cường. Học tăng cường cũng là một dạng của học có chỉ đạo vì mạng nơron vẫn nhận tín hiệu ngoài môi trường. Tuy nhiên, tín hiệu ngoài môi trường chỉ là những tín hiệu mang tính phê phán, chứ không phải là các chỉ dẫn cụ thể như trong học có chỉ đạo. Nghĩa là, tín hiệu tăng cường chỉ có thể nói cho mạng biết tín hiệu vừa sản sinh là đúng hay sai, chứ không chỉ cho mạng biết tín hiệu đúng phải như thế nào. Tín hiệu tăng cường được xử lý bởi bộ xử lý tín hiệu tăng cường (Hình 2.9), nhằm mục đích giúp mạng hiệu chỉnh các trọng số với hi vọng nhận được tín hiệu tăng cường tốt hơn trong tương lai. Các thủ tục học tăng cường thường được biết đến như các thủ tục học với nhà phê bình chứ không phải là học với thầy như các thủ tục học có chỉ đạo. - Học không chỉ đạo Véc tơ vào Tín hiệu ra out Mạng nơron Hình 2.10. Sơ đồ học không chỉ đạo. Trong thủ tục này, không có thông tin nào từ ngoài môi trường chỉ ra tín hiệu đầu ra out phải như thế nào hoặc đúng hay sai. Mạng nơron phải tự khám phá các đặc điểm, các mối quan hệ đang quan tâm như: dạng đưòng nét, có chuẩn – có bình thường hay không, các hệ số tương quan, tính cân xứng, Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 25
26. B¸o c¸o nghiªn cøu khoa häc tính chạy, của các mẫu học và sau đó chuyển những quan hệ tìm thấy qua đầu ra. Trong quá trình học, các trọng số của mạng sẽ thay đổi để thể hiện các đặc tính được phát hiện. Do đó các thủ tục này còn được gọi là tự tổ chức (Hình 2.10). 2.3.2 Học cấu trúc Học cấu trúc là thuật toán tìm kiếm các tham số của cấu trúc mạng để tìm ra một cấu trúc mạng hoạt động tốt nhất. Trong thực tế, việc học cấu trúc là việc tìm ra số lớp ẩn và số nơron trên lớp đó. 2.4 Thuật toán lan truyền ngược vqj wiq q= 1, 2, , l i= 1, 2, , n j = 1, 3, , m q = 1, 3, , l y%1 x1 y%2 x2 M M M M x y% m n Hình 2.11. Mạng nơron hai lớp truyền thẳng Từ một mẫu học cụ thể x(k), y(k) và các trọng số đã có của mạng. Chẳng hạn như w(k), v(k) ở mạng hai lớp, người ta xác định đầu ra thực y%(k). Sau đó trên cơ sở so sánh với mẫu học y(k), các trọng số của lớp nơron đầu ra, ví dụ w(k), được hiệu chỉnh thành w(k+ 1). Tiếp tục từ trọng số mới w(k+ 1) người ta lại hiệu chỉnh trọng số của các nơron thuộc lớp phía trước, ví dụ như v(k) thành v(k+ 1). Cứ như vậy cho đến trọng số của lớp nơron đầu vào. Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 26
27. B¸o c¸o nghiªn cøu khoa häc Để phần giải thích chi tiết thuật toán lan truyền ngược được đơn giản, sau đây ta sẽ lấy mạng hai lớp ở hình 2.11 làm ví dụ. Với sai lệch cho riêng mẫu học thứ k là v(k) - y%( k), giá trị gia tăng (k) Dwiq được xác định theo công thức cải tiến của Widnow từ (7.12) như sau da Dw(k) = sé y( k) - y%( k) ù z = sd z (2.8) iqëê i i ûú q oi q dci (k) ci Trong đó hằng số da d =éy(k) - y%( k) ù (2.9) oiëê i i ûú dci (k) ci (k) Có tên gọi tín hiệu sai lệch của nơron đầu ra thứ i . Rõ ràng Dwiq phụ (k) thuộc vào zq . Để tính zq ta sử dụng các trọng số cũ hiện có của mạng là v như sau: æm ö z=a c(k) = a ç v( k) x( k)÷ (2.10) q( q) çå qj j ÷ èç j= 1 ø÷ (k) (k) Cùng với Dwiq , trọng số cũ wiq được hiệu chỉnh thành (k+ 1) ( k) ( k) wiq= w iq + D w iq (2.11) (k+ 1) (k) (k) Sau khi đã có wiq , ta xác định giá trị gia tăng Dvqj cho trọng số cũ vqj của nơron thuộc lớp đầu vào nhờ công thức đã được cải biên theo tư tưởng Widnow: n éda ù d a Dv(k) = sê y( k) - y%( k) w( k+ 1) ú x = sd x (2.12) qjå ê( i i) iq ú j hq j i= 1 ëdci û dc q Trong đó néda ù d a d a n d=êy(k) - y%( k) w( k+1) ú = d w( k + 1) (2.13) hqåê( i i) iq ú å oi iq i=1dci dc q(k) dc q ( k) i = 1 ë û cq c q (k) Từ Dvqj ta được Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 27
28. B¸o c¸o nghiªn cøu khoa häc (k+ 1) ( k) ( k) vqj= v qj + D v qj (2.14) Ví dụ: Xét mạng hai lớp như ở hình 2.12 với hai nơron ở lớp đầu vào và một nơron ở lớp đầu ra. Các nơron trong mạng là nơron Fermi. 1 da y=a ( c) = Þ =y(1 - y) 1+ e- c dc Giả sử hiện tại mạng đang có trọng số: (k) (k) vqj trong đó q=1,2; j = 1, 2 và wiq , q = 1,2 æx(k) ö (k) ç 1 ÷ (k) Khi có thêm một mẫu học mới x = ç ÷, y thì trước hết trọng số cũ ç (k)÷ èçx2 ø (k) wiq ở nơron lớp ra sẽ được hiệu chỉnh thành (k+ 1) ( k) ( k) wiq= w iq + D w iq Trong đó æ2 ö Dw(k) = sd z = s d a ç v( k) x( k)÷ iq o1 q o 1 çå qj j ÷ 1444442444443èj= 1 ø zq æ2 ö d =y(k) - y%%%( k) y( k) 1 - y( k) với y%(k) = a ç w( k) z ÷ o1 ( ) ( ) çå iq q ÷ èç q= 1 ø÷ (k+ 1) (k) Sau khi đã hiệu chỉnh xong lớp ra để có wiq , trọng số vqj của lớp đầu vào sẽ được sửa đổi thành (k+ 1) ( k) ( k) ( k) vqj= v qj + D v qj = v qj + sd hqj x (k+ 1) Trong đó: dhq=z q(1 - z q) d o1 w iq Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 28
29. B¸o c¸o nghiªn cøu khoa häc x1 v11 w11 v21 y% v12 w v 12 x 22 2 Hình 2.12. Minh hoạ cho ví dụ 2.5 Mạng nơron mờ Sự kết hợp trực quan đầu tiên là trực tiếp suy rộng mạng nơron bằng cách đưa các khái niệm mờ đặc biệt là tập mờ và số mờ vào mạng nơron và xem xét xem những bài toán nào, thuật toán nào còn đúng. Tác động của lớp thuật toán mới ra sao? Hoàn toàn tự nhiên người ta nghĩ ngay tới và nghiên cứu bốn loại suy rộng sau: 1) Loại 1: Tín hiệu vào là số thực, trọng số mờ. 2) Loại 2: Tín hiệu vào là tập mờ, trọng số là số thực. 3) Loại 3: Cả tín hiệu vào và trọng số đều là số mờ. 4) Loại mở rộng: Khai thác các phép toán t-chuẩn, t-đối chuẩn. III. Bài toán xác định quan hệ mờ bằng mạng nơron nhân tạo 3.1 Bài toán Cho không gian vào X không gian ra Y . Yêu cầu đặt ra là xác định quan hệ mờ R giữa không gian vào và ra. Việc xác định quan hệ mờ R được thực hiện thông qua việc tìm lời giải cho một phương trình quan hệ mờ bởi một mạng nơron mờ. Chúng ta sẽ cho r s rằng phương trình quan hệ mờ là XRYÅ = , X Î [0,1], Y Î [0,1], Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 29
30. B¸o c¸o nghiªn cøu khoa häc r´ s R Î [0,1] . Chúng ta sẽ chỉ giới hạn trong trường hợp Å = max-min. Chúng éi i ù ta giả sử rằng chúng ta có một tập mẫu ëêX, Y : i= 1, , p ûú, để tìm ra R chúng ta sẽ sử dụng một mạng nơron mờ để nhận dạng. Vấn đề đặt ra là thiết kế mạng nơron ( tôpô của nó) và thủ tục học. w11 x1 Out1 w12 w1s w21 x2 w22 Out2 w2s M M wr1 wr2 x Out r w s rs Hình 3.1Mô hình mạng nơron 3.2 Tôpô mạng Chúng ta sẽ coi như một mạng nơron mờ sẽ có tôpô như sau: Các cặp đầu vào và đầu ra là (x1, , xi , , x r ) và (Out1, , Outj , , Out s ), trong đó Outj được xác định bởi Outj = max[min(xi, w ij )], wij là phần tử của ma trận trọng số W quyết định số lượng kết nối (xem trong hình 3.1). Vì vậy, chúng ta đang xem xét một mạng nơron không có lớp ẩn, trong r s đó đầu vào là các giá trị X Î [0,1] và đầu ra Y Î [0,1] thu được bởi Y = max(min( WX, )), W là ma trận trọng số. Nếu X= ( x1, , xi , , x r ), Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 30
31. B¸o c¸o nghiªn cøu khoa häc Y= ( Out1, , Outj , , Out s ) và các phần tử của ma trận W là wij . đầu ra được tính như sau Out1 = max[min(x1, w 11), min(x2, w 21), , min(xr, w r1)], M Outs = max[min(x1, w 1s ), min(x2, w 2s ), , min(xr, w rs )], 3.3 Thủ tục học và thuật toán huấn luyện mạng Mục đích của việc huấn luyện mạng là điều chỉnh các trọng số sao cho khi ứng dụng đưa một tập đầu vào sẽ đem lại tập đầu ra mong muốn. Điều này được định hướng bằng cách tối thiểu bình phương của độ sai khác giữa đầu ra mong muốn Tj và đầu ra thực Oj cho tất cả các mẫu học, 1 2 ETO= - å ( j j ) , trong đó Oj= max i( min( x i, w ij )). 2 Bước 1: Khởi tạo ma trận trọng số W , wij = 0 với mọi i=1,2, , r ; j = 1,2, , s . Bước 2: Xác định ma trận trọng số qua các mẫu học. Dwij = md j C, trong đó dj=TO j - j , m là bước học. C được xác định như sau: ïì ïì ï ï xs³ Max(,, Min( x i w ij) ® C = x s ï ï i ¹ s ï xs< w sj í ï ï ï ï xs< Max(,, Min( x i w ij) ® C = x s * x s ï îï i ¹ s C = í ï ïì ï wsj³ Max( Min( x i , w ij ) ® C = 1, ï ï i s ï x³ w íï ¹ ï s sj ï ï ï wsj< Max(,. Min( x i w ij) ® C = w sj îï îï i ¹ s Sử dụng thuật toán lan truyền ngược, sau mỗi lần học ma trận trọng số sẽ được tính lại nhằm tối thiểu bình phương của độ sai khác giữa đầu ra mong muốn Tj và đầu ra thực Oj cho tất cả các mẫu học. Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 31
32. B¸o c¸o nghiªn cøu khoa häc ()()míi cò wij= w ij + D w ij . 3.4 Ví dụ Với mỗi tập giá trị thích hợp X t Î [0,1], giá trị mong muốn Yt thu được bởi tổng hợp max-min Yt= X t Å R, t = 1, , 5 XY1=(1, 0, 0, 0, 0) ® 1 = ( 0.6, 0.5, 0.8, 0.3, 0.2) , XY2=(0, 1, 0, 0, 0) ® 2 = ( 0.4, 0.1, 0.9, 0.6, 0.4) , XY3=(0, 0, 1, 0, 0) ® 3 = ( 0.1, 0.1, 0.9, 0.8, 0.5) , XY4=(0, 0, 0, 1, 0) ® 4 = ( 0.9, 0.2, 0.9, 0.1, 0.5) , X 5 = (0, 0, 0, 0, 1) ® Y5 = ( 0.4, 0.5, 0.3, 0.8, 0.9) . Mạng với tôpô chúng ta đã biểu diễn trong phần 3.2 được huyến luyện với cặp {(Xt, Y t ) , t = 1, , 5} Kết quả thu được: - Với m= 0.5, số lần lặp 19. æ ö ç0.599999 0.499999 0.799999 0.299999 0.199999÷ ç ÷ ç0.399999 0.100000 0.899999 0.599999 0.399999÷ ç ÷ ç0.100000 0.100000 0.899999 0.799999 0.499999÷ ç ÷ ç ÷ ç0.899999 0.200000 0.899999 0.100000 0.499999÷ ç ÷ èç0.399999 0.499999 0.300000 0.799999 0.899999 ø÷ - Với m= 1, số lần lặp 1. æ ö ç0.600000 0.500000 0.800000 0.300000 0.200000÷ ç ÷ ç0.400000 0.100000 0.900000 0.600000 0.400000÷ ç ÷ ç0.100000 0.100000 0.900000 0.800000 0.500000÷ ç ÷ ç ÷ ç0.900000 0.200000 0.900000 0.100000 0.500000÷ ç ÷ èç0.400000 0.500000 0.300000 0.800000 0.900000 ø÷ Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 32
33. B¸o c¸o nghiªn cøu khoa häc 3.5 Xây dựng chương trình ứng dụng Sử dụng ngôn ngữ C# để xây dựng một chương trình minh hoạ cho thuật toán đã trình bày để giải bài toán xác định quan hệ mờ bằng mạng nơron nhân tạo. KẾT LUẬN - Bộ não của con người là một bộ máy kĩ thuật diệu kì. Các nhà khoa học đã xây dựng một mô hình tính toán mô phỏng hoạt động của bộ não người như: khả năng học rất cao, khả năng dung thứ lỗi. - Sử dụng mạng nơron nhân tạo giúp giảm độ phức tạp và thời gian tính toán, đặc biệt là với những bài toán cần xử lý với khối lượng dữ liệu lớn. Nó không chỉ xử lý được những dữ liệu đầu vào rõ mà còn xử lý được với những dữ liệu mờ. Điều này phù hợp với việc giải quyết các bài toán đặt ra trong thực tế. Tuy nhiên giải bằng mạng nơron chỉ là một phương pháp xấp xỉ, nó cho ra một kết quả phù hợp với sai số có thể chấp nhận được. Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 33
34. B¸o c¸o nghiªn cøu khoa häc MỤC LỤC Phần mở đầu .1 1. Tên đề tài .1 2. Lý do chọn đề tài 1 I. Tổng quan lý thuyết tập mờ và quan hệ mờ 2 1.1 Khái niệm tập mờ 2 1.2 Các phép toán về tập mờ .6 1.2.1 Phép hợp 6 1.2.2 Phép giao 10 1.2.3 Phép bù 13 1.3. Quan hệ mờ 14 II. Giới thiệu về mạng nơron nhân tạo .15 2.1. Mạng nơron sinh học .15 2.2. Mạng nơron nhân tạo 17 2.2.1 Mô hình nơron nhân tạo 17 2.2.2 Định nghĩa và phân loại mạng nơron nhân tạo 20 2.3. Thủ tục học của mạng nơron nhân tạo 23 2.3.1 Học tham số 23 2.3.2 Học cấu trúc 26 2.4 Thuật toán lan truyền ngược .26 2.5 Mạng nơron mờ .29 III. Bài toán xác định quan hệ mờ bằng mạng nơron nhân tạo 29 3.1 Bài toán 29 3.2 Tôpô mạng 30 3.3 Thủ tục học và thuật toán huấn luyện mạng 31 3.4 Ví dụ 34 Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 34
35. B¸o c¸o nghiªn cøu khoa häc 3.5 Xây dựng chương trình ứng dụng 33 Kết luận 33 Tài liệu tham khảo 35 TÀI LIỆU THAM KHẢO [1] Neural Networks by Christos Stergiou and Dimitrios Siganos. [2] Introduction to Neural Networks – by Genevieve Orr &Willamette University, prepared by Genevieve Orr, Nici Schraudolph, Fred Cummins. [3] Lý thuyết điều khiển mờ - Phan Xuân Minh & Nguyễn Doãn Phước. Và một số website của ANN và hệ mờ. Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 35