text:
Tổng quan về Neural Networks
Chia sẻ: Trần Huyền My | Ngày: | Loại File: PDF | Số trang:76
lượt xem 120
download
Tổng quan về Neural Networks
Neural Networks trong một vài năm trở lại đây đã được nhiều người quan tâm và đã áp dụng thành công trong nhiều lĩnh vực khác nhau, như tài chính, địa chất, và vật lý.
Bình luận(0) Đăng nhập để gửi bình luận!
Nội dung Text: Tổng quan về Neural Networks
- Phaàn 3_Chöông 1 : Toång quan Neural Networks CHÖÔNG 1 TOÅNG QUAN NEURAL NETWORKS 1. GIÔÙI THIEÄU CHUNG N eural Networks trong moät vaøi naêm trôû laïi ñaây ñaõ ñöôïc nhieàu ngöôøi quan taâm vaø ñaõ aùp duïng thaønh coâng trong nhieàu lónh vöïc khaùc nhau, nhö taøi chính, y teá, ñòa chaát vaø vaät lyù. Thaät vaäy, baát cöù ôû ñaâu coù vaán ñeà veà döï baùo, phaân loaïi vaø ñieàu khieån, Neural Networks ñeàu coù theå öùng duïng ñöôïc. Söï thaønh coâng nhanh choùng cuûa maïng Neural Networks coù theå laø do moät soá nhaân toá chính sau: • Naêng löïc : Neural Networks laø nhöõng kyõ thuaät moâ phoûng raát tinh vi, coù khaû naêng moâ phoûng caùc haøm cöïc kyø phöùc taïp. Ñaëc bieät, Neural Networks hoaït ñoäng phi tuyeán. Trong nhieàu naêm, moâ hình tuyeán tính laø kyõ thuaät ñöôïc söû duïng roäng raõi trong haàu heát caùc lónh vöïc, vì theá moâ hình tuyeán tính coù tính chieán löôïc toái öu hoùa ñöôïc bieát nhieàu nhaát. • Deã söû duïng : Neural Networks coù tính hoïc theo caùc ví duï. Ngöôøi söû duïng Neural Networks thu thaäp caùc döõ lieäu ñaëc tröng, vaø sau ñoù goïi caùc thuaät toaùn huaán luyeän ñeå coù theå töï hoïc caáu truùc cuûa döõ lieäu. Maëc duø ngöôøi söû duïng laøm taát caû nhöõng ñieàu caàn thieát ñeå coù theå choïn vaø chuaån bò döõ lieäu, söû duïng loaïi maïng phuø hôïp vaø coù theå hieåu ñöôïc caùc keát quaû, nhöng möùc ñoä ngöôøi söû duïng bieát caùch aùp duïng thaønh coâng Neural Networks vaãn thaáp hôn nhieàu nhöõng ngöôøi söû duïng caùc phöông phaùp thoáng keâ truyeàn thoáng… Neural Networks döïa treân vieäc moâ phoûng caáp thaáp heä thoáng neuron sinh hoïc. Trong töông lai vôùi söï phaùt trieån moâ phoûng neuron sinh hoïc, chuùng ta coù theå coù loaïi maùy tính thoâng minh thaät söï. 2. YÙ TÖÔÛNG SINH HOÏC Neural Networks phaùt trieån töø nghieân cöùu veà trí tueä nhaân taïo; ñaëc bieät coá gaéng baét chöôùc boä naõo coù caáu truùc caáp thaáp veà khaû naêng hoïc vaø chaáp nhaän sai cuûa heä thoáng neuron sinh hoïc. Suoát nhöõng naêm 1960 – 1980 caùc nhaø nghieân cöùu veà trí tueä nhaân taïo ñaõ tìm ra Expert Systems döïa treân moâ hình caáp cao veà xöû lyù lyù luaän cuûa boä naõo. Maëc duø moâ hình ñaõ raát thaønh coâng trong moät vaøi lónh vöïc, nhöng vaãn chöa baét chöôùc ñöôïc trí tueä con ngöôøi. Ñieàu naøy laø do caáu truùc moâ hình chöa baèng boä naõo. Do ñoù, ñeå taùi taïo trí thoâng minh, chuùng ta caàn phaûi xaây döïng nhöõng heä thoáng coù caáu truùc gioáng boä naõo con ngöôøi. Leâ Thanh Nhaät-Tröông AÙnh Thu 85 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks Boä naõo con ngöôøi goàm moät soá raát lôùn neuron (khoaûng 10.000.000.000 neuron) keát noái vôùi nhau (trung bình moãi neuron keát noái vôùi haøng chuïc ngaøn neuron khaùc). Moãi neuron laø moät teá baøo ñaëc bieät, coù theå truyeàn caùc tín hieäu ñieän. Neuron coù caáu truùc reã ngoõ vaøo, thaân teá baøo vaø caáu truùc reã ngoõ ra (sôïi thaàn kinh). Caùc sôïi thaàn kinh cuûa moät teá baøo keát noái vôùi caùc teá baøo khaùc thoâng qua synapse. Khi moät neuron kích hoaït, noù taïo ra xung ñieän hoùa hoïc doïc theo sôïi thaàn kinh. Tín hieäu naøy ñi qua caùc synapse ñeán caùc neuron khaùc, vaø tieáp tuïc bò kích hoaït. Neuron hoaït ñoäng chæ khi taát caû caùc tín hieäu nhaän ñöôïc ôû thaân teá baøo thoâng qua reã ngoõ vaøo vöôït quaù moät möùc naøo ñoù (ngöôõng hoaït ñoäng). Cöôøng ñoä tín hieäu thu ñöôïc cuûa neuron phuï thuoäc vaøo ñoä nhaïy cuûa synapse. Chæ coù vieäc hoïc laøm thay ñoåi cöôøng ñoä keát noái synapse. Ví duï nhö theo thí nghieäm coù ñieàu kieän Pavlovian coå ñieån, goõ chuoâng tröôùc khi cho choù aên toái, con choù nhanh choùng hoïc ñöôïc raèng rung chuoâng gaén lieàn vôùi aên. Keát noái synapse giöõa phaàn voû naõo thính giaùc vaø tuyeán nöôùc boït ñaõ nhaïy hôn, vì theá khi rung chuoâng voû naõo thính giaùc bò kích thích, con choù baét ñaàu tieát nöôùc boït. Do ñoù, töø moät soá raát lôùn caùc ñôn vò xöû lyù raát ñôn giaûn naøy (moãi ñôn vò thöïc hieän toång troïng soá caùc ngoõ vaøo sau ñoù kích hoaït moät tín hieäu nhò phaân neáu toång ngoõ vaøo vöôït quaù ngöôõng), boä naõo ñieàu khieån ñeå hoaït ñoäng nhöõng coâng vieäc cöïc kì phöùc taïp. Dó nhieân, söï phöùc taïp trong hoaït ñoäng cuûa boä naõo khoâng theå trình baøy heát, nhöng duø sao maïng trí tueä nhaân taïo coù theå ñaït ñöôïc moät vaøi keát quaû ñaùng chuù yù vôùi moâ hình khoâng phöùc taïp hôn boä naõo. 3. MOÂ HÌNH NHAÂN TAÏO CÔ BAÛN Neuron nhaân taïo ñöôïc ñònh nghóa nhö sau : • Neuron nhaân taïo nhaän moät soá caùc ngoõ vaøo (töø döõ lieäu goác, hay töø ngoõ ra caùc neuron khaùc trong maïng). Moãi keát noái ñeán ngoõ vaøo coù moät cöôøng ñoä (hay troïng soá), nhöõng troïng soá naøy töông öùng vôùi taùc duïng synapse trong neuron sinh hoïc. Moãi neuron cuõng coù moät giaù trò ngöôõng. • Tín hieäu ñöôïc truyeàn qua haøm kích hoaït (hay coøn goïi laø haøm truyeàn) taïo giaù trò ngoõ ra neuron. Neáu söû duïng haøm truyeàn naác (nghóa laø ngoõ ra neuron laø 0 neáu ngoõ vaøo nhoû hôn 0, vaø laø 1 neáu ngoõ vaøo lôùn hôn hay baèng 0) thì neuron hoaït ñoäng gioáng nhö neuron sinh hoïc. Thöïc teá, haøm naác ít khi söû duïng trong maïng trí tueä nhaân taïo. Löu yù raèng troïng soá coù theå aâm, nghóa laø synapse coù taùc duïng kieàm cheá hôn laø kích hoaït neuron, caùc neuron kieàm cheá coù theå tìm thaáy trong boä naõo. Treân ñaây moâ taû caùc neuron ñôn leû. Trong thöïc teá caùc neuron ñöôïc keát noái vôùi nhau. Khi maïng hoaït ñoäng, chuùng phaûi coù ngoõ vaøo (mang giaù trò hoaëc bieán cuûa theá giôùi thöïc) vaø ngoõ ra (duøng Leâ Thanh Nhaät-Tröông AÙnh Thu 86 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks ñeå döï baùo hoaëc ñieàu khieån). Ngoõ vaøo vaø ngoõ ra töông öùng vôùi caùc neuron giaùc quan vaø vaän ñoäng, nhö tín hieäu ñöa vaøo maét vaø ñieàu khieån caùnh tay. Tuy nhieân chuùng coøn coù caùc neuron aån ñoùng vai troø aån trong maïng. Ngoõ vaøo, neuron aån vaø ngoõ ra caàn ñöôïc keát noái vôùi nhau. Vaán ñeà chính ôû ñaây laø hoài tieáp. Moät maïng ñôn giaûn coù caáu truùc tieán : tín hieäu ñi vaøo ôû ngoõ vaøo, qua caùc neuron aån vaø cuoái cuøng ñeán caùc neuron ngoõ ra. Caáu truùc nhö theá chaïy oån ñònh. Tuy nhieân, neáu maïng coù hoài tieáp (chöùa caùc keát noái ngöôïc trôû veà caùc neuron tröôùc ñoù) maïng coù theå chaïy khoâng oån ñònh vaø dao ñoäng raát phöùc taïp. Maïng hoài tieáp raát ñöôïc caùc nhaø nghieân cöùu quan taâm, nhöng caáu truùc tieán ñaõ chöùng minh raát hieäu quaû trong vieäc giaûi quyeát caùc vaán ñeà thöïc teá. Maïng Neural Networks tieán cho nhö hình döôùi. Caùc neuron ñöôïc saép xeáp theo caáu truùc lieân keát lôùp rieâng bieät. Lôùp ngoõ vaøo khoâng phaûi laø neuron thöïc : caùc neuron naøy hoaït ñoäng ñôn giaûn laø giôùi thieäu caùc giaù trò cuûa caùc bieán vaøo. Caùc neuron lôùp aån vaø lôùp ngoõ ra ñöôïc keát noái vôùi taát caû caùc neuron lôùp tröôùc ñoù. Cuõng nhö vaäy chuùng ta coù theå ñònh nghóa maïng coù caùc keát noái moät phaàn vôùi moät vaøi neuron trong lôùp tröôùc ñoù; tuy nhieân, trong haàu heát caùc öùng duïng maïng coù keát noái ñaày ñuû vaãn toát hôn. Caáu truùc Neural Networks Khi maïng hoaït ñoäng, caùc giaù trò bieán ngoõ vaøo ñöôïc ñaët vaøo caùc neuron ngoõ vaøo, vaø sau ñoù caùc neuron lôùp aån vaø lôùp ngoõ ra laàn löôït ñöôïc kích hoaït. Moãi neuron tính giaù trò kích hoaït cuûa chuùng baèng caùch laáy toång caùc troïng soá ngoõ ra cuûa caùc neuron lôùp tröôùc ñoù, vaø tröø cho ngöôõng. Giaù trò kích hoaït truyeàn qua haøm kích hoaït taïo ra giaù trò ngoõ ra cuûa neuron. Khi toaøn boä maïng ñaõ hoaït ñoäng, caùc ngoõ ra cuûa lôùp ngoõ ra hoaït ñoäng nhö ngoõ ra cuûa toaøn maïng. 4. SÖÛ DUÏNG NEURAL NETWORKS : Moät loaït vaán ñeà daãn tôùi vieäc giaûi quyeát baèng maïng Neural ñöôïc ñònh nghóa baèng caùch noù laøm vieäc hoaëc noù ñöôïc huaán luyeän. Neural Networks laøm vieäc töø nhöõng ngoõ vaøo khaùc nhau, ñöa ra nhöõng ngoõ ra khaùc nhau. Do ñoù coù theå söû duïng khi bieát moät vaøi thoâng tin vaø seõ döï ñoaùn nhöõng thoâng tin chöa bieát. Leâ Thanh Nhaät-Tröông AÙnh Thu 87 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks Ví duï : • Döï ñoaùn thò tröôøng chöùng khoaùn : neáu bieát giaù caû chöùng khoaùn cuûa tuaàn tröôùc vaø chæ soá FTSE, ta seõ döï ñoaùn ñöôïc giaù caû chöùng khoaùn ngaøy mai. • Ñieàu khieån : ta muoán bieát coù hay khoâng moät robot bieát queïo phaûi, traùi hay chuyeån ñoäng veà moät phía ñeå ñaït ñöôïc muïc tieâu, ta seõ bieát ñöôïc nhöõng gì robot ñang quan saùt. Ñieàu kieän quan troïng trong vieäc söû duïng Neural Networks laø phaûi bieát moái lieân heä giöõa ngoõ vaøo vaø ngoõ ra bieát tröôùc. Moái quan heä naøy coù theå keùo theo nhieàu thöù nhöng noù nhaát ñònh phaûi toàn taïi. Toång quaùt, neáu ta söû duïng moät maïng Neural Networks ta seõ khoâng bieát chính xaùc traïng thaùi töï nhieân cuûa moái lieân heä giöõa ngoõ vaøo vaø ngoõ ra, neáu ta bieát moái lieân heä ta seõ laøm moâ hình ñoù tröïc tieáp. Moät tính naêng khaùc cuûa Neural Networks laø noù coù theå hoïc moái lieân heä giöõa ngoõ vaøo vaø ngoõ ra thoâng qua vieäc huaán luyeän. Coù hai loaïi huaán luyeän söû duïng trong Neural Networks laø huaán luyeän coù giaùm saùt vaø khoâng giaùm saùt. Vôùi nhöõng loaïi maïng khaùc nhau thì söû duïng caùc loaïi huaán luyeän khaùc nhau. Huaán luyeän coù giaùm saùt söû duïng thoâng duïng nhaát. Trong vieäc hoïc coù giaùm saùt, ngöôøi söû duïng maïng phaûi coù moät taäp hôïp döõ lieäu caàn huaán luyeän. Taäp hôïp naøy chöùa nhöõng ngoõ vaøo maãu vôùi ngoõ ra töông öùng vaø maïng seõ huaán luyeän ñeå ñöa ra moái lieân heä giöõa ngoõ ra vaø ngoõ vaøo. Taäp hôïp döõ lieäu thöôøng ñöôïc laáy töø nhöõng baûn ghi cheùp tröôùc ñoù. Neural Networks sau ñoù ñöôïc huaán luyeän baèng moät trong caùc thuaät toaùn hoïc coù giaùm saùt (ví duï backpropagation), söû duïng caùc döõ lieäu ñeå ñieàu chænh troïng soá vaø ngöôõng cuûa maïng sao cho cöïc tieåu hoùa sai soá trong vieäc döï baùo cuûa maïng treân taäp huaán luyeän. Neáu maïng ñöôïc huaán luyeän chính xaùc, nghóa laø noù ñaõ hoïc moâ phoûng moät haøm chöa bieát vôùi moái lieân heä giöõa ngoõ ra vaø ngoõ vaøo, do ñoù vôùi caùc tín hieäu vaøo ñeán sau, maïng seõ döï baùo tín hieäu ra töông öùng. 5. THU THAÄP DÖÕ LIEÄU CHO NEURAL NETWORKS Moät khi ta quyeát ñònh giaûi quyeát moät vaán ñeà söû duïng Neural Networks ta caàn phaûi thu thaäp döõ lieäu cho muïc tieâu huaán luyeän. Taäp hôïp döõ lieäu huaán luyeän bao goàm moät soá caùc tröôøng hôïp, moãi tröôøng hôïp chöùa nhöõng giaù trò cuûa taàm ngoõ vaøo vaø ngoõ ra khaùc nhau. Nhöõng vieäc ñaàu tieân caàn laøm laø : nhöõng bieán naøo söû duïng, bao nhieâu tröôøng hôïp caàn thu thaäp. Söï löïa choïn caùc bieán do tröïc giaùc quyeát ñònh. Coâng vieäc chuyeân moân cuûa ta trong lónh vöïc caàn giaûi quyeát seõ cho ta nhöõng yù töôûng veà caùc bieán ngoõ vaøo phuø hôïp. Trong Neural Networks, ta coù theå choïn vaø loaïi boû nhieàn bieán vaø Neural Networks cuõng coù theå xaùc ñònh baèng thöïc nghieäm Leâ Thanh Nhaät-Tröông AÙnh Thu 88 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks nhöõng bieán höõu ích. Trong böôùc moät ta neân tính ñeán baát kì bieán naøo maø ta nghó coù aûnh höôûng ñeán quaù trình thieát keá. Neural Networks xöû lyù döõ lieäu soá trong moät taàm giôùi haïn roõ raøng. Ñieàu naøy ñöa ra moät vaán ñeà neáu döõ lieäu naèm trong moät vuøng ñaëc bieät nhö döõ lieäu chöa bieát hay khoâng phaûi döõ lieäu soá. May maén thay coù nhieàu phöông phaùp lyù töôûng cho vaán ñeà naøy, ñöôïc xaây döïng treân Neural Networks. Döõ lieäu soá ñöôïc chia nhoû thaønh nhöõng khoaûng thích hôïp cho maïng vaø nhöõng giaù trò thieáu coù theå ñöôïc thay theá baèng giaù trò trung bình hay giaù trò thoáng keâ cuûa bieán ñoù thoâng qua nhöõng bieán khaùc ñaõ ñöôïc huaán luyeän. Xöû lyù döõ lieäu khoâng phaûi laø soá thì khoù hôn. Loaïi döõ lieäu khoâng phaûi laø soá thoâng thöôøng nhaát laø nhöõng bieán coù giaù trò danh ñònh nhö giôùi tính (nam, nöõ). Bieán coù giaù trò danh ñònh coù theå bieåu dieãn baèng soá hoïc vaø Neural Networks coù chöùc naêng hoã trôï ñieàu naøy. Tuy nhieân Neural Networks laøm vieäc toát vôùi nhöõng tröôøng hôïp bieán danh ñònh laø moät taäp nhieàu giaù trò. Soá tröôøng hôïp maãu duøng ñeå huaán luyeän maïng raát khoù xaùc ñònh. Ñaõ coù moät vaøi höôùng daãn veà moái lieân heä giöõa soá tröôøng hôïp maãu vôùi kích thöôùc maïng (caùch ñôn giaûn nhaát laø soá tröôøng hôïp maãu gaáp 10 laàn soá keát noái trong maïng). Thöïc ra soá tröôøng hôïp maãu cuõng lieân quan ñeán ñoä phöùc taïp cuûa haøm maø maïng phaûi hoïc. Khi soá bieán taêng leân, soá tröôøng hôïp maãu caàn ñeå huaán luyeän cuõng taêng phi tuyeán, vì theá vôùi moät soá nhoû caùc bieán (50 hoaëc nhoû hôn) thì laïi caàn moät soá lôùn caùc tröôøng hôïp maãu. Trong haàu heát caùc vaán ñeà trong thöïc teá, soá tröôøng hôïp maãu laø khoaûng haøng traêm hay haøng ngaøn maãu. Ñoái vôùi nhöõng vaán ñeà raát phöùc taïp thì caàn nhieàu hôn, nhöng tröôøng hôïp naøy raát ít. Neáu döõ lieäu huaán luyeän ít hôn, roõ raøng khoâng ñuû thoâng tin ñeå huaán luyeän maïng, vaø caùch toát nhaát laø duøng maïng tuyeán tính. Nhieàu vaán ñeà trong thöïc teá coù döõ lieäu khoâng ñaùng tin caäy, moät vaøi döõ lieäu bò phaù hoûng do nhieãu, hoaëc caùc giaù trò khoâng phoái hôïp ñöôïc vôùi nhau. Neural Networks coù khaû naêng ñaëc bieät xöû lyù döõ lieäu bò maát (söû duïng giaù trò trung bình hay nhöõng giaù trò thoáng keâ khaùc). Vì theá neáu döõ lieäu ñöa vaøo ít, ta neân ñöa vaøo nhöõng tröôøng hôïp giaù trò bò maát (roõ raøng neáu khoâng coù thì khoâng lyù töôûng). Neural Networks cuõng chòu ñöôïc nhieãu, nhöng cuõng phaûi coù giôùi haïn. Neáu thænh thoaûng coù giaù trò naèm xa ra khoûi vuøng giaù trò bình thöôøng thì maïng huaán luyeän phaûi coù ngöôõng. Caùch toát nhaát ñoái vôùi tröôøng hôïp naøy laø nhaän ra vaø loaïi boû nhöõng giaù trò naèm xa ñoù (coù theå huûy tröôøng hôïp naøy hoaëc xem giaù trò naèm xa naøy laø giaù trò bò maát). Neáu giaù trò xa naøy khoù nhaän ra, Neural Networks coù chöùc naêng huaán luyeän chòu ñöôïc giaù trò naèm khoûi vuøng naøy nhöng caùch huaán luyeän naøy thöôøng keùm hieäu quaû hôn laø huaán luyeän chuaån. Toùm laïi, caùch thu thaäp döõ lieäu coù theå noùi goïn laïi nhö sau : • Choïn nhöõng giaù trò huaán luyeän coù taùc duïng. Leâ Thanh Nhaät-Tröông AÙnh Thu 89 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks • Döõ lieäu soá vaø danh ñònh coù theå xöû lyù tröïc tieáp baèng Neural Networks. Chuyeån nhöõng loaïi bieán khaùc sang moät trong caùc daïng naøy. • Caàn haøng traêm hoaëc haøng ngaøn tröôøng hôïp maãu huaán luyeän; caøng nhieàu bieán thì caøng nhieàu maãu huaán luyeän. Neural Networks coù khaû naêng nhaän ra nhöõng bieán höõu duïng ñeå huaán luyeän. 6. TIEÀN VAØ HAÄU XÖÛ LYÙ Taát caû caùc maïng Neural Networks laáy giaù trò vaøo vaø ra laø soá. Haøm truyeàn thöôøng ñöôïc choïn sao cho coù theå chaáp nhaän baát cöù vuøng giaù trò vaøo naøo, vaø giaù trò ngoõ ra höõu haïn (coù taùc duïng neùn). Maëc duø ngoõ vaøo coù baát kì giaù trò naøo, neân haøm truyeàn coù giaù trò baõo hoøa vaø chæ nhaïy trong moät vuøng höõu haïn naøo ñoù. Hình veõ döôùi ñaây laø moät haøm truyeàn cô baûn nhaát, logsig. Trong tröôøng hôïp naøy, ngoõ ra chæ coù giaù trò töø (0,1), vaø ngoõ vaøo chæ nhaïy trong vuøng giaù trò (-1,1). Haøm naøy lieân tuïc vaø deã laáy vi phaân, do ñoù caùc haøm huaán luyeän deã phaân tích ñeå huaán luyeän maïng (ñaây laø lyù do taïi sao khoâng duøng haøm naác trong thöïc teá). H a øm L o g si g 1 0.8 0.6 0.4 0.2 0 -4 -3 -2 -1 0 1 2 3 4 Do vuøng ñaùp öùng höõu haïn vaø thoâng tin vaøo döôùi daïng soá, neân trong öùng duïng thöïc teá, neural thöôøng coù caùc böôùc tieàn xöû lyù vaø haäu xöû lyù. Hai vaán ñeà caàn hieåu roõ laø : Phaân ñoaïn : Giaù trò soá phaûi ñöôïc chia thaønh moät taàm thích hôïp trong maïng. Thoâng thöôøng giaù trò bieán ban ñaàu ñöôïc phaân ñoaïn thoâ tuyeán tính. Leâ Thanh Nhaät-Tröông AÙnh Thu 90 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks Trong moät vaøi tröôøng hôïp, phaân ñoaïn phi tuyeán coù theå thích hôïp (ví duï neáu bieát moät bieán ñöôïc phaân boá theo haøm muõ, ta phaûi duøng logarit). Bieán danh ñònh : coù theå coù hai hay nhieàu traïng thaùi. Bieán danh ñònh hai traïng thaùi deã daøng bieåu dieãn döôùi daïng giaù trò soá (ví duï nam = 0; nöõ =1). Bieán danh ñònh nhieàu traïng thaùi khoù xöû lyù hôn. Noù coù theå bieåu dieãn döôùi daïng soá. Caùch toát nhaát laø maõ hoùa moät trong N, söû duïng moät soá trong moät taäp soá ñaïi dieän cho moät bieán danh ñònh ñôn. Soá giaù trò trong taäp baèng vôùi soá giaù trò coù theå coù, (ví duï choù={1,0,0}, thoû={0,1,0}, meøo={ 0,0,1}). Neural Networks coù khaû naêng bieán ñoåi caû nhöõng bieán danh ñònh hai traïng thaùi vaø nhieàu traïng thaùi ñeå söû duïng trong maïng. Nhöng bieán danh ñònh trong moät taäp raát nhieàu traïng thaùi seõ caàn moät soá lôùn taäp maõ moät trong N, daãn ñeán kích thöôùc maïng raát lôùn vaø khoù huaán luyeän. Trong tröôøng hôïp nhö vaäy chuùng ta coù theå moâ phoûng bieán danh ñònh söû duïng chæ soá soá ñôn (maëc duø chöa ñuùng), ngoaøi ra chuùng ta phaûi tìm kyõ thuaät khaùc toát hôn ñeå bieåu dieãn thoâng tin. Vaán ñeà döï ñoaùn coù theå chia ra laøm hai phaïm truø chính : phaân loaïi vaø hoài quy. • Trong vaán ñeà phaân loaïi, muïc tieâu laø xaùc ñònh ngoõ vaøo thuoäc lôùp naøo. Trong tröôøng hôïp naøy, ngoõ ra yeâu caàu roõ raøng laø moät bieán danh ñònh ñôn. Nhieäm vuï phaân loaïi thoâng thöôøng nhaát laø hai traïng thaùi. • Trong vaán ñeà hoài quy, muïc tieâu laø döï ñoaùn giaù trò cuûa bieán lieân tuïc. Trong tröôøng hôïp naøy, ngoõ ra yeâu caàu laø moät bieán soá ñôn. Hieän nay Neural Networks coù theå thöïc hieän moät soá phaân loaïi vaø hoài quy cuøng moät luùc, maëc duø thoâng thöôøng moãi maïng chæ hoaït ñoäng moät nhieäm vuï. Vì theá, phaàn lôùn caùc tröôøng hôïp, maïng coù moät bieán ngoõ ra ñôn, maëc duø trong vaán ñeà phaân loaïi nhieàu traïng thaùi, maïng caàn moät soá caùc neuron ôû lôùp ngoõ ra. 7. PERCEPTRON NHIEÀU LÔÙP Ngaøy nay, Perceptron laø caáu truùc maïng ñöôïc duøng phoå bieán nhaát. Moãi neuron laáy toång troïng soá vaø ngöôõng cuûa ngoõ vaøo, qua haøm truyeàn ñeán ngoõ ra, caùc neuron ñöôïc saép xeáp theo caùc lôùp tôùi. Vì theá maïng coù theå moâ phoûng caùc haøm phöùc taïp tuøy theo soá lôùp vaø soá neuron moãi lôùp. Tuøy theo vaán ñeà maø caùc neuron coù soá ngoõ vaøo vaø ngoõ ra khaùc nhau. Chuùng ta khoâng theå bieát chính xaùc seõ söû duïng bao nhieâu ngoõ vaøo. Tuy nhieân, chuùng ta giaû söû raèng soá ngoõ vaøo coù theå choïn löïa deã daøng. Vaø ñeå deã daøng, thöôøng ta choïn coù moät lôùp aån vaø soá neuron trong ñoù baèng moät nöûa toång soá ngoõ vaøo vaø ngoõ ra. Leâ Thanh Nhaät-Tröông AÙnh Thu 91 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks 7.1 Huaán luyeän Perceptron nhieàu lôùp Khi soá caùc lôùp, soá neuron moãi lôùp ñaõ ñöôïc choïn, troïng soá vaø ngöôõng cuûa maïng phaûi ñöôïc caøi ñaët sao cho coù ñöôïc cöïc tieåu sai soá trong vieäc döï ñoaùn cuûa maïng. Ñaây chính laø coâng vieäc cuûa caùc thuaät toaùn huaán luyeän. Caùc tröôøng hôïp maãu chuùng ta thu thaäp ñöa qua maïng ñeå maïng töï ñieàu chænh troïng soá vaø ngöôõng sao cho cöïc tieåu hoùa loãi. Loãi trong moät caáu hình cuï theå cuûa maïng ñöôïc xaùc ñònh baèng caùch cho chaïy taát caû caùc tröôøng hôïp huaán luyeän qua maïng, so saùnh giaù trò ngoõ ra cuûa maïng vôùi giaù trò mong muoán. Loãi naøy ñöôïc tính theo haøm sai soá cuûa maïng. Thoâng thöôøng haøm sai soá laø toång bình phöông loãi (SSE – Sum Squared Error). Khaùi nieäm caàn bieát theâm laø maët phaúng sai soá. Moãi troïng soá vaø ngöôõng trong toång soá N troïng soá vaø ngöôõng ñöôïc xem laø moät chieàu trong khoâng gian. Chieàu thöù (N + 1) laø sai soá maïng. Ñoái vôùi baát kyø caáu hình troïng soá naøo, loãi cuõng coù theå veõ ôû chieàu thöù (N+1), taïo thaønh maët phaúng loãi. Ñoái töôïng cuûa vieäc huaán luyeän maïng laø tìm ñieåm thaáp nhaát trong maët phaúng nhieàu chieàu naøy. Trong maïng tuyeán tính coù haøm sai soá SSE, maët phaúng sai soá laø parapol, nghóa laø coù moät giaù trò nhoû nhaát. Do ñoù chuùng deã daøng xaùc ñònh giaù trò cöïc tieåu. Chuùng ta khoâng theå xaùc ñònh ñöôïc vò trí giaù trò nhoû nhaát cuûa maët phaúng sai soá, vaø vì theá huaán luyeän maïng Neural Networks caàn phaûi phaân tích tæ mó maët phaúng sai soá. Töø caáu hình ngaãu nhieân caùc troïng soá vaø ngöôõng ban ñaàu (nghóa laø ñieåm ngaãu nhieân treân maët phaúng sai soá) caùc thuaät toaùn huaán luyeän tìm kieám ñeán giaù trò nhoû nhaát. Thoâng thöôøng, vieäc tìm kieám döïa treân gradient (ñoä doác) treân maët phaúng sai soá taïi ñieåm hieän taïi, vaø sau ñoù seõ di chuyeån xuoáng giaù trò nhoû hôn. Do ñoù coù nhieàu khaû naêng thuaät toaùn döøng ôû ñieåm thaáp laø ñieåm giaù trò cöïc tieåu cuïc boä (nhöng duø sao cuõng hy voïng laø giaù trò nhoû nhaát). 7.2 Thuaät toaùn backpropagation. Caùc ví duï phoå bieán nhaát veà thuaät toaùn huaán luyeän Neural Networks laø backpropagation. Caùc thuaät toaùn baäc hai hieän ñaïi nhö conjugate gradient descent vaø Levenberg – Marquardt cô baûn nhanh hôn trong nhieàu vaán ñeà, nhöng backpropagation vaãn coù moät soá öu ñieåm trong moät vaøi tröôøng hôïp khaùc, vaø laø thuaät toaùn deã hieåu nhaát. Trong backpropagation, vector gradient cuûa maët phaúng sai soá ñöôïc tính toaùn. Vector naøy chæ ra ñöôøng giaûm doác nhaát vaø vò trí hieän taïi, vì theá chuùng ta bieát raèng neáu chuùng ta di chuyeån doïc theo noù moät “khoaûng ngaén”, cuoái cuøng chuùng ta seõ ñaït ñöôïc giaù trò nhoû nhaát. Khoù khaên ôû ñaây laø quyeát ñònh ñoä lôùn cuûa töøng böôùc di chuyeån. Böôùc lôùn coù theå hoäi tuï nhanh hôn, nhöng coù theå vöôït quaù ñieåm caàn ñeán hay ñi ra khoûi vuøng coù cöïc tieåu (neáu maët phaúng sai soá bò leäch taâm). Ngöôïc laïi, böôùc quaù nhoû coù theå ñi ñeán ñuùng höôùng nhöng chuùng ta caàn phaûi thöïc hieän pheùp laëp nhieàu laàn. Trong thöïc tieãn, kích thöôùc böôùc Leâ Thanh Nhaät-Tröông AÙnh Thu 92 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks tyû leä vôùi ñoä doác vaø haèng soá ñaëc bieät : toác ñoä hoïc. Giaù trò chính xaùc toác ñoä hoïc phuï thuoäc vaøo töøng öùng duïng cuï theå, vaø thöôøng ñöôïc choïn qua thöïc tieãn. Thuaät toaùn thöôøng coù theâm khaùi nieäm momentum. Momentum seõ thuùc ñaåy di chuyeån ñi theo theo moät höôùng xaùc ñònh neáu sau khi qua nhieàu böôùc ñi cuøng moät höôùng, thuaät toaùn seõ di chuyeån nhanh hôn, ñöa ñeán khaû naêng thoaùt khoûi vuøng giaù trò cöïc tieåu cuïc boä vaø cuõng coù theå di chuyeån nhanh choùng qua vuøng baèng phaúng. Thuaät toaùn do ñoù xöû lyù laëp ñi laëp laïi, sau moät soá epoch. ÔÛ moãi epoch, caùc tröôøng hôïp huaán luyeän seõ ñöôïc ñöa ra xem xeùt trong maïng, caùc ngoõ ra thöïc vaø mong muoán ñöôïc so saùnh vaø tính toaùn loãi. Loãi naøy keát hôïp vôùi gradent maët phaúng sai soá, söû duïng ñeå ñieàu chænh troïng soá vaø sau ñoù quaù trình xöû lyù laëp laïi. Caáu hình maïng ban ñaàu laø ngaãu nhieân, vaø huaán luyeän chæ döøng laïi khi soá voøng laëp epoch toái ña cho pheùp xaûy ra hay khi sai soá ñaït ñöôïc ôû moät möùc cho pheùp, hoaëc khi sai soá khoâng taêng nöõa. 7.3 Hoïc quaù möùc vaø toång quaùt hoùa Moät vaán ñeà maø caùc kyõ thuaät treân khoâng thöïc söï cöïc tieåu sai soá laø khi chuùng ta ñöa moät tröôøng hôïp môùi vaøo maïng. Noùi caùch khaùc, thuoäc tính mong muoán nhaát cuûa maïng laø khaû naêng toång quaùt hoùa caùc tröôøng hôïp môùi. Thöïc ra, maïng ñöôïc huaán luyeän cöïc tieåu hoùa sai soá döïa treân taäp huaán luyeän, taäp naøy khoâng hoaøn haûo vaø höõu haïn, roõ raøng seõ khoâng ñuùng khi cöïc tieåu sai soá treân maët phaúng sai soá thöïc – maët phaúng sai soá cuûa moâ hình cô sôû vaø chöa bieát. Söï phaân bieät ôû ñaây chính laø hoïc quaù möùc hay khít quaù möùc. Caùch deã nhaát ñeå minh hoïa khaùi nieäm naøy laø vieäc doø theo ñoà thò ñöôøng cong ña thöùc hôn laø minh hoïa baèng Neural Networks nhöng yù nghóa thì gioáng nhau. Ña thöùc laø phöông trình coù caùc heä soá vaø luõy thöøa haèng soá. Ví duï : y = 2x + 3 y= 3x2 + 4x + 1 Caùc ña thöùc khaùc nhau coù ñoà thò khaùc nhau, vôùi baäc lôùn hôn (vaø do ñoù coù nhieàu soá haïng hôn) seõ coù ñoà thò phöùc taïp hôn. Vôùi moät taäp döõ lieäu cho tröôùc, chuùng ta muoán tìm ra ña thöùc bieåu dieãn döõ lieäu naøy. Döõ lieäu coù theå coù nhieãu, vì theá chuùng ta khoâng caàn thieát tìm ra phöông trình ñuùng nhaát cho taát caû caùc ñieåm. Ña thöùc baäc thaáp hôn seõ khoâng theå ñuû chính xaùc vôùi taát caû caùc ñieåm, trong khi ñoù ña thöùc baäc cao hôn chính xaùc taát caû caùc döõ lieäu seõ raát phöùc taïp, ña thöùc naøy seõ coù ñoà thò khoâng ñuùng vôùi haøm cô sôû. Neural Networks cuõng coù vaán ñeà nhö vaäy. Maïng coù caøng nhieàu troïng soá thì haøm caøng phöùc taïp vaø do ñoù seõ rôi vaøo tình traïng khít quaù möùc. Maïng coù ít troïng soá hôn seõ khoâng ñuû khaû Leâ Thanh Nhaät-Tröông AÙnh Thu 93 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks naêng ñeå moâ phoûng haøm cô sôû. Ví duï nhö maïng khoâng coù caùc lôùp aån chæ moâ phoûng haøm truyeàn tuyeán tính ñôn giaûn. Vaäy chuùng ta seõ choïn löïa ñoä phöùc taïp cuûa maïng ñuùng nhö theá naøo? Maïng lôùn hôn seõ haàu nhö luoân luoân coù ñöôïc sai soá nhoû hôn, nhöng ñieàu naøy coù theå laø khít quaù möùc hôn laø moät moâ hình toát. Caâu traû lôøi laø söû duïng xaùc nhaän möùc giao. Vaøi maãu huaán luyeän ñöôïc löu laïi vaø khoâng thöïc söï duøng cho huaán luyeän trong thuaät toaùn backpropagation. Ñeå thay theá, nhöõng maãu naøy ñöôïc söû duïng ñeå kieåm tra ñoäc laäp trong quaù trình cuûa thuaät toaùn. Nhö vaäy hieäu suaát ban ñaàu cuûa maïng luoân luoân baèng nhau ôû nhöõng taäp huaán luyeän vaø xaùc minh laïi. Trong quaù trình huaán luyeän, sai soá huaán luyeän töï nhieân giaûm xuoáng, vaø cho pheùp huaán luyeän cöïc tieåu hoùa haøm sai soá thöïc, sai soá xaùc minh cuõng giaûm xuoáng. Tuy nhieân, neáu sai soá xaùc minh khoâng giaûm, hay baét ñaàu taêng leân, ñieàu naøy coù nghóa laø maïng baét ñaàu khít quaù möùc döõ lieäu, vaø huaán luyeän neân döøng laïi (coù theå caøi ñaët Neural Networks töï ñoäng döøng laïi khi baét ñaàu hoïc quaù möùc). Tröôøng hôïp khít quaù möùc xaûy ra trong quaù trình xöû lyù huaán luyeän goïi laø hoïc quaù möùc. Trong tröôøng hôïp naøy, chuùng ta neân giaûm soá neuron aån hay/vaø lôùp aån vì maïng quaù maïnh ñoái vôùi vaán ñeà naøy. Ngöôïc laïi, neáu maïng khoâng ñuû maïnh ñeå moâ phoûng haøm cô sôû, hoïc quaù möùc khoâng coù khaû naêng xaûy ra, cuõng nhö sai soá huaán luyeän hay xaùc minh laïi khoâng rôi vaøo möùc baõo hoøa. Nhöõng vaán ñeà lieân quan ñeán cöïc tieåu cuïc boä, vaø nhöõng quyeát ñònh söû duïng quaù kích thöôùc cuûa maïng, nghóa laø chuùng ta phaûi chaïy thöû treân nhieàu maïng khaùc nhau, coù theå huaán luyeän moãi maïng vaøi laàn (ñeå traùnh rôi vaøo tröôøng hôïp cöïc tieåu cuïc boä sai soá) vaø quan saùt hieäu suaát töøng maïng. Ñieàu quan troïng laø quan saùt sai soá xaùc minh. Tuy nhieân, neân nhôù raèng neân moâ phoûng maïng ñôn giaûn hôn laø maïng phöùc taïp, chuùng ta cuõng theå choïn maïng nhoû hôn laø maïng lôùn coù khaû naêng caûi thieän sai soá xaùc minh khoâng ñaùng keå. Vaán ñeà ñoái vôùi kyõ thuaät naøy veà vieäc thí nghieäm laëp ñi laëp laïi laø taäp xaùc minh khoâng thöïc söï ñoùng vai troø choïn löïa maïng, nghóa laø noù chæ laø moät phaàn trong quaù trình huaán luyeän. Ñoä tin caäy cuûa noù chæ ôû möùc ñoä vöøa phaûi – khi soá laàn thí nghieäm ñuû, chuùng ta coù khaû naêng rôi vaøo tröôøng hôïp maïng thöïc hieän toát treân taäp xaùc minh. Ñeå theâm ñoä tin caäy hieäu suaát cuûa moâ hình cuoái cuøng thì trong thöïc teá thöôøng söû duïng theâm moät taäp thöù ba – laø taäp kieåm tra. Moâ hình cuoái cuøng ñöôïc kieåm tra vôùi taäp döõ lieäu kieåm tra ñeå ñaûm baûo raèng keát quaû cuûa taäp xaùc minh vaø huaán luyeän laø thaät. Toùm laïi, vieäc thieát keá maïng (khi caùc bieán ngoõ vaøo ñaõ ñöôïc choïn) goàm caùc böôùc sau: • Choïn caáu hình ban ñaàu (thöôøng moät lôùp aån coù soá neuron aån baèng nöûa toång soá neuron ngoõ vaøo vaø ngoõ ra). Leâ Thanh Nhaät-Tröông AÙnh Thu 94 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks • Thöïc hieän laëp ñi laëp laïi soá thí nghieäm cuûa moãi caáu hình, giöõ laïi maïng toát nhaát (thöôøng döïa treân sai soá xaùc minh). Thí nghieäm nhieàu laàn treân moãi caáu hình maïng ñeå traùnh rôi vaøo sai soá cuïc boä. • Trong moãi laàn thí nghieäm, neáu xaûy ra vieäc hoïc chöa ñuû (maïng khoâng ñaït ñöôïc möùc hieäu suaát chaáp nhaän) thì thöû taêng soá neuron trong lôùp aån. Neáu khoâng hieäu quaû, thì theâm moät lôùp aån. • Neáu xaûy ra hoïc quaù möùc (sai soá xaùc minh baét ñaàu taêng leân) thöû boû bôùt moät vaøi neuron aån (vaø coù theå boû lôùp aån). 7.4 Choïn löïa döõ lieäu Caùc böôùc moâ taû treân ñeàu döïa treân moät giaû ñònh, ñoù laø döõ lieäu huaán luyeän, xaùc minh vaø kieåm tra phaûi ñaïi dieän cho moâ hình cô sôû (hôn nöõa, ba taäp naøy phaûi ñoäc laäp). Neáu döõ lieäu huaán luyeän khoâng ñaëc tröng thì giaù trò moâ hình chæ laø moät söï daøn xeáp, xaáu nhaát coù theå khoâng söû duïng ñöôïc. • Töông lai khoâng phaûi laø quaù khöù. Döõ lieäu huaán luyeän ñaëc tröng cho nhöõng gì ñaõ xaûy ra. Neáu moâi tröôøng thay ñoåi, moái quan heä neuron trong maïng khoâng coøn phuø hôïp nöõa. • Taát caû caùc tröôøng hôïp phaûi ñöôïc khaùi quaùt. Neural Networks chæ coù theå hoïc töø nhöõng maãu ñöôïc ñöa vaøo. Do ñoù Neural Networks khoâng theå coù moät quyeát ñònh ñuùng khi neuron chöa ñöôïc huaán luyeän. • Maïng chæ coù theå hoïc theo caùch deã nhaát maø noù coù theå. 7.5 Tìm hieåu caùch huaán luyeän MLP Ñeå hieåu ñöôïc caùch hoaït ñoäng vaø huaán luyeän MLP, chuùng ta phaûi tìm hieåu caùc loaïi haøm maø maïng moâ phoûng. Möùc kích hoaït cuûa moät neuron phuï thuoäc toång trò soá vaø giaù trò ngöôõng. Nghóa laø möùc kích hoaït laø moät haøm tuyeán tính cuûa ngoõ vaøo. Sau ñoù tín hieäu ñöôïc ñöa qua haøm truyeàn sigmoid. Vieäc keát hôïp haøm tuyeán tính ña chieàu vaø haøm sigmoid moät chieàu seõ cho ñaëc tính ñaùp öùng sigmoid “döïng ñöùng” cuûa lôùp neuron MLP aån ñaàu tieân. Thay ñoåi troïng soá vaø ngöôõng seõ thay ñoåi maët phaúng ñaùp öùng. Cuï theå, caû phöông cuûa maët phaúng vaø ñoä doác coù theå bò thay ñoåi. Ñoä doác caøng lôùn töông öùng vôùi troïng soá caøng lôùn : neáu taát caû giaù trò troïng soá taêng gaáp ñoâi thì cho cuøng moät phöông nhöng coù ñoä doác khaùc nhau. Leâ Thanh Nhaät-Tröông AÙnh Thu 95 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks Ñaùp öùng sigmoid Maïng ña lôùp laø keát hôïp nhieàu maët phaúng ñaùp öùng naøy, qua vieäc keát hôïp caùc haøm kích hoaït tuyeán tính vaø phi tuyeán. Hình treân minh hoïa maët phaúng ñaùp öùng ñaët tröng cuûa maïng chæ coù moät lôùp aån coù 2 neuron vaø 1 neuron ngoõ ra, thöïc hieän XOR hai tín hieäu. Hai maët phaúng sigmoid ñoäc laäp keát hôïp laïi taïo thaønh maët phaúng hình chöõ U ñôn. Maët phaúng ñaùp öùng hai haøm sigmoid Suoát quaù trình huaán luyeän maïng, ñaàu tieân troïng soá vaø ngöôõng ñöôïc caøi ñaët nhoû vaø ngaãu nhieân. Nghóa laø maët phaúng ñaùp öùng cuûa caùc neuron ñöôïc saép xeáp ngaãu nhieân vôùi ñoä doác nhoû: chuùng khoâng bò eùp buoäc. Khi xöû lyù huaán luyeän, caùc maët phaúng ñaùp öùng cuûa caùc neuron ñöôïc xoay vaø dôøi ñeán caùc vò trí töông öùng, bieân ñoä cuûa caùc troïng soá thay ñoåi ñeå moâ phoûng caùc vuøng cuï theå cuûa maët phaúng ñaùp öùng ñích. Veà vaán ñeà phaân loaïi, ngoõ ra cuûa neuron laø tín hieäu maïnh neáu tröôøng hôïp ñöa vaøo thuoäc nhoùm ñoù, vaø yeáu neáu khoâng phaûi. Noùi caùch khaùc, maïng moâ phoûng moät haøm coù bieân ñoä laø moät trong khoâng gian maãu maø maïng coù, vaø bieân ñoä laø zero neáu khoâng coù. Trong vaán ñeà Leâ Thanh Nhaät-Tröông AÙnh Thu 96 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks nhaän daïng maãu, ñaây laø moät haøm bieät thöùc. Moät haøm bieät thöùc lyù töôûng coù ñoä cao taát caû caùc ñieåm treân haøm laø 1 hoaëc 0. Neáu khoâng coù caùc neuron aån, thì ngoõ ra chæ coù theå moâ phoûng moät haøm sigmoid doác vôùi moät beân coù ñoä cao thaáp vaø beân kia coù ñoä cao khaùc. Ta seõ luoân luoân coù moät vuøng ôû giöõa coù ñoä cao trung bình, nhöng khi caùc bieân ñoä troïng soá taêng, vuøng naøy bò co laïi. Haøm sigmoid doác chæ laø moät haøm bieät thöùc tuyeán tính. Caùc ñieåm ôû moät beân cuûa ñoä doác ñöôïc phaân loaïi thuoäc vaøo moät nhoùm vaø caùc ñieåm phía beân kia thì khoâng thuoäc nhoùm. Nghóa laø maïng khoâng coù lôùp aån chæ coù theå phaân loaïi caùc vaán ñeà ñoäc laäp tuyeán tính. Maïng moät lôùp aån coù moät soá haøm sigmoid doác (moãi haøm moät neuron aån) bieåu dieãn cho lôùp aån ñoù, vaø caùc haøm naøy sau ñoù keát hôïp thaønh moät haøm daõi ôû lôùp ra. Haøm daõi coù lôùp bieân loài (nghóa laø khoâng bò nhaáp nhoâ vaø khoâng coù loã hoång trong ñoù). Maëc duø haøm daõi loài, noù coù theå môû roäng ra voâ cuøng theo höôùng naøo ñoù. Maïng nhö theá trong thöïc teá coù khaû naêng moâ phoûng thoûa ñaùng haàu heát caùc vaán ñeà phaân loaïi trong theá giôùi thöïc cuûa chuùng ta. Moät MLP coù maët phaúng ñaùp öùng daõi thöïc hieän XOR hai tín hieäu. Maïng hai lôùp aån coù moät soá haøm daõi keát hôïp vôùi nhau – soá daõi töông öùng vôùi soá neuron trong lôùp thöù hai, vaø soá caïnh cuûa moãi daõi töông öùng vôùi soá neuron trong lôùp thöù nhaát. Deã daøng thaáy raèng coù theå bieåu dieãn baát kyø hình daïng naøo (caû maët loõm vaø loã hoång) khi söû duïng moät soá ñuûø lôùn caùc haøm daõi. MLP hai lôùp aån theo lyù thuyeát coù theå moâ phoûng baát kyø vaán ñeà gì. Ñieàu naøy khoâng coù nghóa laø maïng coù hôn hai lôùp khoâng thuaän tieän hay deã moâ phoûng hôn. Tuy nhieân, trong thöïc teá haàu heát caùc vaán ñeà ñeàu thöïc hieän baèng maïng coù moät lôùp aån. Trong vaán ñeà phaân loaïi, ta ñònh nghóa nhö theá naøo laø treân hoaëc gaàn doác. Thöïc teá chuaån chaáp nhaän döïa vaøo moät soá caáp ñoä tin caäy (ngöôõng chaáp nhaän vaø loaïi boû) phaûi vöôït qua ngöôõng ñoù Leâ Thanh Nhaät-Tröông AÙnh Thu 97 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks tröôùc khi neuron töôûng raèng phaûi “coù moät quyeát ñònh”. Ví duï, neáu ngöôõng chaáp nhaän/loaïi boû laø 0,95/0,05, ngoõ ra neuron vöôït qua 0,95 ñöôïc coi nhö chaáp nhaän, döôùi 0,05 thì coi nhö loaïi boû vaø ôû giöõa coi nhö “khoâng quyeát ñònh”. Moät caùch hieåu tinh vi (vaø coù theå höõu ích hôn) laø xem xeùt ngoõ ra maïng nhö laø caùc xaùc suaát. Trong tröôøng hôïp naøy, maïng cho nhieàu thoâng tin hôn moät quyeát ñònh ñôn giaûn : ñoù laø ñoä ñaùng tin caäy cuûa quyeát ñònh ñoù. Coù moät soá boå sung cho MLP ñeå cho pheùp ngoõ ra maïng hieåu nhö laø caùc xaùc suaát, nghóa laø maïng hoïc coù hieäu quaû ñeå moâ phoûng haøm maät ñoä xaùc suaát cuûa nhoùm. Tuy nhieân, hieåu theo xaùc suaát chæ coù theå coù giaù trò döôùi moät soá giaû thieát nhaát ñònh veà söï phaân boá cuûa döõ lieäu (ñaëc bieät ñöôïc ruùt ra töø hoï caùc phaân boá haøm muõ). Cuoái cuøng, moät quyeát ñònh phaân loaïi vaãn phaûi coù, nhöng hieåu theo xaùc suaát cho pheùp quyeát ñònh coù “giaù phaûi traû nhoû nhaát”. 7.6 Caùc thuaät toaùn huaán luyeän MLP khaùc Phaàn treân ñaõ noùi veà thuaät toaùn backpropagation thöïc hieän theo ñoä doác gradient treân maët phaúng sai soá. Nghóa laø maïng tính höôùng doác nhaát treân maët phaúng, vaø “nhaûy xuoáng” treân maët phaúng moät khoaûng tyû leä vôùi toác ñoä hoïc vaø ñoä doác, taêng toác theo momemntum khi noù duy trì theo moät höôùng coá ñònh. Thöïc ra, ñoä doác ñöôïc tính phuï thuoäc vaøo maët phaúng sai soá cuûa moãi maãu huaán luyeän vaø theo moät thöù töï ngaãu nhieân, nhöng ñieàu naøy thöïc söï laø moät pheùp tính xaáp xæ toát veà ñoä doác treân maët phaúng sai soá ña hôïp. Caùc thuaät toaùn huaán luyeän MLP khaùc laøm vieäc coù khaùc, nhöng taát caû ñeàu söû duïng moät chieán löôïc thieát keá ñeå di chuyeån veà ñieåm nhoû nhaát caøng nhanh caøng toát. Caùc kyõ thuaät tinh vi hôn cho vieäc toái öu hoùa laø haøm phi tuyeán ñoâi khi ñöôïc söû duïng laø : ñoä doác gradient lieân hôïp (conjugate gradient descent) vaø Levenberg – Marquardt ñaõ raát thaønh coâng ñoái vôùi hai loaïi thuaät toaùn : kyõ thuaät ñònh höôùng ñöôøng (line search) vaø vuøng moâ phoûng tin caäy (model – trust region). Thuaät toaùn ñònh höôùng ñöôøng laøm vieäc nhö sau : laáy ra moät höôùng nhaïy ñeå di chuyeån theo chieàu ngang ña chieàu, roài chieáu ñöôøng thaúng theo höôùng ñoù ñeå xaùc ñònh ñieåm nhoû nhaát vaø laëp laïi. Vaäy höôùng nhaïy laø nhö theá naøo? Roõ raøng ñaây laø höôùng coù ñoä doác lôùn nhaát (gioáng nhö höôùng ñöôïc choïn trong backpropagation). YÙ töôûng ôû ñaây laø khi thuaät toaùn ñaõ cöïc tieåu hoùa doïc theo moät höôùng cuï theå naøo ñoù, thì ñaïo haøm baäc hai doïc theo höôùng ñoù phaûi giöõ ôû zero. Caùc höôùng lieân hôïp ñöôïc choïn ñeå giöõ ñaïo haøm baäc hai zero naøy vôùi giaû thieát maët phaúng naøy laø parabol. Neáu ñieàu kieän naøy ñöôïc giöõ, N epoch seõ ñuû ñaït ñöôïc giaù trò cöïc tieåu. Thöïc teá, treân maët phaúng phöùc, laáy lieân hôïp seõ laøm xaáu tình hình hôn, nhöng thuaät toaùn caàn ít epoch hôn backpropagation, vaø cuõng hoäi tuï cöïc tieåu toát hôn (ñònh vò hoaøn toaøn, backpropagation phaûi chaïy vôùi toác ñoäï hoïc cöïc chaäm) Leâ Thanh Nhaät-Tröông AÙnh Thu 98 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks Kyõ thuaät vuøng moâ phoûng tin caäy laøm vieäc nhö sau : thay vì theo moät ñònh höôùng coá ñònh, ta giaû söû maët phaúng coù hình daïng ñôn giaûn sao cho cöïc tieåu coù theå ñònh vò (vaø nhaûy tôùi) tröïc tieáp, neáu giaû thieát laø ñuùng. Thöû moâ hình vaø xem xeùt möùc ñoä toát cuûa ñieåm ñöôïc choïn. Moâ hình thöôøng ñöôïc giaû söû raèng maët phaúng coù hình daïng toát (ví duï nhö parabol) seõ ñuùng neáu gaàn ñaït ñöôïc cöïc tieåu. Ngoaøi ñieåm ñoù, giaû thieát coù theå bò vi phaïm, vaø moâ hình coù theå choïn nhöõng ñieåm sai ñeå di chuyeån. Moâ hình chæ coù theå ñöôïc tin caäy trong moät vuøng cuûa ñieåm hieän taïi, vaø kích thöôùc cuûa vuøng naøy thì chöa bieát. Do ñoù, choïn caùc ñieåm môùi ñeå kieåm tra giöõa ñieåm ñöôïc choïn bôûi moâ hình vaø ñieåm ñöôïc choïn baèng böôùc nhaûy ñoä doác gradient chuaån. Neáu ñieåm môùi toát, di chuyeån ñeán ñieåm ñoù vaø taêng cöôøng vai troø cuûa moâ hình trong vieäc choïn löïa moät ñieåm môùi; neáu xaáu, khoâng di chuyeån, vaø taêng cöôøng vai troø cuûa böôùc doác gradient trong vieäc choïn ñieåm môùi (vaø laøm cho böôùc nhoû hôn). Levenberg – Marquardt söû duïng moät moâ hình coù giaû thieát raèng haøm cô sôû laø tuyeán tính (vaø do ñoù coù maët phaúng sai soá parabol). Leverberg – Marquardt thöôøng coù toác ñoä huaán luyeän nhanh nhaát, nhöng coù moät vaøi giôùi haïn, ñaëc bieät chæ söû duïng ôû maïng coù moät ngoõ ra, chæ coù theå söû duïng haøm sai soá toång bình phöông vaø yeâu caàu boä nhôù tyû leä vôùi W2 (vôùi W laø soá troïng soá trong maïng, ñieàu naøy laøm cho thuaät toaùn khoâng thöïc teá ñoái vôùi maïng lôùn). Ñoä doác gradient lieân hôïp gaàn nhö toát trong tröôøng hôïp naøy, khoâng chòu nhöõng giôùi haïn naøy. Backpropagation duø sao vaãn raát höõu duïng, nhöng khoâng cho toác ñoä nhanh. Ñaây laø phöông phaùp toát khi taäp döõ lieäu raát lôùn, vaø chöùa moät löôïng lôùn döõ lieäu thöøa. Backpropagation ñieàu chænh sai soá töøng tröôøng hôïp moät neân döõ lieäu thöøa khoâng laøm aûnh höôûng ñeán maïng (ví duï, neáu ta taêng gaáp ñoâi kích thöôùc taäp döõ lieäu baèng caùch laëp laïi töøng maãu, moãi epoch seõ keùo daøi gaáp ñoâi, nhöng coù cuøng taùc duïng neáu ta ñöa hai laàn epoch cuûa taäp döõ lieäu cuõ, vì theá khoâng coù thieät haïi). Ngöôïc laïi Leverberg–Marquardt vôùi kích thöôùc baèng 4 thöïc hieän tính toaùn söû duïng toaøn boä taäp döõ lieäu, vì theá taêng soá tröôøng hôïp coù theå laøm chaäm ñaùng keå moãi epoch, nhöng khoâng caûi thieän hieäu suaát caàn thieát treân epoch ñoù (khoâng caûi thieän hieäu suaát neáu döõ lieäu laø thöøa, neáu döõ lieäu ít thì vieäc theâm döõ lieäu seõ laøm cho moãi epoch toát hôn). Backpropagation coù tính chaát toát nhö nhau neáu döõ lieäu raát ít. 8. CAÙC MAÏNG HAØM RADIAL BASIS Phaàn treân chuùng ta ñaõ xem xeùt haøm ñaùp öùng cuûa moâ hình MLP laø keát hôïp caùc haøm doác sigmoid – trong vaán ñeà phaân loaïi, ñieàu naøy töông öùng chia khoâng gian maãu baèng sieâu maët phaúng. Söû duïng maët phaúng chia khoâng gian maãu laø kyõ thuaät töï nhieân vaø döïa treân khaùi nieäm ñöôøng thaúng. Leâ Thanh Nhaät-Tröông AÙnh Thu 99 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks Ñaùp öùng cuûa neuron Radial Basis Moät kyõ thuaät tröïc giaùc vaø haáp daãn gioáng nhö vaäy chia khoâng gian söû duïng baèng voøng troøn hay (toång quaùt hôn) sieâu hình caàu. Moät sieâu hình caàu coù taâm vaø baùn kính. Toång quaùt hôn, gioáng nhö ñaùp öùng neuron MLP (phi tuyeán), khoaûng caùch giöõa caùc ñieåm ñeán ñöôøng doác sigmoid, trong maïng radial basis, ñaùp öùng cuûa caùc neuron (phi tuyeán) laø khoaûng caùch cuûa caùc ñieåm ñeán taâm, ñaïi dieän laø baùn kính neuron. Maët phaúng ñaùp öùng cuûa moät neuron radial ñôn do ñoù laø haøm Gaussian (hình chuoâng) ñænh ñaët taïi taâm vaø giaûm hai beân. Gioáng nhö ñoä doác cuûa ñöôøng cong sigmoid trong MLP coù theå thay ñoåi, ñoä doác cuûa neuron radial haøm Gaussian cuõng nhö vaäy. Caùc neuron MLP ñöôïc ñònh nghóa baèng troïng soá vaø ngöôõng cuûa noù, keát hôïp laïi ñöa ra phöông trình ñöôøng ñònh nghóa, toác ñoä giaûm cuûa haøm töø ñöôøng thaúng ñoù. Tröôùc khi aùp duïng haøm kích hoaït sigmoid, toác ñoä kích hoaït cuûa neuron laø sieâu maët phaúng, vaø do ñoù goïi laø neuron tuyeán tính (maëc duø haøm kích hoaït laø phi tuyeán). Ngöôïc laïi neuron radial ñöôïc ñònh nghóa baèng taâm ñieåm vaø baùn kính. Moät trong khoâng gian N chieàu ñöôïc ñònh nghóa baèng N soá, töông öùng vôùi soá troïng soá trong neuron tuyeán tính, vì theá taâm cuûa moät neuron radial trong Neural Networks xem nhö laø troïng soá. Giaù trò baùn kính (hoaëc ñoä leäch) ñöôïc löu laïi xem nhö laø ngöôõng. Roõ raøng giaù trò troïng soá vaø ngöôõng trong neuron radial hoaøn toaøn khaùc so vôùi neuron tuyeán tính, vaø thuaät ngöõ naøy raát nguy hieåm neáu chuùng ta khoâng nhôù ñieàu naøy : troïng soá neuron radial taïo thaønh moät ñieåm vaø moät ngöôõng trong neuron radial thöïc söï laø ñoä leäch. Maïng radial basis (RBF) moät lôùp aån goàm caùc neuron radial, moãi neuron thöïc söï moâ phoûng baèng maët phaúng ñaùp öùng Gaussian. Vì theá caùc haøm naøy laø phi tuyeán. Khoâng caàn thieát coù nhieàu hôn moät lôùp ñeå moâ phoûng baát kyø hình daïng naøo cuûa moät haøm : caùc neuron radial seõ luoân luoân ñuû ñeå moâ phoûng baát kyø haøm naøo. Caâu hoûi coøn laïi laø vieäc keát hôïp caùc ngoõ ra cuûa neuron radial nhö theá naøo ñeå taïo thaønh caùc ngoõ ra cuûa maïng? Nhö vaäy maïng seõ söû duïng vieäc keát hôïp tuyeán tính caùc ngoõ ra naøy (nghóa laø toång troïng soá caùc haøm Gaussian). RBF coù moät lôùp ngoõ ra chöùa caùc neuron tuyeán tính coù haøm kích hoaït tuyeán tính. Leâ Thanh Nhaät-Tröông AÙnh Thu 100 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks Maïng RBF coù moät soá caùc öu ñieåm so vôùi MLP. Ñaàu tieân, chuùng coù theå moâ phoûng baát kyø haøm phi tuyeán naøo söû duïng moät lôùp aån, loaïi boû moät vaøi quyeát ñònh trong thieát keá veà soá lôùp aån. Thöù hai, pheùp bieán ñoåi tuyeán tính ñôn giaûn ôû lôùp ngoõ ra coù theå söû duïng caùc kyõ thuaät moâ phoûng tuyeán tính truyeàn thoáng nhanh vaø khoâng coù caùc vaán ñeà nhö cöïc tieåu cuïc boä, laø nhöôïc ñieåm trong caùc kyõ thuaät huaán luyeän MLP. Maïng RBF do ñoù coù theå huaán luyeän raát nhanh. Maët khaùc tröôùc khi söû duïng lôùp tuyeán tính taïo ngoõ ra cuûa maïng RBF, soá neuron radial phaûi ñöôïc quyeát ñònh, sau ñoù taâm vaø ñoä leäch phaûi ñöôïc caøi ñaët. Maëc duø huaán luyeän nhanh hôn raát nhieàu MLP, caùc thuaät toaùn ñeå laøm ñöôïc ñieàu naøy khoâng nghieâng veà vieäc tìm ra caùc keát hôïp giöõa caùc neuron toái öu. Do ñoù ngöôøi thieát keá maïng phaûi thöïc hieän caùc lôùp baèng thöïc nghieäm. Ñaëc tröng khaùc phaân bieät giöõa RBF vaø MLP laø söï khaùc nhau trong khoâng gian moâ phoûng, RBF keát thaønh moät khoái vaø MLP thì daøn traûi. Nhöõng ngöôøi coù kinh nghieäm laøm vieäc vôùi RBF noùi raèng maët phaúng ñaùp öùng RBF caøng leäch taâm thì caøng caàn nhieàu neuron hôn ñeå moâ phoûng. Dó nhieân ta coù theå veõ ñöôïc hình daïng deã daøng baèng caùch naøy hay caùch khaùc nhöng RBF khoâng thieân veà caân baèng. Haäu quaû laø, giaûi phaùp duøng RBF coù xu höôùng hoaït ñoäng chaäm hôn vaø söû duïng khoâng gian nhieàu hôn maïng MLP töông öùng (nhöng duø sao huaán luyeän vaãn nhanh hôn raát nhieàu, ñoâi khi eùp buoäc maïng nhieàu hôn). Kyõ thuaät “khoái” cuõng coù nghóa laø RBF khoâng nghieâng veà ngoaïi suy ra ngoaøi vuøng döõ lieäu : ñaùp öùng seõ rôi nhanh xuoáng zero neáu döõ lieäu söû duïng ra xa taäp döõ lieäu huaán luyeän. Ñaây laø öu ñieåm hay khuyeát ñieåm phuï thuoäc vaøo lónh vöïc öùng duïng, nhöng treân toång theå vieäc ngoaïi suy khoâng tính toaùn cuûa MLP xem nhö laø moät nhöôïc ñieåm : ngoaïi suy ra xa döõ lieäu huaán luyeän thì thöôøng nguy hieåm vaø khoâng ñuùng. Nhö ñaõ ñeà caäp ôû treân huaán luyeän maïng RBF qua caùc böôùc roõ raøng. Ñaàu tieân caøi ñaët taâm vaø ñoä leäch cuûa neuron radial, sau ñoù lôùp ngoõ ra tuyeán tính duøng ñeå toái öu hoùa maïng. Taâm ñöôïc gaùn ñeå phaûn aùnh baûn chaát caùc nhoùm döõ lieäu. Coù hai phöông phaùp thoâng thöôøng nhaát laø : • Laáy maãu con : caùc ñieåm huaán luyeän ñöôïc choïn ngaãu nhieân ñöa vaøo caùc neuron radial. Vì chuùng ñöôïc choïn ngaãu nhieân neân seõ “ñaïi dieän” cho phaân boá cuûa döõ lieäu huaán luyeän theo yù nghóa thoáng keâ. Tuy nhieân, neáu soá neuron radial khoâng lôùn thì caùc neuron radial bieåu dieãn keùm. • Thuaät toaùn trung bình K : thuaät toaùn naøy coá gaéng choïn ra caùc taäp toái öu caùc dieåm ñaët taïi troïng taâm cuûa caùc nhoùm döõ lieäu huaán luyeän. K neuron radial cho tröôùc seõ ñieàu chænh vò trí caùc taâm sao cho : Leâ Thanh Nhaät-Tröông AÙnh Thu 101 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks - Moãi ñieåm huaán luyeän naèm trong moät taâm nhoùm vaø gaàn taâm naøy hôn caùc taâm khaùc. - Moãi taâm nhoùm laø taâm cuûa caùc ñieåm huaán luyeän cuûa noù. Khi caùc taâm ñaõ ñöôïc gaùn, ñoä leäch cuõng ñöôïc caøi ñaët. Kích thöôùc cuûa ñoä leäch xaùc ñònh ñoä nhoïn cuûa haøm Gaussian. Neáu haøm Gaussian raát nhoïn, maïng seõ khoâng ngoaïi suy giöõa caùc ñieåm ñaõ bieát, vaø maïng maát ñi khaû naêng toång quaùt hoùa. Neáu haøm Gaussian traûi roäng, maïng maát ñi caùc chi tieát toát. Ñaây laø moät caùch bieåu thò khaùc cuûa vaán ñeà khoù xöû laø khít quaù/ chöa khít döõ lieäu. Ñoä leäch thöôøng ñöôïc choïn sao cho haøm Gaussian phuû leân moät vaøi taâm gaàn keà. Caùc phöông phaùp thöôøng duøng laø : • Töï choïn : ta töï choïn laáy ñoä leäch. • Ñaúng höôùng : ñoä leäch baèng nhau cho taát caû caùc neuron radial ñöôïc töï choïn ñeå phaûn aùnh moät soá taâm vaø khoái löôïng khoâng gian maø noù chieám. • K neuron gaàn keà nhaát : ñoä leäch cuûa moãi neuron ñöôïc caøi ñoäc laäp baèng khoaûng caùch trung bình cuûa K neuron gaàn keà noù nhaát. Vì theá, caùc ñoä leäch nhoû hôn goùi goïn sít sao khoâng gian, giöõ laïi caùc chi tieát vaø coù theå ngoaïi suy neáu caàn thieát. Khi caùc taâm vaø ñoä leäch ñöôïc choïn, lôùp ra coù theå ñöôïc toái öu hoùa söû duïng kyõ thuaät toái öu hoùa chuaån. Caùc haøm radial basis cuõng coù theå keát hôïp vôùi moät soá caùch khaùc. Lôùp ngoõ ra coù theå thay theá baèng caùc haøm kích hoaït phi tuyeán, trong tröôøng hôïp naøy ta coù theå duøng caùc thuaät toaùn huaán luyeän backpropagation ñeå huaán luyeän. Ta cuõng coù theå huaán luyeän lôùp radial (lôùp aån) baèng thuaät toaùn huaán luyeän maïng Kohonen. 9. MAÏNG NEURAL XAÙC SUAÁT (PNN) Nhö chuùng ta ñaõ ñeà caäp phaàn treân, trong tröôøng hôïp phaân loaïi, ngoõ ra maïng öôùc löôïng xaùc suaát moät phaàn töû cuûa lôùp, maø maïng ñaõ hoïc öôùc löôïng haøm maät ñoä xaùc suaát. Vaán ñeà hoài quy cuõng ñöôïc hieåu töông töï, neáu ngoõ ra maïng ñöôïc xem laø giaù trò kyø voïng cuûa moâ hình taïi khoâng gian ngoõ vaøo cho tröôùc. Giaù trò kyø voïng naøy lieân quan ñeán haøm maät ñoä xaùc suaát cuûa ngoõ vaøo vaø ngoõ ra. Öôùc löôïng haøm maät ñoä xaùc suaát töø döõ lieäu coù lòch söû thoáng keâ laâu ñôøi, vaø trong hoaøn caûnh naøy laø thoáng keâ Bayesian. Vôùi moâ hình cho tröôùc, thoáng keâ coå ñieån cho chuùng ta bieát ñoä thay ñoåi cuûa ngoõ ra. Thoáng keâ Bayesian ñaët vaán ñeà naøy leân haøng ñaàu, baèng caùch öôùc löôïng hieäu quaû cuûa döõ lieäu cuï theå cho tröôùc. Toång quaùt hôn, thoáng keâ Bayesian coù theå öôùc löôïng maät ñoä xaùc Leâ Thanh Nhaät-Tröông AÙnh Thu 102 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks suaát cuûa thoâng soá moâ hình ñoái vôùi döõ lieäu coù giaù trò. Ñeå cöïc tieåu loãi, moâ hình sau ñoù ñöôïc choïn löïa sao cho caùc thoâng soá cuûa noù cöïc ñaïi haøm maät ñoä xaùc suaát pdf naøy. Trong tröôøng hôïp phaân loaïi, neáu chuùng ta xaây döïng baûng öôùc löôïng caùc haøm pdf cuûa caùc lôùp coù theå coù, chuùng ta coù theå so saùnh xaùc suaát cuûa caùc lôùp khaùc nhau, vaø choïn ra lôùp coù xaùc suaát lôùn nhaát. Ñieàu naøy maïng Neural Networks laøm vieäc khaù hieäu quaû khi maïng hoïc ñöôïc vaán ñeà phaân loaïi – maïng seõ coá gaéng hoïc haøm pdf. Moät kyõ thuaät coå ñieån hôn laø xaây döïng baûng öôùc löôïng haøm pdf töø döõ lieäu. Kyõ thuaät coå ñieån nhaát laø giaû söû haøm pdf coù moät daïng naøo ñoù (thoâng thöôøng coù daïng phaân boá chuaån), vaø sau ñoù öôùc löôïng caùc thoâng soá. Phaân boá chuaån thöôøng ñöôïc söû duïng, caùc thoâng soá moâ hình (trung bình vaø phöông sai) coù theå ñöôïc tính baèng caùc kyõ thuaät phaân tích. Vaán ñeà laø giaû thieát chuaån hoùa thöôøng khoâng ñuùng. Kyõ thuaät thay theá cho haøm pdf laø phöông phaùp xaáp xæ döïa treân loõi. Coù theå hieåu ñôn giaûn laø khi ñöa caùc maãu cuï theå vaøo seõ chæ ra maät ñoä xaùc suaát taïi ñieåm ñoù : moät nhoùm caùc maãu gaàn nhau seõ cho ra moät vuøng maät ñoä xaùc suaát cao. Töông töï, chuùng ta coù theå tin caäy vaøo moät vaøi haøm maät ñoä xaùc suaát. Trong pheùp öôùc löôïng döïa treân loõi, caùc haøm ñôn seõ ñöôïc ñònh vò ôû moãi maãu coù hieäu löïc, vaø ñöôïc coäng vôùi nhau cho öôùc löôïng toaøn haøm pdf. Thoâng thöôøng, moãi haøm loõi laø Gaussian (daïng chuoâng). Neáu caùc ñieåm huaán luyeän ñaày ñuû, chuùng ta seõ coù moät haøm pdf thöïc. Kyõ thuaät döïa treân loõi xaùc ñònh pdf naøy raát gioáng maïng RBF, vaø do ñoù ñöa ñeán maïng neural xaùc suaát (PNN) vaø maïng neural hoài quy toång quaùt (GRNN). PNN chuû yeáu laøm nhieäm vuï phaân loaïi, vaø GRNN cho vieäc hoài quy. PNN coù toái thieåu 3 lôùp : lôùp vaøo, radial vaø lôùp ra. Caùc neuron radial basis sao cheùp tröïc tieáp döõ lieäu huaán luyeän, moãi neuron moät maãu, moâ phoûng haøm Gaussian coù taâm laø maãu huaán luyeän. Chæ coù moät ngoõ ra cuûa moãi lôùp. Moãi ngoõ ra keát noái vôùi taát caû caùc neuron radial thuoäc lôùp noù. Do ñoù, caùc neuron ngoõ ra chæ ñôn giaûn coäng caùc ñaùp öùng cuûa caùc neuron trong lôùp cuûa noù. Moãi ngoõ ra tyû leä vôùi öôùc löôïng döïa treân loõi (kernel-based estimates) cuûa haøm pdf taïi caùc lôùp khaùc nhau, vaø chuaån hoùa toång naøy laø 1. Maïng PNN cô baûn coù theå boå sung theo 2 caùch : • Thöù nhaát, kyõ thuaät cô baûn giaû söû maät ñoä caùc maãu huaán luyeän laø tyû leä thöïc. Do ñoù neáu tyû leä thöïc khoâng ñuùng trong caùc maãu huaán luyeän, thì maïng seõ öôùc löôïng sai. Ñeå buø laïi vaán ñeà naøy, tyû leä thöïc phaûi cho tröôùc (neáu bieát), vaø troïng soá cuûa lôùp seõ ñieàu chænh ñeå buø laïi. • Thöù hai, baát kyø maïng naøo taïo öôùc löôïng döïa treân haøm nhieãu seõ chaéc chaén taïo ra moät vaøi phaân loaïi sai. Tuy nhieân moät vaøi daïng loaïi phaân sai coù theå xem laø “loãi kinh nghieäm”. Leâ Thanh Nhaät-Tröông AÙnh Thu 103 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks Trong tröôøng hôïp naøy, maïng phaùt ra xaùc suaát thoâ ñeå thay ñoåi troïng soá, goïi laø heä soá toån hao (loss factor), söï toån hao do phaân loaïi sai. Trong Neural Networks coù theå theâm lôùp thöù tö laø ma traän toån thaát. Ma traän naøy nhaân vôù i caùc öôùc löôïng xaùc suaát cuûa lôùp thöù ba vaø lôùp coù toån thaát öôùc löôïng nhoû nhaát seõ ñöôïc choïn. Heä soá phaúng laø heä soá ñieàu khieån ñoä nhaïy cuûa maïng Neural Networks xaùc suaát (nghóa laø ñoä leäch cuûa haøm Gaussian trong neuron radial). Gioáng nhö maïng RBF, heä soá naøy ñöôïc choïn sao cho coù ñoä phuû hôïp lyù – ñoä leäch quaù nhoû gaây ra pheùp öôùc löôïng raát nhoïn khoâng theå toång quaùt hoùa, ñoä leäch quaù lôùn seõ laøm baèng caùc chi tieát. Öu ñieåm lôùn nhaát cuûa PNN laø tính thoáng keâ vaø toác ñoä huaán luyeän. Huaán luyeän moät PNN thöïc söï chæ sao cheùp caùc maãu huaán luyeän vaøo maïng, vaø vì theá huaán luyeän gaàn nhö ngay töùc thôøi. Khuyeát ñieåm lôùn nhaát cuûa maïng laø kích thöôùc : maïng PNN chöùa taát caû taäp huaán luyeän, vaø do ñoù toán nhieàu khoâng gian vaø chaïy chaäm. 10. MAÏNG NEURAL HOÀI QUY TOÅNG QUAÙT HOÙA (GRNN ) GRNN laøm vieäc töông töï nhö PNN nhöng thöïc hieän hoài quy chöù khoâng phaân loaïi. Nhö vôùi PNN, caùc haøm loõi Gaussian xaùc ñònh trong moãi maãu huaán luyeän. GRNN sao cheùp caùc maãu huaán luyeän vaøo maïng ñeå söû duïng öôùc löôïng ñaùp öùng cuûa caùc ñieåm vaøo môùi. Ngoõ ra thöïc ñöôïc öôùc tính söû duïng trung bình troïng soá cuûa caùc maãu huaán luyeän ñích, trong ñoù troïng soá phuï thuoäc khoaûng caùch giöõa ñieåm ñoù vôùi ñieåm ñöôïc öôùc tính (vì theá caùc ñieåm laân caän ñoùng vai troø quan troïng trong vieäc öôùc tính). Lôùp aån thöù nhaát trong GRNN chöùa caùc neuron radial. Lôùp aån thöù hai chöùa caùc neuron giuùp tính trung bình troïng soá. Ñaây laø moät thuû tuïc ñaëc bieät. Moãi ngoõ ra coù moät neuron ñaëc bieät trong lôùp naøy taïo toång troïng soá cho ngoõ ra töông öùng. Ñeå laáy giaù trò trung bình töø toång troïng soá, toång troïng soá phaûi ñöôïc chia cho toång caùc heä soá troïng soá. Coù moät neuron ñaëc bieät trong lôùp thöù hai tính giaù trò toång caùc heä soá troïng soá. Sau ñoù lôùp ngoõ ra thöïc hieän pheùp chia thöïc söï (söû duïng caùc neuron “chia” ñaëc bieät ) . Vì theá lôùp aån thöù hai luoân luoân coù nhieàu hôn lôùp ngoõ ra moät neuron. Trong vaán ñeà hoài quy, thoâng thöôøng chæ coù moät ngoõ ra ñôn ñöôïc tính, vaø vì theá lôùp aån thöù hai thöôøng coù hai neuron. GRNN coù theå söûa ñoåi baèng caùch gaùn caùc neuron radial ñeå ñaïi dieän cho moät nhoùm caùc maãu huaán luyeän hôn laø töøng neuron rieâng leû. Caùch naøy giaûm kích thöôùc cuûa maïng vaø taêng toác ñoä hoaït ñoäng. Caùc taâm ñöôïc gaùn baèng thuaät toaùn gaàn ñuùng (nghóa laø laáy maãu con, trung bình K hoaëc Kohonen). GRNN coù öu ñieåm vaø khuyeát ñieåm nhö PNN, chæ khaùc laø GRNN chæ duøng cho hoài quy, trong khi ñoù PNN duøng cho phaân loaïi. Huaán luyeän GRNN gaàn nhö töùc thôøi, nhöng coù khuynh höôùng Leâ Thanh Nhaät-Tröông AÙnh Thu 104 GVHD : Ths Hoaøng Ñình Chieán
CÓ THỂ BẠN MUỐN DOWNLOAD
-
Tổng quan về VPN
36 p | 626 | 301
-
Giới Thiệu Về Wireless LanTổng Quan Về Wlan
43 p | 532 | 291
-
Chương 1 TỔNG QUAN VỀ LẬP TRÌNH MẠNG
16 p | 446 | 206
-
Bài 5: Tổng quan về mạng máy tính
25 p | 352 | 190
-
MÔN HỌC INTERNET - BÀI 1: TỔNG QUAN VỀ INTERNET
10 p | 445 | 189
-
Tổng quan về mạng Internet và giao thức TCP/IP
53 p | 404 | 162
-
Tổng quan về mạng và quản trị mạng
137 p | 247 | 143
-
Tổng quan về Metro Ethernet
8 p | 230 | 118
-
Tổng quan về giao diện quản lý Forefront TMG 2010
16 p | 264 | 100
-
Tài liệu giới thiệu tổng quan về NAT (Network Address Translation)
15 p | 47 | 23
-
Chương 1: Tổng quan về quản lý mạng
5 p | 76 | 16
-
Tổng quan về Internet và e-mail
24 p | 58 | 15
-
Chương 1: Tổng quan về mạng máy tính - ĐH Cần Thơ
10 p | 39 | 10
-
Bài giảng Tổng quan về Virus
18 p | 35 | 6
-
Bài giảng Mạng máy tính - Chương 1: Tổng quan về mạng máy tính
68 p | 30 | 4
-
Chương 1: Tổng quan về mạng máy tính và mạng cục bộ
45 p | 36 | 3
-
Bài giảng Tổng quan về mạng máy tính
11 p | 16 | 3

markdown:
# Tổng quan về Neural Networks
Chia sẻ: Trần Huyền My | Ngày: | Loại File: PDF | Số trang:76
lượt xem 120
download
![](http://image.tlvnimg.com/document/thumbnail/2009/20091210/huyenmy2204/80x100/147522_2510.jpg)
##
Tổng quan về Neural Networks
[Vui lòng tải xuống để xem tài liệu đầy đủ](javascript:void(0);)
Download
![](images/down16x21.png)
Neural Networks trong một vài năm trở lại đây đã được nhiều người quan tâm và đã áp dụng thành công trong nhiều lĩnh vực khác nhau, như tài chính, địa chất, và vật lý.
Bình luận(0)
[Đăng nhập để gửi bình luận!](javascript:void(0);)
##
Nội dung Text: Tổng quan về Neural Networks
- Phaàn 3_Chöông 1 : Toång quan Neural Networks CHÖÔNG 1 TOÅNG QUAN NEURAL NETWORKS 1. GIÔÙI THIEÄU CHUNG N eural Networks trong moät vaøi naêm trôû laïi ñaây ñaõ ñöôïc nhieàu ngöôøi quan taâm vaø ñaõ aùp duïng thaønh coâng trong nhieàu lónh vöïc khaùc nhau, nhö taøi chính, y teá, ñòa chaát vaø vaät lyù. Thaät vaäy, baát cöù ôû ñaâu coù vaán ñeà veà döï baùo, phaân loaïi vaø ñieàu khieån, Neural Networks ñeàu coù theå öùng duïng ñöôïc. Söï thaønh coâng nhanh choùng cuûa maïng Neural Networks coù theå laø do moät soá nhaân toá chính sau: • Naêng löïc : Neural Networks laø nhöõng kyõ thuaät moâ phoûng raát tinh vi, coù khaû naêng moâ phoûng caùc haøm cöïc kyø phöùc taïp. Ñaëc bieät, Neural Networks hoaït ñoäng phi tuyeán. Trong nhieàu naêm, moâ hình tuyeán tính laø kyõ thuaät ñöôïc söû duïng roäng raõi trong haàu heát caùc lónh vöïc, vì theá moâ hình tuyeán tính coù tính chieán löôïc toái öu hoùa ñöôïc bieát nhieàu nhaát. • Deã söû duïng : Neural Networks coù tính hoïc theo caùc ví duï. Ngöôøi söû duïng Neural Networks thu thaäp caùc döõ lieäu ñaëc tröng, vaø sau ñoù goïi caùc thuaät toaùn huaán luyeän ñeå coù theå töï hoïc caáu truùc cuûa döõ lieäu. Maëc duø ngöôøi söû duïng laøm taát caû nhöõng ñieàu caàn thieát ñeå coù theå choïn vaø chuaån bò döõ lieäu, söû duïng loaïi maïng phuø hôïp vaø coù theå hieåu ñöôïc caùc keát quaû, nhöng möùc ñoä ngöôøi söû duïng bieát caùch aùp duïng thaønh coâng Neural Networks vaãn thaáp hôn nhieàu nhöõng ngöôøi söû duïng caùc phöông phaùp thoáng keâ truyeàn thoáng… Neural Networks döïa treân vieäc moâ phoûng caáp thaáp heä thoáng neuron sinh hoïc. Trong töông lai vôùi söï phaùt trieån moâ phoûng neuron sinh hoïc, chuùng ta coù theå coù loaïi maùy tính thoâng minh thaät söï. 2. YÙ TÖÔÛNG SINH HOÏC Neural Networks phaùt trieån töø nghieân cöùu veà trí tueä nhaân taïo; ñaëc bieät coá gaéng baét chöôùc boä naõo coù caáu truùc caáp thaáp veà khaû naêng hoïc vaø chaáp nhaän sai cuûa heä thoáng neuron sinh hoïc. Suoát nhöõng naêm 1960 – 1980 caùc nhaø nghieân cöùu veà trí tueä nhaân taïo ñaõ tìm ra Expert Systems döïa treân moâ hình caáp cao veà xöû lyù lyù luaän cuûa boä naõo. Maëc duø moâ hình ñaõ raát thaønh coâng trong moät vaøi lónh vöïc, nhöng vaãn chöa baét chöôùc ñöôïc trí tueä con ngöôøi. Ñieàu naøy laø do caáu truùc moâ hình chöa baèng boä naõo. Do ñoù, ñeå taùi taïo trí thoâng minh, chuùng ta caàn phaûi xaây döïng nhöõng heä thoáng coù caáu truùc gioáng boä naõo con ngöôøi. Leâ Thanh Nhaät-Tröông AÙnh Thu 85 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks Boä naõo con ngöôøi goàm moät soá raát lôùn neuron (khoaûng 10.000.000.000 neuron) keát noái vôùi nhau (trung bình moãi neuron keát noái vôùi haøng chuïc ngaøn neuron khaùc). Moãi neuron laø moät teá baøo ñaëc bieät, coù theå truyeàn caùc tín hieäu ñieän. Neuron coù caáu truùc reã ngoõ vaøo, thaân teá baøo vaø caáu truùc reã ngoõ ra (sôïi thaàn kinh). Caùc sôïi thaàn kinh cuûa moät teá baøo keát noái vôùi caùc teá baøo khaùc thoâng qua synapse. Khi moät neuron kích hoaït, noù taïo ra xung ñieän hoùa hoïc doïc theo sôïi thaàn kinh. Tín hieäu naøy ñi qua caùc synapse ñeán caùc neuron khaùc, vaø tieáp tuïc bò kích hoaït. Neuron hoaït ñoäng chæ khi taát caû caùc tín hieäu nhaän ñöôïc ôû thaân teá baøo thoâng qua reã ngoõ vaøo vöôït quaù moät möùc naøo ñoù (ngöôõng hoaït ñoäng). Cöôøng ñoä tín hieäu thu ñöôïc cuûa neuron phuï thuoäc vaøo ñoä nhaïy cuûa synapse. Chæ coù vieäc hoïc laøm thay ñoåi cöôøng ñoä keát noái synapse. Ví duï nhö theo thí nghieäm coù ñieàu kieän Pavlovian coå ñieån, goõ chuoâng tröôùc khi cho choù aên toái, con choù nhanh choùng hoïc ñöôïc raèng rung chuoâng gaén lieàn vôùi aên. Keát noái synapse giöõa phaàn voû naõo thính giaùc vaø tuyeán nöôùc boït ñaõ nhaïy hôn, vì theá khi rung chuoâng voû naõo thính giaùc bò kích thích, con choù baét ñaàu tieát nöôùc boït. Do ñoù, töø moät soá raát lôùn caùc ñôn vò xöû lyù raát ñôn giaûn naøy (moãi ñôn vò thöïc hieän toång troïng soá caùc ngoõ vaøo sau ñoù kích hoaït moät tín hieäu nhò phaân neáu toång ngoõ vaøo vöôït quaù ngöôõng), boä naõo ñieàu khieån ñeå hoaït ñoäng nhöõng coâng vieäc cöïc kì phöùc taïp. Dó nhieân, söï phöùc taïp trong hoaït ñoäng cuûa boä naõo khoâng theå trình baøy heát, nhöng duø sao maïng trí tueä nhaân taïo coù theå ñaït ñöôïc moät vaøi keát quaû ñaùng chuù yù vôùi moâ hình khoâng phöùc taïp hôn boä naõo. 3. MOÂ HÌNH NHAÂN TAÏO CÔ BAÛN Neuron nhaân taïo ñöôïc ñònh nghóa nhö sau : • Neuron nhaân taïo nhaän moät soá caùc ngoõ vaøo (töø döõ lieäu goác, hay töø ngoõ ra caùc neuron khaùc trong maïng). Moãi keát noái ñeán ngoõ vaøo coù moät cöôøng ñoä (hay troïng soá), nhöõng troïng soá naøy töông öùng vôùi taùc duïng synapse trong neuron sinh hoïc. Moãi neuron cuõng coù moät giaù trò ngöôõng. • Tín hieäu ñöôïc truyeàn qua haøm kích hoaït (hay coøn goïi laø haøm truyeàn) taïo giaù trò ngoõ ra neuron. Neáu söû duïng haøm truyeàn naác (nghóa laø ngoõ ra neuron laø 0 neáu ngoõ vaøo nhoû hôn 0, vaø laø 1 neáu ngoõ vaøo lôùn hôn hay baèng 0) thì neuron hoaït ñoäng gioáng nhö neuron sinh hoïc. Thöïc teá, haøm naác ít khi söû duïng trong maïng trí tueä nhaân taïo. Löu yù raèng troïng soá coù theå aâm, nghóa laø synapse coù taùc duïng kieàm cheá hôn laø kích hoaït neuron, caùc neuron kieàm cheá coù theå tìm thaáy trong boä naõo. Treân ñaây moâ taû caùc neuron ñôn leû. Trong thöïc teá caùc neuron ñöôïc keát noái vôùi nhau. Khi maïng hoaït ñoäng, chuùng phaûi coù ngoõ vaøo (mang giaù trò hoaëc bieán cuûa theá giôùi thöïc) vaø ngoõ ra (duøng Leâ Thanh Nhaät-Tröông AÙnh Thu 86 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks ñeå döï baùo hoaëc ñieàu khieån). Ngoõ vaøo vaø ngoõ ra töông öùng vôùi caùc neuron giaùc quan vaø vaän ñoäng, nhö tín hieäu ñöa vaøo maét vaø ñieàu khieån caùnh tay. Tuy nhieân chuùng coøn coù caùc neuron aån ñoùng vai troø aån trong maïng. Ngoõ vaøo, neuron aån vaø ngoõ ra caàn ñöôïc keát noái vôùi nhau. Vaán ñeà chính ôû ñaây laø hoài tieáp. Moät maïng ñôn giaûn coù caáu truùc tieán : tín hieäu ñi vaøo ôû ngoõ vaøo, qua caùc neuron aån vaø cuoái cuøng ñeán caùc neuron ngoõ ra. Caáu truùc nhö theá chaïy oån ñònh. Tuy nhieân, neáu maïng coù hoài tieáp (chöùa caùc keát noái ngöôïc trôû veà caùc neuron tröôùc ñoù) maïng coù theå chaïy khoâng oån ñònh vaø dao ñoäng raát phöùc taïp. Maïng hoài tieáp raát ñöôïc caùc nhaø nghieân cöùu quan taâm, nhöng caáu truùc tieán ñaõ chöùng minh raát hieäu quaû trong vieäc giaûi quyeát caùc vaán ñeà thöïc teá. Maïng Neural Networks tieán cho nhö hình döôùi. Caùc neuron ñöôïc saép xeáp theo caáu truùc lieân keát lôùp rieâng bieät. Lôùp ngoõ vaøo khoâng phaûi laø neuron thöïc : caùc neuron naøy hoaït ñoäng ñôn giaûn laø giôùi thieäu caùc giaù trò cuûa caùc bieán vaøo. Caùc neuron lôùp aån vaø lôùp ngoõ ra ñöôïc keát noái vôùi taát caû caùc neuron lôùp tröôùc ñoù. Cuõng nhö vaäy chuùng ta coù theå ñònh nghóa maïng coù caùc keát noái moät phaàn vôùi moät vaøi neuron trong lôùp tröôùc ñoù; tuy nhieân, trong haàu heát caùc öùng duïng maïng coù keát noái ñaày ñuû vaãn toát hôn. Caáu truùc Neural Networks Khi maïng hoaït ñoäng, caùc giaù trò bieán ngoõ vaøo ñöôïc ñaët vaøo caùc neuron ngoõ vaøo, vaø sau ñoù caùc neuron lôùp aån vaø lôùp ngoõ ra laàn löôït ñöôïc kích hoaït. Moãi neuron tính giaù trò kích hoaït cuûa chuùng baèng caùch laáy toång caùc troïng soá ngoõ ra cuûa caùc neuron lôùp tröôùc ñoù, vaø tröø cho ngöôõng. Giaù trò kích hoaït truyeàn qua haøm kích hoaït taïo ra giaù trò ngoõ ra cuûa neuron. Khi toaøn boä maïng ñaõ hoaït ñoäng, caùc ngoõ ra cuûa lôùp ngoõ ra hoaït ñoäng nhö ngoõ ra cuûa toaøn maïng. 4. SÖÛ DUÏNG NEURAL NETWORKS : Moät loaït vaán ñeà daãn tôùi vieäc giaûi quyeát baèng maïng Neural ñöôïc ñònh nghóa baèng caùch noù laøm vieäc hoaëc noù ñöôïc huaán luyeän. Neural Networks laøm vieäc töø nhöõng ngoõ vaøo khaùc nhau, ñöa ra nhöõng ngoõ ra khaùc nhau. Do ñoù coù theå söû duïng khi bieát moät vaøi thoâng tin vaø seõ döï ñoaùn nhöõng thoâng tin chöa bieát. Leâ Thanh Nhaät-Tröông AÙnh Thu 87 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks Ví duï : • Döï ñoaùn thò tröôøng chöùng khoaùn : neáu bieát giaù caû chöùng khoaùn cuûa tuaàn tröôùc vaø chæ soá FTSE, ta seõ döï ñoaùn ñöôïc giaù caû chöùng khoaùn ngaøy mai. • Ñieàu khieån : ta muoán bieát coù hay khoâng moät robot bieát queïo phaûi, traùi hay chuyeån ñoäng veà moät phía ñeå ñaït ñöôïc muïc tieâu, ta seõ bieát ñöôïc nhöõng gì robot ñang quan saùt. Ñieàu kieän quan troïng trong vieäc söû duïng Neural Networks laø phaûi bieát moái lieân heä giöõa ngoõ vaøo vaø ngoõ ra bieát tröôùc. Moái quan heä naøy coù theå keùo theo nhieàu thöù nhöng noù nhaát ñònh phaûi toàn taïi. Toång quaùt, neáu ta söû duïng moät maïng Neural Networks ta seõ khoâng bieát chính xaùc traïng thaùi töï nhieân cuûa moái lieân heä giöõa ngoõ vaøo vaø ngoõ ra, neáu ta bieát moái lieân heä ta seõ laøm moâ hình ñoù tröïc tieáp. Moät tính naêng khaùc cuûa Neural Networks laø noù coù theå hoïc moái lieân heä giöõa ngoõ vaøo vaø ngoõ ra thoâng qua vieäc huaán luyeän. Coù hai loaïi huaán luyeän söû duïng trong Neural Networks laø huaán luyeän coù giaùm saùt vaø khoâng giaùm saùt. Vôùi nhöõng loaïi maïng khaùc nhau thì söû duïng caùc loaïi huaán luyeän khaùc nhau. Huaán luyeän coù giaùm saùt söû duïng thoâng duïng nhaát. Trong vieäc hoïc coù giaùm saùt, ngöôøi söû duïng maïng phaûi coù moät taäp hôïp döõ lieäu caàn huaán luyeän. Taäp hôïp naøy chöùa nhöõng ngoõ vaøo maãu vôùi ngoõ ra töông öùng vaø maïng seõ huaán luyeän ñeå ñöa ra moái lieân heä giöõa ngoõ ra vaø ngoõ vaøo. Taäp hôïp döõ lieäu thöôøng ñöôïc laáy töø nhöõng baûn ghi cheùp tröôùc ñoù. Neural Networks sau ñoù ñöôïc huaán luyeän baèng moät trong caùc thuaät toaùn hoïc coù giaùm saùt (ví duï backpropagation), söû duïng caùc döõ lieäu ñeå ñieàu chænh troïng soá vaø ngöôõng cuûa maïng sao cho cöïc tieåu hoùa sai soá trong vieäc döï baùo cuûa maïng treân taäp huaán luyeän. Neáu maïng ñöôïc huaán luyeän chính xaùc, nghóa laø noù ñaõ hoïc moâ phoûng moät haøm chöa bieát vôùi moái lieân heä giöõa ngoõ ra vaø ngoõ vaøo, do ñoù vôùi caùc tín hieäu vaøo ñeán sau, maïng seõ döï baùo tín hieäu ra töông öùng. 5. THU THAÄP DÖÕ LIEÄU CHO NEURAL NETWORKS Moät khi ta quyeát ñònh giaûi quyeát moät vaán ñeà söû duïng Neural Networks ta caàn phaûi thu thaäp döõ lieäu cho muïc tieâu huaán luyeän. Taäp hôïp döõ lieäu huaán luyeän bao goàm moät soá caùc tröôøng hôïp, moãi tröôøng hôïp chöùa nhöõng giaù trò cuûa taàm ngoõ vaøo vaø ngoõ ra khaùc nhau. Nhöõng vieäc ñaàu tieân caàn laøm laø : nhöõng bieán naøo söû duïng, bao nhieâu tröôøng hôïp caàn thu thaäp. Söï löïa choïn caùc bieán do tröïc giaùc quyeát ñònh. Coâng vieäc chuyeân moân cuûa ta trong lónh vöïc caàn giaûi quyeát seõ cho ta nhöõng yù töôûng veà caùc bieán ngoõ vaøo phuø hôïp. Trong Neural Networks, ta coù theå choïn vaø loaïi boû nhieàn bieán vaø Neural Networks cuõng coù theå xaùc ñònh baèng thöïc nghieäm Leâ Thanh Nhaät-Tröông AÙnh Thu 88 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks nhöõng bieán höõu ích. Trong böôùc moät ta neân tính ñeán baát kì bieán naøo maø ta nghó coù aûnh höôûng ñeán quaù trình thieát keá. Neural Networks xöû lyù döõ lieäu soá trong moät taàm giôùi haïn roõ raøng. Ñieàu naøy ñöa ra moät vaán ñeà neáu döõ lieäu naèm trong moät vuøng ñaëc bieät nhö döõ lieäu chöa bieát hay khoâng phaûi döõ lieäu soá. May maén thay coù nhieàu phöông phaùp lyù töôûng cho vaán ñeà naøy, ñöôïc xaây döïng treân Neural Networks. Döõ lieäu soá ñöôïc chia nhoû thaønh nhöõng khoaûng thích hôïp cho maïng vaø nhöõng giaù trò thieáu coù theå ñöôïc thay theá baèng giaù trò trung bình hay giaù trò thoáng keâ cuûa bieán ñoù thoâng qua nhöõng bieán khaùc ñaõ ñöôïc huaán luyeän. Xöû lyù döõ lieäu khoâng phaûi laø soá thì khoù hôn. Loaïi döõ lieäu khoâng phaûi laø soá thoâng thöôøng nhaát laø nhöõng bieán coù giaù trò danh ñònh nhö giôùi tính (nam, nöõ). Bieán coù giaù trò danh ñònh coù theå bieåu dieãn baèng soá hoïc vaø Neural Networks coù chöùc naêng hoã trôï ñieàu naøy. Tuy nhieân Neural Networks laøm vieäc toát vôùi nhöõng tröôøng hôïp bieán danh ñònh laø moät taäp nhieàu giaù trò. Soá tröôøng hôïp maãu duøng ñeå huaán luyeän maïng raát khoù xaùc ñònh. Ñaõ coù moät vaøi höôùng daãn veà moái lieân heä giöõa soá tröôøng hôïp maãu vôùi kích thöôùc maïng (caùch ñôn giaûn nhaát laø soá tröôøng hôïp maãu gaáp 10 laàn soá keát noái trong maïng). Thöïc ra soá tröôøng hôïp maãu cuõng lieân quan ñeán ñoä phöùc taïp cuûa haøm maø maïng phaûi hoïc. Khi soá bieán taêng leân, soá tröôøng hôïp maãu caàn ñeå huaán luyeän cuõng taêng phi tuyeán, vì theá vôùi moät soá nhoû caùc bieán (50 hoaëc nhoû hôn) thì laïi caàn moät soá lôùn caùc tröôøng hôïp maãu. Trong haàu heát caùc vaán ñeà trong thöïc teá, soá tröôøng hôïp maãu laø khoaûng haøng traêm hay haøng ngaøn maãu. Ñoái vôùi nhöõng vaán ñeà raát phöùc taïp thì caàn nhieàu hôn, nhöng tröôøng hôïp naøy raát ít. Neáu döõ lieäu huaán luyeän ít hôn, roõ raøng khoâng ñuû thoâng tin ñeå huaán luyeän maïng, vaø caùch toát nhaát laø duøng maïng tuyeán tính. Nhieàu vaán ñeà trong thöïc teá coù döõ lieäu khoâng ñaùng tin caäy, moät vaøi döõ lieäu bò phaù hoûng do nhieãu, hoaëc caùc giaù trò khoâng phoái hôïp ñöôïc vôùi nhau. Neural Networks coù khaû naêng ñaëc bieät xöû lyù döõ lieäu bò maát (söû duïng giaù trò trung bình hay nhöõng giaù trò thoáng keâ khaùc). Vì theá neáu döõ lieäu ñöa vaøo ít, ta neân ñöa vaøo nhöõng tröôøng hôïp giaù trò bò maát (roõ raøng neáu khoâng coù thì khoâng lyù töôûng). Neural Networks cuõng chòu ñöôïc nhieãu, nhöng cuõng phaûi coù giôùi haïn. Neáu thænh thoaûng coù giaù trò naèm xa ra khoûi vuøng giaù trò bình thöôøng thì maïng huaán luyeän phaûi coù ngöôõng. Caùch toát nhaát ñoái vôùi tröôøng hôïp naøy laø nhaän ra vaø loaïi boû nhöõng giaù trò naèm xa ñoù (coù theå huûy tröôøng hôïp naøy hoaëc xem giaù trò naèm xa naøy laø giaù trò bò maát). Neáu giaù trò xa naøy khoù nhaän ra, Neural Networks coù chöùc naêng huaán luyeän chòu ñöôïc giaù trò naèm khoûi vuøng naøy nhöng caùch huaán luyeän naøy thöôøng keùm hieäu quaû hôn laø huaán luyeän chuaån. Toùm laïi, caùch thu thaäp döõ lieäu coù theå noùi goïn laïi nhö sau : • Choïn nhöõng giaù trò huaán luyeän coù taùc duïng. Leâ Thanh Nhaät-Tröông AÙnh Thu 89 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks • Döõ lieäu soá vaø danh ñònh coù theå xöû lyù tröïc tieáp baèng Neural Networks. Chuyeån nhöõng loaïi bieán khaùc sang moät trong caùc daïng naøy. • Caàn haøng traêm hoaëc haøng ngaøn tröôøng hôïp maãu huaán luyeän; caøng nhieàu bieán thì caøng nhieàu maãu huaán luyeän. Neural Networks coù khaû naêng nhaän ra nhöõng bieán höõu duïng ñeå huaán luyeän. 6. TIEÀN VAØ HAÄU XÖÛ LYÙ Taát caû caùc maïng Neural Networks laáy giaù trò vaøo vaø ra laø soá. Haøm truyeàn thöôøng ñöôïc choïn sao cho coù theå chaáp nhaän baát cöù vuøng giaù trò vaøo naøo, vaø giaù trò ngoõ ra höõu haïn (coù taùc duïng neùn). Maëc duø ngoõ vaøo coù baát kì giaù trò naøo, neân haøm truyeàn coù giaù trò baõo hoøa vaø chæ nhaïy trong moät vuøng höõu haïn naøo ñoù. Hình veõ döôùi ñaây laø moät haøm truyeàn cô baûn nhaát, logsig. Trong tröôøng hôïp naøy, ngoõ ra chæ coù giaù trò töø (0,1), vaø ngoõ vaøo chæ nhaïy trong vuøng giaù trò (-1,1). Haøm naøy lieân tuïc vaø deã laáy vi phaân, do ñoù caùc haøm huaán luyeän deã phaân tích ñeå huaán luyeän maïng (ñaây laø lyù do taïi sao khoâng duøng haøm naác trong thöïc teá). H a øm L o g si g 1 0.8 0.6 0.4 0.2 0 -4 -3 -2 -1 0 1 2 3 4 Do vuøng ñaùp öùng höõu haïn vaø thoâng tin vaøo döôùi daïng soá, neân trong öùng duïng thöïc teá, neural thöôøng coù caùc böôùc tieàn xöû lyù vaø haäu xöû lyù. Hai vaán ñeà caàn hieåu roõ laø : Phaân ñoaïn : Giaù trò soá phaûi ñöôïc chia thaønh moät taàm thích hôïp trong maïng. Thoâng thöôøng giaù trò bieán ban ñaàu ñöôïc phaân ñoaïn thoâ tuyeán tính. Leâ Thanh Nhaät-Tröông AÙnh Thu 90 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks Trong moät vaøi tröôøng hôïp, phaân ñoaïn phi tuyeán coù theå thích hôïp (ví duï neáu bieát moät bieán ñöôïc phaân boá theo haøm muõ, ta phaûi duøng logarit). Bieán danh ñònh : coù theå coù hai hay nhieàu traïng thaùi. Bieán danh ñònh hai traïng thaùi deã daøng bieåu dieãn döôùi daïng giaù trò soá (ví duï nam = 0; nöõ =1). Bieán danh ñònh nhieàu traïng thaùi khoù xöû lyù hôn. Noù coù theå bieåu dieãn döôùi daïng soá. Caùch toát nhaát laø maõ hoùa moät trong N, söû duïng moät soá trong moät taäp soá ñaïi dieän cho moät bieán danh ñònh ñôn. Soá giaù trò trong taäp baèng vôùi soá giaù trò coù theå coù, (ví duï choù={1,0,0}, thoû={0,1,0}, meøo={ 0,0,1}). Neural Networks coù khaû naêng bieán ñoåi caû nhöõng bieán danh ñònh hai traïng thaùi vaø nhieàu traïng thaùi ñeå söû duïng trong maïng. Nhöng bieán danh ñònh trong moät taäp raát nhieàu traïng thaùi seõ caàn moät soá lôùn taäp maõ moät trong N, daãn ñeán kích thöôùc maïng raát lôùn vaø khoù huaán luyeän. Trong tröôøng hôïp nhö vaäy chuùng ta coù theå moâ phoûng bieán danh ñònh söû duïng chæ soá soá ñôn (maëc duø chöa ñuùng), ngoaøi ra chuùng ta phaûi tìm kyõ thuaät khaùc toát hôn ñeå bieåu dieãn thoâng tin. Vaán ñeà döï ñoaùn coù theå chia ra laøm hai phaïm truø chính : phaân loaïi vaø hoài quy. • Trong vaán ñeà phaân loaïi, muïc tieâu laø xaùc ñònh ngoõ vaøo thuoäc lôùp naøo. Trong tröôøng hôïp naøy, ngoõ ra yeâu caàu roõ raøng laø moät bieán danh ñònh ñôn. Nhieäm vuï phaân loaïi thoâng thöôøng nhaát laø hai traïng thaùi. • Trong vaán ñeà hoài quy, muïc tieâu laø döï ñoaùn giaù trò cuûa bieán lieân tuïc. Trong tröôøng hôïp naøy, ngoõ ra yeâu caàu laø moät bieán soá ñôn. Hieän nay Neural Networks coù theå thöïc hieän moät soá phaân loaïi vaø hoài quy cuøng moät luùc, maëc duø thoâng thöôøng moãi maïng chæ hoaït ñoäng moät nhieäm vuï. Vì theá, phaàn lôùn caùc tröôøng hôïp, maïng coù moät bieán ngoõ ra ñôn, maëc duø trong vaán ñeà phaân loaïi nhieàu traïng thaùi, maïng caàn moät soá caùc neuron ôû lôùp ngoõ ra. 7. PERCEPTRON NHIEÀU LÔÙP Ngaøy nay, Perceptron laø caáu truùc maïng ñöôïc duøng phoå bieán nhaát. Moãi neuron laáy toång troïng soá vaø ngöôõng cuûa ngoõ vaøo, qua haøm truyeàn ñeán ngoõ ra, caùc neuron ñöôïc saép xeáp theo caùc lôùp tôùi. Vì theá maïng coù theå moâ phoûng caùc haøm phöùc taïp tuøy theo soá lôùp vaø soá neuron moãi lôùp. Tuøy theo vaán ñeà maø caùc neuron coù soá ngoõ vaøo vaø ngoõ ra khaùc nhau. Chuùng ta khoâng theå bieát chính xaùc seõ söû duïng bao nhieâu ngoõ vaøo. Tuy nhieân, chuùng ta giaû söû raèng soá ngoõ vaøo coù theå choïn löïa deã daøng. Vaø ñeå deã daøng, thöôøng ta choïn coù moät lôùp aån vaø soá neuron trong ñoù baèng moät nöûa toång soá ngoõ vaøo vaø ngoõ ra. Leâ Thanh Nhaät-Tröông AÙnh Thu 91 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks 7.1 Huaán luyeän Perceptron nhieàu lôùp Khi soá caùc lôùp, soá neuron moãi lôùp ñaõ ñöôïc choïn, troïng soá vaø ngöôõng cuûa maïng phaûi ñöôïc caøi ñaët sao cho coù ñöôïc cöïc tieåu sai soá trong vieäc döï ñoaùn cuûa maïng. Ñaây chính laø coâng vieäc cuûa caùc thuaät toaùn huaán luyeän. Caùc tröôøng hôïp maãu chuùng ta thu thaäp ñöa qua maïng ñeå maïng töï ñieàu chænh troïng soá vaø ngöôõng sao cho cöïc tieåu hoùa loãi. Loãi trong moät caáu hình cuï theå cuûa maïng ñöôïc xaùc ñònh baèng caùch cho chaïy taát caû caùc tröôøng hôïp huaán luyeän qua maïng, so saùnh giaù trò ngoõ ra cuûa maïng vôùi giaù trò mong muoán. Loãi naøy ñöôïc tính theo haøm sai soá cuûa maïng. Thoâng thöôøng haøm sai soá laø toång bình phöông loãi (SSE – Sum Squared Error). Khaùi nieäm caàn bieát theâm laø maët phaúng sai soá. Moãi troïng soá vaø ngöôõng trong toång soá N troïng soá vaø ngöôõng ñöôïc xem laø moät chieàu trong khoâng gian. Chieàu thöù (N + 1) laø sai soá maïng. Ñoái vôùi baát kyø caáu hình troïng soá naøo, loãi cuõng coù theå veõ ôû chieàu thöù (N+1), taïo thaønh maët phaúng loãi. Ñoái töôïng cuûa vieäc huaán luyeän maïng laø tìm ñieåm thaáp nhaát trong maët phaúng nhieàu chieàu naøy. Trong maïng tuyeán tính coù haøm sai soá SSE, maët phaúng sai soá laø parapol, nghóa laø coù moät giaù trò nhoû nhaát. Do ñoù chuùng deã daøng xaùc ñònh giaù trò cöïc tieåu. Chuùng ta khoâng theå xaùc ñònh ñöôïc vò trí giaù trò nhoû nhaát cuûa maët phaúng sai soá, vaø vì theá huaán luyeän maïng Neural Networks caàn phaûi phaân tích tæ mó maët phaúng sai soá. Töø caáu hình ngaãu nhieân caùc troïng soá vaø ngöôõng ban ñaàu (nghóa laø ñieåm ngaãu nhieân treân maët phaúng sai soá) caùc thuaät toaùn huaán luyeän tìm kieám ñeán giaù trò nhoû nhaát. Thoâng thöôøng, vieäc tìm kieám döïa treân gradient (ñoä doác) treân maët phaúng sai soá taïi ñieåm hieän taïi, vaø sau ñoù seõ di chuyeån xuoáng giaù trò nhoû hôn. Do ñoù coù nhieàu khaû naêng thuaät toaùn döøng ôû ñieåm thaáp laø ñieåm giaù trò cöïc tieåu cuïc boä (nhöng duø sao cuõng hy voïng laø giaù trò nhoû nhaát). 7.2 Thuaät toaùn backpropagation. Caùc ví duï phoå bieán nhaát veà thuaät toaùn huaán luyeän Neural Networks laø backpropagation. Caùc thuaät toaùn baäc hai hieän ñaïi nhö conjugate gradient descent vaø Levenberg – Marquardt cô baûn nhanh hôn trong nhieàu vaán ñeà, nhöng backpropagation vaãn coù moät soá öu ñieåm trong moät vaøi tröôøng hôïp khaùc, vaø laø thuaät toaùn deã hieåu nhaát. Trong backpropagation, vector gradient cuûa maët phaúng sai soá ñöôïc tính toaùn. Vector naøy chæ ra ñöôøng giaûm doác nhaát vaø vò trí hieän taïi, vì theá chuùng ta bieát raèng neáu chuùng ta di chuyeån doïc theo noù moät “khoaûng ngaén”, cuoái cuøng chuùng ta seõ ñaït ñöôïc giaù trò nhoû nhaát. Khoù khaên ôû ñaây laø quyeát ñònh ñoä lôùn cuûa töøng böôùc di chuyeån. Böôùc lôùn coù theå hoäi tuï nhanh hôn, nhöng coù theå vöôït quaù ñieåm caàn ñeán hay ñi ra khoûi vuøng coù cöïc tieåu (neáu maët phaúng sai soá bò leäch taâm). Ngöôïc laïi, böôùc quaù nhoû coù theå ñi ñeán ñuùng höôùng nhöng chuùng ta caàn phaûi thöïc hieän pheùp laëp nhieàu laàn. Trong thöïc tieãn, kích thöôùc böôùc Leâ Thanh Nhaät-Tröông AÙnh Thu 92 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks tyû leä vôùi ñoä doác vaø haèng soá ñaëc bieät : toác ñoä hoïc. Giaù trò chính xaùc toác ñoä hoïc phuï thuoäc vaøo töøng öùng duïng cuï theå, vaø thöôøng ñöôïc choïn qua thöïc tieãn. Thuaät toaùn thöôøng coù theâm khaùi nieäm momentum. Momentum seõ thuùc ñaåy di chuyeån ñi theo theo moät höôùng xaùc ñònh neáu sau khi qua nhieàu böôùc ñi cuøng moät höôùng, thuaät toaùn seõ di chuyeån nhanh hôn, ñöa ñeán khaû naêng thoaùt khoûi vuøng giaù trò cöïc tieåu cuïc boä vaø cuõng coù theå di chuyeån nhanh choùng qua vuøng baèng phaúng. Thuaät toaùn do ñoù xöû lyù laëp ñi laëp laïi, sau moät soá epoch. ÔÛ moãi epoch, caùc tröôøng hôïp huaán luyeän seõ ñöôïc ñöa ra xem xeùt trong maïng, caùc ngoõ ra thöïc vaø mong muoán ñöôïc so saùnh vaø tính toaùn loãi. Loãi naøy keát hôïp vôùi gradent maët phaúng sai soá, söû duïng ñeå ñieàu chænh troïng soá vaø sau ñoù quaù trình xöû lyù laëp laïi. Caáu hình maïng ban ñaàu laø ngaãu nhieân, vaø huaán luyeän chæ döøng laïi khi soá voøng laëp epoch toái ña cho pheùp xaûy ra hay khi sai soá ñaït ñöôïc ôû moät möùc cho pheùp, hoaëc khi sai soá khoâng taêng nöõa. 7.3 Hoïc quaù möùc vaø toång quaùt hoùa Moät vaán ñeà maø caùc kyõ thuaät treân khoâng thöïc söï cöïc tieåu sai soá laø khi chuùng ta ñöa moät tröôøng hôïp môùi vaøo maïng. Noùi caùch khaùc, thuoäc tính mong muoán nhaát cuûa maïng laø khaû naêng toång quaùt hoùa caùc tröôøng hôïp môùi. Thöïc ra, maïng ñöôïc huaán luyeän cöïc tieåu hoùa sai soá döïa treân taäp huaán luyeän, taäp naøy khoâng hoaøn haûo vaø höõu haïn, roõ raøng seõ khoâng ñuùng khi cöïc tieåu sai soá treân maët phaúng sai soá thöïc – maët phaúng sai soá cuûa moâ hình cô sôû vaø chöa bieát. Söï phaân bieät ôû ñaây chính laø hoïc quaù möùc hay khít quaù möùc. Caùch deã nhaát ñeå minh hoïa khaùi nieäm naøy laø vieäc doø theo ñoà thò ñöôøng cong ña thöùc hôn laø minh hoïa baèng Neural Networks nhöng yù nghóa thì gioáng nhau. Ña thöùc laø phöông trình coù caùc heä soá vaø luõy thöøa haèng soá. Ví duï : y = 2x + 3 y= 3x2 + 4x + 1 Caùc ña thöùc khaùc nhau coù ñoà thò khaùc nhau, vôùi baäc lôùn hôn (vaø do ñoù coù nhieàu soá haïng hôn) seõ coù ñoà thò phöùc taïp hôn. Vôùi moät taäp döõ lieäu cho tröôùc, chuùng ta muoán tìm ra ña thöùc bieåu dieãn döõ lieäu naøy. Döõ lieäu coù theå coù nhieãu, vì theá chuùng ta khoâng caàn thieát tìm ra phöông trình ñuùng nhaát cho taát caû caùc ñieåm. Ña thöùc baäc thaáp hôn seõ khoâng theå ñuû chính xaùc vôùi taát caû caùc ñieåm, trong khi ñoù ña thöùc baäc cao hôn chính xaùc taát caû caùc döõ lieäu seõ raát phöùc taïp, ña thöùc naøy seõ coù ñoà thò khoâng ñuùng vôùi haøm cô sôû. Neural Networks cuõng coù vaán ñeà nhö vaäy. Maïng coù caøng nhieàu troïng soá thì haøm caøng phöùc taïp vaø do ñoù seõ rôi vaøo tình traïng khít quaù möùc. Maïng coù ít troïng soá hôn seõ khoâng ñuû khaû Leâ Thanh Nhaät-Tröông AÙnh Thu 93 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks naêng ñeå moâ phoûng haøm cô sôû. Ví duï nhö maïng khoâng coù caùc lôùp aån chæ moâ phoûng haøm truyeàn tuyeán tính ñôn giaûn. Vaäy chuùng ta seõ choïn löïa ñoä phöùc taïp cuûa maïng ñuùng nhö theá naøo? Maïng lôùn hôn seõ haàu nhö luoân luoân coù ñöôïc sai soá nhoû hôn, nhöng ñieàu naøy coù theå laø khít quaù möùc hôn laø moät moâ hình toát. Caâu traû lôøi laø söû duïng xaùc nhaän möùc giao. Vaøi maãu huaán luyeän ñöôïc löu laïi vaø khoâng thöïc söï duøng cho huaán luyeän trong thuaät toaùn backpropagation. Ñeå thay theá, nhöõng maãu naøy ñöôïc söû duïng ñeå kieåm tra ñoäc laäp trong quaù trình cuûa thuaät toaùn. Nhö vaäy hieäu suaát ban ñaàu cuûa maïng luoân luoân baèng nhau ôû nhöõng taäp huaán luyeän vaø xaùc minh laïi. Trong quaù trình huaán luyeän, sai soá huaán luyeän töï nhieân giaûm xuoáng, vaø cho pheùp huaán luyeän cöïc tieåu hoùa haøm sai soá thöïc, sai soá xaùc minh cuõng giaûm xuoáng. Tuy nhieân, neáu sai soá xaùc minh khoâng giaûm, hay baét ñaàu taêng leân, ñieàu naøy coù nghóa laø maïng baét ñaàu khít quaù möùc döõ lieäu, vaø huaán luyeän neân döøng laïi (coù theå caøi ñaët Neural Networks töï ñoäng döøng laïi khi baét ñaàu hoïc quaù möùc). Tröôøng hôïp khít quaù möùc xaûy ra trong quaù trình xöû lyù huaán luyeän goïi laø hoïc quaù möùc. Trong tröôøng hôïp naøy, chuùng ta neân giaûm soá neuron aån hay/vaø lôùp aån vì maïng quaù maïnh ñoái vôùi vaán ñeà naøy. Ngöôïc laïi, neáu maïng khoâng ñuû maïnh ñeå moâ phoûng haøm cô sôû, hoïc quaù möùc khoâng coù khaû naêng xaûy ra, cuõng nhö sai soá huaán luyeän hay xaùc minh laïi khoâng rôi vaøo möùc baõo hoøa. Nhöõng vaán ñeà lieân quan ñeán cöïc tieåu cuïc boä, vaø nhöõng quyeát ñònh söû duïng quaù kích thöôùc cuûa maïng, nghóa laø chuùng ta phaûi chaïy thöû treân nhieàu maïng khaùc nhau, coù theå huaán luyeän moãi maïng vaøi laàn (ñeå traùnh rôi vaøo tröôøng hôïp cöïc tieåu cuïc boä sai soá) vaø quan saùt hieäu suaát töøng maïng. Ñieàu quan troïng laø quan saùt sai soá xaùc minh. Tuy nhieân, neân nhôù raèng neân moâ phoûng maïng ñôn giaûn hôn laø maïng phöùc taïp, chuùng ta cuõng theå choïn maïng nhoû hôn laø maïng lôùn coù khaû naêng caûi thieän sai soá xaùc minh khoâng ñaùng keå. Vaán ñeà ñoái vôùi kyõ thuaät naøy veà vieäc thí nghieäm laëp ñi laëp laïi laø taäp xaùc minh khoâng thöïc söï ñoùng vai troø choïn löïa maïng, nghóa laø noù chæ laø moät phaàn trong quaù trình huaán luyeän. Ñoä tin caäy cuûa noù chæ ôû möùc ñoä vöøa phaûi – khi soá laàn thí nghieäm ñuû, chuùng ta coù khaû naêng rôi vaøo tröôøng hôïp maïng thöïc hieän toát treân taäp xaùc minh. Ñeå theâm ñoä tin caäy hieäu suaát cuûa moâ hình cuoái cuøng thì trong thöïc teá thöôøng söû duïng theâm moät taäp thöù ba – laø taäp kieåm tra. Moâ hình cuoái cuøng ñöôïc kieåm tra vôùi taäp döõ lieäu kieåm tra ñeå ñaûm baûo raèng keát quaû cuûa taäp xaùc minh vaø huaán luyeän laø thaät. Toùm laïi, vieäc thieát keá maïng (khi caùc bieán ngoõ vaøo ñaõ ñöôïc choïn) goàm caùc böôùc sau: • Choïn caáu hình ban ñaàu (thöôøng moät lôùp aån coù soá neuron aån baèng nöûa toång soá neuron ngoõ vaøo vaø ngoõ ra). Leâ Thanh Nhaät-Tröông AÙnh Thu 94 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks • Thöïc hieän laëp ñi laëp laïi soá thí nghieäm cuûa moãi caáu hình, giöõ laïi maïng toát nhaát (thöôøng döïa treân sai soá xaùc minh). Thí nghieäm nhieàu laàn treân moãi caáu hình maïng ñeå traùnh rôi vaøo sai soá cuïc boä. • Trong moãi laàn thí nghieäm, neáu xaûy ra vieäc hoïc chöa ñuû (maïng khoâng ñaït ñöôïc möùc hieäu suaát chaáp nhaän) thì thöû taêng soá neuron trong lôùp aån. Neáu khoâng hieäu quaû, thì theâm moät lôùp aån. • Neáu xaûy ra hoïc quaù möùc (sai soá xaùc minh baét ñaàu taêng leân) thöû boû bôùt moät vaøi neuron aån (vaø coù theå boû lôùp aån). 7.4 Choïn löïa döõ lieäu Caùc böôùc moâ taû treân ñeàu döïa treân moät giaû ñònh, ñoù laø döõ lieäu huaán luyeän, xaùc minh vaø kieåm tra phaûi ñaïi dieän cho moâ hình cô sôû (hôn nöõa, ba taäp naøy phaûi ñoäc laäp). Neáu döõ lieäu huaán luyeän khoâng ñaëc tröng thì giaù trò moâ hình chæ laø moät söï daøn xeáp, xaáu nhaát coù theå khoâng söû duïng ñöôïc. • Töông lai khoâng phaûi laø quaù khöù. Döõ lieäu huaán luyeän ñaëc tröng cho nhöõng gì ñaõ xaûy ra. Neáu moâi tröôøng thay ñoåi, moái quan heä neuron trong maïng khoâng coøn phuø hôïp nöõa. • Taát caû caùc tröôøng hôïp phaûi ñöôïc khaùi quaùt. Neural Networks chæ coù theå hoïc töø nhöõng maãu ñöôïc ñöa vaøo. Do ñoù Neural Networks khoâng theå coù moät quyeát ñònh ñuùng khi neuron chöa ñöôïc huaán luyeän. • Maïng chæ coù theå hoïc theo caùch deã nhaát maø noù coù theå. 7.5 Tìm hieåu caùch huaán luyeän MLP Ñeå hieåu ñöôïc caùch hoaït ñoäng vaø huaán luyeän MLP, chuùng ta phaûi tìm hieåu caùc loaïi haøm maø maïng moâ phoûng. Möùc kích hoaït cuûa moät neuron phuï thuoäc toång trò soá vaø giaù trò ngöôõng. Nghóa laø möùc kích hoaït laø moät haøm tuyeán tính cuûa ngoõ vaøo. Sau ñoù tín hieäu ñöôïc ñöa qua haøm truyeàn sigmoid. Vieäc keát hôïp haøm tuyeán tính ña chieàu vaø haøm sigmoid moät chieàu seõ cho ñaëc tính ñaùp öùng sigmoid “döïng ñöùng” cuûa lôùp neuron MLP aån ñaàu tieân. Thay ñoåi troïng soá vaø ngöôõng seõ thay ñoåi maët phaúng ñaùp öùng. Cuï theå, caû phöông cuûa maët phaúng vaø ñoä doác coù theå bò thay ñoåi. Ñoä doác caøng lôùn töông öùng vôùi troïng soá caøng lôùn : neáu taát caû giaù trò troïng soá taêng gaáp ñoâi thì cho cuøng moät phöông nhöng coù ñoä doác khaùc nhau. Leâ Thanh Nhaät-Tröông AÙnh Thu 95 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks Ñaùp öùng sigmoid Maïng ña lôùp laø keát hôïp nhieàu maët phaúng ñaùp öùng naøy, qua vieäc keát hôïp caùc haøm kích hoaït tuyeán tính vaø phi tuyeán. Hình treân minh hoïa maët phaúng ñaùp öùng ñaët tröng cuûa maïng chæ coù moät lôùp aån coù 2 neuron vaø 1 neuron ngoõ ra, thöïc hieän XOR hai tín hieäu. Hai maët phaúng sigmoid ñoäc laäp keát hôïp laïi taïo thaønh maët phaúng hình chöõ U ñôn. Maët phaúng ñaùp öùng hai haøm sigmoid Suoát quaù trình huaán luyeän maïng, ñaàu tieân troïng soá vaø ngöôõng ñöôïc caøi ñaët nhoû vaø ngaãu nhieân. Nghóa laø maët phaúng ñaùp öùng cuûa caùc neuron ñöôïc saép xeáp ngaãu nhieân vôùi ñoä doác nhoû: chuùng khoâng bò eùp buoäc. Khi xöû lyù huaán luyeän, caùc maët phaúng ñaùp öùng cuûa caùc neuron ñöôïc xoay vaø dôøi ñeán caùc vò trí töông öùng, bieân ñoä cuûa caùc troïng soá thay ñoåi ñeå moâ phoûng caùc vuøng cuï theå cuûa maët phaúng ñaùp öùng ñích. Veà vaán ñeà phaân loaïi, ngoõ ra cuûa neuron laø tín hieäu maïnh neáu tröôøng hôïp ñöa vaøo thuoäc nhoùm ñoù, vaø yeáu neáu khoâng phaûi. Noùi caùch khaùc, maïng moâ phoûng moät haøm coù bieân ñoä laø moät trong khoâng gian maãu maø maïng coù, vaø bieân ñoä laø zero neáu khoâng coù. Trong vaán ñeà Leâ Thanh Nhaät-Tröông AÙnh Thu 96 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks nhaän daïng maãu, ñaây laø moät haøm bieät thöùc. Moät haøm bieät thöùc lyù töôûng coù ñoä cao taát caû caùc ñieåm treân haøm laø 1 hoaëc 0. Neáu khoâng coù caùc neuron aån, thì ngoõ ra chæ coù theå moâ phoûng moät haøm sigmoid doác vôùi moät beân coù ñoä cao thaáp vaø beân kia coù ñoä cao khaùc. Ta seõ luoân luoân coù moät vuøng ôû giöõa coù ñoä cao trung bình, nhöng khi caùc bieân ñoä troïng soá taêng, vuøng naøy bò co laïi. Haøm sigmoid doác chæ laø moät haøm bieät thöùc tuyeán tính. Caùc ñieåm ôû moät beân cuûa ñoä doác ñöôïc phaân loaïi thuoäc vaøo moät nhoùm vaø caùc ñieåm phía beân kia thì khoâng thuoäc nhoùm. Nghóa laø maïng khoâng coù lôùp aån chæ coù theå phaân loaïi caùc vaán ñeà ñoäc laäp tuyeán tính. Maïng moät lôùp aån coù moät soá haøm sigmoid doác (moãi haøm moät neuron aån) bieåu dieãn cho lôùp aån ñoù, vaø caùc haøm naøy sau ñoù keát hôïp thaønh moät haøm daõi ôû lôùp ra. Haøm daõi coù lôùp bieân loài (nghóa laø khoâng bò nhaáp nhoâ vaø khoâng coù loã hoång trong ñoù). Maëc duø haøm daõi loài, noù coù theå môû roäng ra voâ cuøng theo höôùng naøo ñoù. Maïng nhö theá trong thöïc teá coù khaû naêng moâ phoûng thoûa ñaùng haàu heát caùc vaán ñeà phaân loaïi trong theá giôùi thöïc cuûa chuùng ta. Moät MLP coù maët phaúng ñaùp öùng daõi thöïc hieän XOR hai tín hieäu. Maïng hai lôùp aån coù moät soá haøm daõi keát hôïp vôùi nhau – soá daõi töông öùng vôùi soá neuron trong lôùp thöù hai, vaø soá caïnh cuûa moãi daõi töông öùng vôùi soá neuron trong lôùp thöù nhaát. Deã daøng thaáy raèng coù theå bieåu dieãn baát kyø hình daïng naøo (caû maët loõm vaø loã hoång) khi söû duïng moät soá ñuûø lôùn caùc haøm daõi. MLP hai lôùp aån theo lyù thuyeát coù theå moâ phoûng baát kyø vaán ñeà gì. Ñieàu naøy khoâng coù nghóa laø maïng coù hôn hai lôùp khoâng thuaän tieän hay deã moâ phoûng hôn. Tuy nhieân, trong thöïc teá haàu heát caùc vaán ñeà ñeàu thöïc hieän baèng maïng coù moät lôùp aån. Trong vaán ñeà phaân loaïi, ta ñònh nghóa nhö theá naøo laø treân hoaëc gaàn doác. Thöïc teá chuaån chaáp nhaän döïa vaøo moät soá caáp ñoä tin caäy (ngöôõng chaáp nhaän vaø loaïi boû) phaûi vöôït qua ngöôõng ñoù Leâ Thanh Nhaät-Tröông AÙnh Thu 97 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks tröôùc khi neuron töôûng raèng phaûi “coù moät quyeát ñònh”. Ví duï, neáu ngöôõng chaáp nhaän/loaïi boû laø 0,95/0,05, ngoõ ra neuron vöôït qua 0,95 ñöôïc coi nhö chaáp nhaän, döôùi 0,05 thì coi nhö loaïi boû vaø ôû giöõa coi nhö “khoâng quyeát ñònh”. Moät caùch hieåu tinh vi (vaø coù theå höõu ích hôn) laø xem xeùt ngoõ ra maïng nhö laø caùc xaùc suaát. Trong tröôøng hôïp naøy, maïng cho nhieàu thoâng tin hôn moät quyeát ñònh ñôn giaûn : ñoù laø ñoä ñaùng tin caäy cuûa quyeát ñònh ñoù. Coù moät soá boå sung cho MLP ñeå cho pheùp ngoõ ra maïng hieåu nhö laø caùc xaùc suaát, nghóa laø maïng hoïc coù hieäu quaû ñeå moâ phoûng haøm maät ñoä xaùc suaát cuûa nhoùm. Tuy nhieân, hieåu theo xaùc suaát chæ coù theå coù giaù trò döôùi moät soá giaû thieát nhaát ñònh veà söï phaân boá cuûa döõ lieäu (ñaëc bieät ñöôïc ruùt ra töø hoï caùc phaân boá haøm muõ). Cuoái cuøng, moät quyeát ñònh phaân loaïi vaãn phaûi coù, nhöng hieåu theo xaùc suaát cho pheùp quyeát ñònh coù “giaù phaûi traû nhoû nhaát”. 7.6 Caùc thuaät toaùn huaán luyeän MLP khaùc Phaàn treân ñaõ noùi veà thuaät toaùn backpropagation thöïc hieän theo ñoä doác gradient treân maët phaúng sai soá. Nghóa laø maïng tính höôùng doác nhaát treân maët phaúng, vaø “nhaûy xuoáng” treân maët phaúng moät khoaûng tyû leä vôùi toác ñoä hoïc vaø ñoä doác, taêng toác theo momemntum khi noù duy trì theo moät höôùng coá ñònh. Thöïc ra, ñoä doác ñöôïc tính phuï thuoäc vaøo maët phaúng sai soá cuûa moãi maãu huaán luyeän vaø theo moät thöù töï ngaãu nhieân, nhöng ñieàu naøy thöïc söï laø moät pheùp tính xaáp xæ toát veà ñoä doác treân maët phaúng sai soá ña hôïp. Caùc thuaät toaùn huaán luyeän MLP khaùc laøm vieäc coù khaùc, nhöng taát caû ñeàu söû duïng moät chieán löôïc thieát keá ñeå di chuyeån veà ñieåm nhoû nhaát caøng nhanh caøng toát. Caùc kyõ thuaät tinh vi hôn cho vieäc toái öu hoùa laø haøm phi tuyeán ñoâi khi ñöôïc söû duïng laø : ñoä doác gradient lieân hôïp (conjugate gradient descent) vaø Levenberg – Marquardt ñaõ raát thaønh coâng ñoái vôùi hai loaïi thuaät toaùn : kyõ thuaät ñònh höôùng ñöôøng (line search) vaø vuøng moâ phoûng tin caäy (model – trust region). Thuaät toaùn ñònh höôùng ñöôøng laøm vieäc nhö sau : laáy ra moät höôùng nhaïy ñeå di chuyeån theo chieàu ngang ña chieàu, roài chieáu ñöôøng thaúng theo höôùng ñoù ñeå xaùc ñònh ñieåm nhoû nhaát vaø laëp laïi. Vaäy höôùng nhaïy laø nhö theá naøo? Roõ raøng ñaây laø höôùng coù ñoä doác lôùn nhaát (gioáng nhö höôùng ñöôïc choïn trong backpropagation). YÙ töôûng ôû ñaây laø khi thuaät toaùn ñaõ cöïc tieåu hoùa doïc theo moät höôùng cuï theå naøo ñoù, thì ñaïo haøm baäc hai doïc theo höôùng ñoù phaûi giöõ ôû zero. Caùc höôùng lieân hôïp ñöôïc choïn ñeå giöõ ñaïo haøm baäc hai zero naøy vôùi giaû thieát maët phaúng naøy laø parabol. Neáu ñieàu kieän naøy ñöôïc giöõ, N epoch seõ ñuû ñaït ñöôïc giaù trò cöïc tieåu. Thöïc teá, treân maët phaúng phöùc, laáy lieân hôïp seõ laøm xaáu tình hình hôn, nhöng thuaät toaùn caàn ít epoch hôn backpropagation, vaø cuõng hoäi tuï cöïc tieåu toát hôn (ñònh vò hoaøn toaøn, backpropagation phaûi chaïy vôùi toác ñoäï hoïc cöïc chaäm) Leâ Thanh Nhaät-Tröông AÙnh Thu 98 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks Kyõ thuaät vuøng moâ phoûng tin caäy laøm vieäc nhö sau : thay vì theo moät ñònh höôùng coá ñònh, ta giaû söû maët phaúng coù hình daïng ñôn giaûn sao cho cöïc tieåu coù theå ñònh vò (vaø nhaûy tôùi) tröïc tieáp, neáu giaû thieát laø ñuùng. Thöû moâ hình vaø xem xeùt möùc ñoä toát cuûa ñieåm ñöôïc choïn. Moâ hình thöôøng ñöôïc giaû söû raèng maët phaúng coù hình daïng toát (ví duï nhö parabol) seõ ñuùng neáu gaàn ñaït ñöôïc cöïc tieåu. Ngoaøi ñieåm ñoù, giaû thieát coù theå bò vi phaïm, vaø moâ hình coù theå choïn nhöõng ñieåm sai ñeå di chuyeån. Moâ hình chæ coù theå ñöôïc tin caäy trong moät vuøng cuûa ñieåm hieän taïi, vaø kích thöôùc cuûa vuøng naøy thì chöa bieát. Do ñoù, choïn caùc ñieåm môùi ñeå kieåm tra giöõa ñieåm ñöôïc choïn bôûi moâ hình vaø ñieåm ñöôïc choïn baèng böôùc nhaûy ñoä doác gradient chuaån. Neáu ñieåm môùi toát, di chuyeån ñeán ñieåm ñoù vaø taêng cöôøng vai troø cuûa moâ hình trong vieäc choïn löïa moät ñieåm môùi; neáu xaáu, khoâng di chuyeån, vaø taêng cöôøng vai troø cuûa böôùc doác gradient trong vieäc choïn ñieåm môùi (vaø laøm cho böôùc nhoû hôn). Levenberg – Marquardt söû duïng moät moâ hình coù giaû thieát raèng haøm cô sôû laø tuyeán tính (vaø do ñoù coù maët phaúng sai soá parabol). Leverberg – Marquardt thöôøng coù toác ñoä huaán luyeän nhanh nhaát, nhöng coù moät vaøi giôùi haïn, ñaëc bieät chæ söû duïng ôû maïng coù moät ngoõ ra, chæ coù theå söû duïng haøm sai soá toång bình phöông vaø yeâu caàu boä nhôù tyû leä vôùi W2 (vôùi W laø soá troïng soá trong maïng, ñieàu naøy laøm cho thuaät toaùn khoâng thöïc teá ñoái vôùi maïng lôùn). Ñoä doác gradient lieân hôïp gaàn nhö toát trong tröôøng hôïp naøy, khoâng chòu nhöõng giôùi haïn naøy. Backpropagation duø sao vaãn raát höõu duïng, nhöng khoâng cho toác ñoä nhanh. Ñaây laø phöông phaùp toát khi taäp döõ lieäu raát lôùn, vaø chöùa moät löôïng lôùn döõ lieäu thöøa. Backpropagation ñieàu chænh sai soá töøng tröôøng hôïp moät neân döõ lieäu thöøa khoâng laøm aûnh höôûng ñeán maïng (ví duï, neáu ta taêng gaáp ñoâi kích thöôùc taäp döõ lieäu baèng caùch laëp laïi töøng maãu, moãi epoch seõ keùo daøi gaáp ñoâi, nhöng coù cuøng taùc duïng neáu ta ñöa hai laàn epoch cuûa taäp döõ lieäu cuõ, vì theá khoâng coù thieät haïi). Ngöôïc laïi Leverberg–Marquardt vôùi kích thöôùc baèng 4 thöïc hieän tính toaùn söû duïng toaøn boä taäp döõ lieäu, vì theá taêng soá tröôøng hôïp coù theå laøm chaäm ñaùng keå moãi epoch, nhöng khoâng caûi thieän hieäu suaát caàn thieát treân epoch ñoù (khoâng caûi thieän hieäu suaát neáu döõ lieäu laø thöøa, neáu döõ lieäu ít thì vieäc theâm döõ lieäu seõ laøm cho moãi epoch toát hôn). Backpropagation coù tính chaát toát nhö nhau neáu döõ lieäu raát ít. 8. CAÙC MAÏNG HAØM RADIAL BASIS Phaàn treân chuùng ta ñaõ xem xeùt haøm ñaùp öùng cuûa moâ hình MLP laø keát hôïp caùc haøm doác sigmoid – trong vaán ñeà phaân loaïi, ñieàu naøy töông öùng chia khoâng gian maãu baèng sieâu maët phaúng. Söû duïng maët phaúng chia khoâng gian maãu laø kyõ thuaät töï nhieân vaø döïa treân khaùi nieäm ñöôøng thaúng. Leâ Thanh Nhaät-Tröông AÙnh Thu 99 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks Ñaùp öùng cuûa neuron Radial Basis Moät kyõ thuaät tröïc giaùc vaø haáp daãn gioáng nhö vaäy chia khoâng gian söû duïng baèng voøng troøn hay (toång quaùt hôn) sieâu hình caàu. Moät sieâu hình caàu coù taâm vaø baùn kính. Toång quaùt hôn, gioáng nhö ñaùp öùng neuron MLP (phi tuyeán), khoaûng caùch giöõa caùc ñieåm ñeán ñöôøng doác sigmoid, trong maïng radial basis, ñaùp öùng cuûa caùc neuron (phi tuyeán) laø khoaûng caùch cuûa caùc ñieåm ñeán taâm, ñaïi dieän laø baùn kính neuron. Maët phaúng ñaùp öùng cuûa moät neuron radial ñôn do ñoù laø haøm Gaussian (hình chuoâng) ñænh ñaët taïi taâm vaø giaûm hai beân. Gioáng nhö ñoä doác cuûa ñöôøng cong sigmoid trong MLP coù theå thay ñoåi, ñoä doác cuûa neuron radial haøm Gaussian cuõng nhö vaäy. Caùc neuron MLP ñöôïc ñònh nghóa baèng troïng soá vaø ngöôõng cuûa noù, keát hôïp laïi ñöa ra phöông trình ñöôøng ñònh nghóa, toác ñoä giaûm cuûa haøm töø ñöôøng thaúng ñoù. Tröôùc khi aùp duïng haøm kích hoaït sigmoid, toác ñoä kích hoaït cuûa neuron laø sieâu maët phaúng, vaø do ñoù goïi laø neuron tuyeán tính (maëc duø haøm kích hoaït laø phi tuyeán). Ngöôïc laïi neuron radial ñöôïc ñònh nghóa baèng taâm ñieåm vaø baùn kính. Moät trong khoâng gian N chieàu ñöôïc ñònh nghóa baèng N soá, töông öùng vôùi soá troïng soá trong neuron tuyeán tính, vì theá taâm cuûa moät neuron radial trong Neural Networks xem nhö laø troïng soá. Giaù trò baùn kính (hoaëc ñoä leäch) ñöôïc löu laïi xem nhö laø ngöôõng. Roõ raøng giaù trò troïng soá vaø ngöôõng trong neuron radial hoaøn toaøn khaùc so vôùi neuron tuyeán tính, vaø thuaät ngöõ naøy raát nguy hieåm neáu chuùng ta khoâng nhôù ñieàu naøy : troïng soá neuron radial taïo thaønh moät ñieåm vaø moät ngöôõng trong neuron radial thöïc söï laø ñoä leäch. Maïng radial basis (RBF) moät lôùp aån goàm caùc neuron radial, moãi neuron thöïc söï moâ phoûng baèng maët phaúng ñaùp öùng Gaussian. Vì theá caùc haøm naøy laø phi tuyeán. Khoâng caàn thieát coù nhieàu hôn moät lôùp ñeå moâ phoûng baát kyø hình daïng naøo cuûa moät haøm : caùc neuron radial seõ luoân luoân ñuû ñeå moâ phoûng baát kyø haøm naøo. Caâu hoûi coøn laïi laø vieäc keát hôïp caùc ngoõ ra cuûa neuron radial nhö theá naøo ñeå taïo thaønh caùc ngoõ ra cuûa maïng? Nhö vaäy maïng seõ söû duïng vieäc keát hôïp tuyeán tính caùc ngoõ ra naøy (nghóa laø toång troïng soá caùc haøm Gaussian). RBF coù moät lôùp ngoõ ra chöùa caùc neuron tuyeán tính coù haøm kích hoaït tuyeán tính. Leâ Thanh Nhaät-Tröông AÙnh Thu 100 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks Maïng RBF coù moät soá caùc öu ñieåm so vôùi MLP. Ñaàu tieân, chuùng coù theå moâ phoûng baát kyø haøm phi tuyeán naøo söû duïng moät lôùp aån, loaïi boû moät vaøi quyeát ñònh trong thieát keá veà soá lôùp aån. Thöù hai, pheùp bieán ñoåi tuyeán tính ñôn giaûn ôû lôùp ngoõ ra coù theå söû duïng caùc kyõ thuaät moâ phoûng tuyeán tính truyeàn thoáng nhanh vaø khoâng coù caùc vaán ñeà nhö cöïc tieåu cuïc boä, laø nhöôïc ñieåm trong caùc kyõ thuaät huaán luyeän MLP. Maïng RBF do ñoù coù theå huaán luyeän raát nhanh. Maët khaùc tröôùc khi söû duïng lôùp tuyeán tính taïo ngoõ ra cuûa maïng RBF, soá neuron radial phaûi ñöôïc quyeát ñònh, sau ñoù taâm vaø ñoä leäch phaûi ñöôïc caøi ñaët. Maëc duø huaán luyeän nhanh hôn raát nhieàu MLP, caùc thuaät toaùn ñeå laøm ñöôïc ñieàu naøy khoâng nghieâng veà vieäc tìm ra caùc keát hôïp giöõa caùc neuron toái öu. Do ñoù ngöôøi thieát keá maïng phaûi thöïc hieän caùc lôùp baèng thöïc nghieäm. Ñaëc tröng khaùc phaân bieät giöõa RBF vaø MLP laø söï khaùc nhau trong khoâng gian moâ phoûng, RBF keát thaønh moät khoái vaø MLP thì daøn traûi. Nhöõng ngöôøi coù kinh nghieäm laøm vieäc vôùi RBF noùi raèng maët phaúng ñaùp öùng RBF caøng leäch taâm thì caøng caàn nhieàu neuron hôn ñeå moâ phoûng. Dó nhieân ta coù theå veõ ñöôïc hình daïng deã daøng baèng caùch naøy hay caùch khaùc nhöng RBF khoâng thieân veà caân baèng. Haäu quaû laø, giaûi phaùp duøng RBF coù xu höôùng hoaït ñoäng chaäm hôn vaø söû duïng khoâng gian nhieàu hôn maïng MLP töông öùng (nhöng duø sao huaán luyeän vaãn nhanh hôn raát nhieàu, ñoâi khi eùp buoäc maïng nhieàu hôn). Kyõ thuaät “khoái” cuõng coù nghóa laø RBF khoâng nghieâng veà ngoaïi suy ra ngoaøi vuøng döõ lieäu : ñaùp öùng seõ rôi nhanh xuoáng zero neáu döõ lieäu söû duïng ra xa taäp döõ lieäu huaán luyeän. Ñaây laø öu ñieåm hay khuyeát ñieåm phuï thuoäc vaøo lónh vöïc öùng duïng, nhöng treân toång theå vieäc ngoaïi suy khoâng tính toaùn cuûa MLP xem nhö laø moät nhöôïc ñieåm : ngoaïi suy ra xa döõ lieäu huaán luyeän thì thöôøng nguy hieåm vaø khoâng ñuùng. Nhö ñaõ ñeà caäp ôû treân huaán luyeän maïng RBF qua caùc böôùc roõ raøng. Ñaàu tieân caøi ñaët taâm vaø ñoä leäch cuûa neuron radial, sau ñoù lôùp ngoõ ra tuyeán tính duøng ñeå toái öu hoùa maïng. Taâm ñöôïc gaùn ñeå phaûn aùnh baûn chaát caùc nhoùm döõ lieäu. Coù hai phöông phaùp thoâng thöôøng nhaát laø : • Laáy maãu con : caùc ñieåm huaán luyeän ñöôïc choïn ngaãu nhieân ñöa vaøo caùc neuron radial. Vì chuùng ñöôïc choïn ngaãu nhieân neân seõ “ñaïi dieän” cho phaân boá cuûa döõ lieäu huaán luyeän theo yù nghóa thoáng keâ. Tuy nhieân, neáu soá neuron radial khoâng lôùn thì caùc neuron radial bieåu dieãn keùm. • Thuaät toaùn trung bình K : thuaät toaùn naøy coá gaéng choïn ra caùc taäp toái öu caùc dieåm ñaët taïi troïng taâm cuûa caùc nhoùm döõ lieäu huaán luyeän. K neuron radial cho tröôùc seõ ñieàu chænh vò trí caùc taâm sao cho : Leâ Thanh Nhaät-Tröông AÙnh Thu 101 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks - Moãi ñieåm huaán luyeän naèm trong moät taâm nhoùm vaø gaàn taâm naøy hôn caùc taâm khaùc. - Moãi taâm nhoùm laø taâm cuûa caùc ñieåm huaán luyeän cuûa noù. Khi caùc taâm ñaõ ñöôïc gaùn, ñoä leäch cuõng ñöôïc caøi ñaët. Kích thöôùc cuûa ñoä leäch xaùc ñònh ñoä nhoïn cuûa haøm Gaussian. Neáu haøm Gaussian raát nhoïn, maïng seõ khoâng ngoaïi suy giöõa caùc ñieåm ñaõ bieát, vaø maïng maát ñi khaû naêng toång quaùt hoùa. Neáu haøm Gaussian traûi roäng, maïng maát ñi caùc chi tieát toát. Ñaây laø moät caùch bieåu thò khaùc cuûa vaán ñeà khoù xöû laø khít quaù/ chöa khít döõ lieäu. Ñoä leäch thöôøng ñöôïc choïn sao cho haøm Gaussian phuû leân moät vaøi taâm gaàn keà. Caùc phöông phaùp thöôøng duøng laø : • Töï choïn : ta töï choïn laáy ñoä leäch. • Ñaúng höôùng : ñoä leäch baèng nhau cho taát caû caùc neuron radial ñöôïc töï choïn ñeå phaûn aùnh moät soá taâm vaø khoái löôïng khoâng gian maø noù chieám. • K neuron gaàn keà nhaát : ñoä leäch cuûa moãi neuron ñöôïc caøi ñoäc laäp baèng khoaûng caùch trung bình cuûa K neuron gaàn keà noù nhaát. Vì theá, caùc ñoä leäch nhoû hôn goùi goïn sít sao khoâng gian, giöõ laïi caùc chi tieát vaø coù theå ngoaïi suy neáu caàn thieát. Khi caùc taâm vaø ñoä leäch ñöôïc choïn, lôùp ra coù theå ñöôïc toái öu hoùa söû duïng kyõ thuaät toái öu hoùa chuaån. Caùc haøm radial basis cuõng coù theå keát hôïp vôùi moät soá caùch khaùc. Lôùp ngoõ ra coù theå thay theá baèng caùc haøm kích hoaït phi tuyeán, trong tröôøng hôïp naøy ta coù theå duøng caùc thuaät toaùn huaán luyeän backpropagation ñeå huaán luyeän. Ta cuõng coù theå huaán luyeän lôùp radial (lôùp aån) baèng thuaät toaùn huaán luyeän maïng Kohonen. 9. MAÏNG NEURAL XAÙC SUAÁT (PNN) Nhö chuùng ta ñaõ ñeà caäp phaàn treân, trong tröôøng hôïp phaân loaïi, ngoõ ra maïng öôùc löôïng xaùc suaát moät phaàn töû cuûa lôùp, maø maïng ñaõ hoïc öôùc löôïng haøm maät ñoä xaùc suaát. Vaán ñeà hoài quy cuõng ñöôïc hieåu töông töï, neáu ngoõ ra maïng ñöôïc xem laø giaù trò kyø voïng cuûa moâ hình taïi khoâng gian ngoõ vaøo cho tröôùc. Giaù trò kyø voïng naøy lieân quan ñeán haøm maät ñoä xaùc suaát cuûa ngoõ vaøo vaø ngoõ ra. Öôùc löôïng haøm maät ñoä xaùc suaát töø döõ lieäu coù lòch söû thoáng keâ laâu ñôøi, vaø trong hoaøn caûnh naøy laø thoáng keâ Bayesian. Vôùi moâ hình cho tröôùc, thoáng keâ coå ñieån cho chuùng ta bieát ñoä thay ñoåi cuûa ngoõ ra. Thoáng keâ Bayesian ñaët vaán ñeà naøy leân haøng ñaàu, baèng caùch öôùc löôïng hieäu quaû cuûa döõ lieäu cuï theå cho tröôùc. Toång quaùt hôn, thoáng keâ Bayesian coù theå öôùc löôïng maät ñoä xaùc Leâ Thanh Nhaät-Tröông AÙnh Thu 102 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks suaát cuûa thoâng soá moâ hình ñoái vôùi döõ lieäu coù giaù trò. Ñeå cöïc tieåu loãi, moâ hình sau ñoù ñöôïc choïn löïa sao cho caùc thoâng soá cuûa noù cöïc ñaïi haøm maät ñoä xaùc suaát pdf naøy. Trong tröôøng hôïp phaân loaïi, neáu chuùng ta xaây döïng baûng öôùc löôïng caùc haøm pdf cuûa caùc lôùp coù theå coù, chuùng ta coù theå so saùnh xaùc suaát cuûa caùc lôùp khaùc nhau, vaø choïn ra lôùp coù xaùc suaát lôùn nhaát. Ñieàu naøy maïng Neural Networks laøm vieäc khaù hieäu quaû khi maïng hoïc ñöôïc vaán ñeà phaân loaïi – maïng seõ coá gaéng hoïc haøm pdf. Moät kyõ thuaät coå ñieån hôn laø xaây döïng baûng öôùc löôïng haøm pdf töø döõ lieäu. Kyõ thuaät coå ñieån nhaát laø giaû söû haøm pdf coù moät daïng naøo ñoù (thoâng thöôøng coù daïng phaân boá chuaån), vaø sau ñoù öôùc löôïng caùc thoâng soá. Phaân boá chuaån thöôøng ñöôïc söû duïng, caùc thoâng soá moâ hình (trung bình vaø phöông sai) coù theå ñöôïc tính baèng caùc kyõ thuaät phaân tích. Vaán ñeà laø giaû thieát chuaån hoùa thöôøng khoâng ñuùng. Kyõ thuaät thay theá cho haøm pdf laø phöông phaùp xaáp xæ döïa treân loõi. Coù theå hieåu ñôn giaûn laø khi ñöa caùc maãu cuï theå vaøo seõ chæ ra maät ñoä xaùc suaát taïi ñieåm ñoù : moät nhoùm caùc maãu gaàn nhau seõ cho ra moät vuøng maät ñoä xaùc suaát cao. Töông töï, chuùng ta coù theå tin caäy vaøo moät vaøi haøm maät ñoä xaùc suaát. Trong pheùp öôùc löôïng döïa treân loõi, caùc haøm ñôn seõ ñöôïc ñònh vò ôû moãi maãu coù hieäu löïc, vaø ñöôïc coäng vôùi nhau cho öôùc löôïng toaøn haøm pdf. Thoâng thöôøng, moãi haøm loõi laø Gaussian (daïng chuoâng). Neáu caùc ñieåm huaán luyeän ñaày ñuû, chuùng ta seõ coù moät haøm pdf thöïc. Kyõ thuaät döïa treân loõi xaùc ñònh pdf naøy raát gioáng maïng RBF, vaø do ñoù ñöa ñeán maïng neural xaùc suaát (PNN) vaø maïng neural hoài quy toång quaùt (GRNN). PNN chuû yeáu laøm nhieäm vuï phaân loaïi, vaø GRNN cho vieäc hoài quy. PNN coù toái thieåu 3 lôùp : lôùp vaøo, radial vaø lôùp ra. Caùc neuron radial basis sao cheùp tröïc tieáp döõ lieäu huaán luyeän, moãi neuron moät maãu, moâ phoûng haøm Gaussian coù taâm laø maãu huaán luyeän. Chæ coù moät ngoõ ra cuûa moãi lôùp. Moãi ngoõ ra keát noái vôùi taát caû caùc neuron radial thuoäc lôùp noù. Do ñoù, caùc neuron ngoõ ra chæ ñôn giaûn coäng caùc ñaùp öùng cuûa caùc neuron trong lôùp cuûa noù. Moãi ngoõ ra tyû leä vôùi öôùc löôïng döïa treân loõi (kernel-based estimates) cuûa haøm pdf taïi caùc lôùp khaùc nhau, vaø chuaån hoùa toång naøy laø 1. Maïng PNN cô baûn coù theå boå sung theo 2 caùch : • Thöù nhaát, kyõ thuaät cô baûn giaû söû maät ñoä caùc maãu huaán luyeän laø tyû leä thöïc. Do ñoù neáu tyû leä thöïc khoâng ñuùng trong caùc maãu huaán luyeän, thì maïng seõ öôùc löôïng sai. Ñeå buø laïi vaán ñeà naøy, tyû leä thöïc phaûi cho tröôùc (neáu bieát), vaø troïng soá cuûa lôùp seõ ñieàu chænh ñeå buø laïi. • Thöù hai, baát kyø maïng naøo taïo öôùc löôïng döïa treân haøm nhieãu seõ chaéc chaén taïo ra moät vaøi phaân loaïi sai. Tuy nhieân moät vaøi daïng loaïi phaân sai coù theå xem laø “loãi kinh nghieäm”. Leâ Thanh Nhaät-Tröông AÙnh Thu 103 GVHD : Ths Hoaøng Ñình Chieán
- Phaàn 3_Chöông 1 : Toång quan Neural Networks Trong tröôøng hôïp naøy, maïng phaùt ra xaùc suaát thoâ ñeå thay ñoåi troïng soá, goïi laø heä soá toån hao (loss factor), söï toån hao do phaân loaïi sai. Trong Neural Networks coù theå theâm lôùp thöù tö laø ma traän toån thaát. Ma traän naøy nhaân vôù i caùc öôùc löôïng xaùc suaát cuûa lôùp thöù ba vaø lôùp coù toån thaát öôùc löôïng nhoû nhaát seõ ñöôïc choïn. Heä soá phaúng laø heä soá ñieàu khieån ñoä nhaïy cuûa maïng Neural Networks xaùc suaát (nghóa laø ñoä leäch cuûa haøm Gaussian trong neuron radial). Gioáng nhö maïng RBF, heä soá naøy ñöôïc choïn sao cho coù ñoä phuû hôïp lyù – ñoä leäch quaù nhoû gaây ra pheùp öôùc löôïng raát nhoïn khoâng theå toång quaùt hoùa, ñoä leäch quaù lôùn seõ laøm baèng caùc chi tieát. Öu ñieåm lôùn nhaát cuûa PNN laø tính thoáng keâ vaø toác ñoä huaán luyeän. Huaán luyeän moät PNN thöïc söï chæ sao cheùp caùc maãu huaán luyeän vaøo maïng, vaø vì theá huaán luyeän gaàn nhö ngay töùc thôøi. Khuyeát ñieåm lôùn nhaát cuûa maïng laø kích thöôùc : maïng PNN chöùa taát caû taäp huaán luyeän, vaø do ñoù toán nhieàu khoâng gian vaø chaïy chaäm. 10. MAÏNG NEURAL HOÀI QUY TOÅNG QUAÙT HOÙA (GRNN ) GRNN laøm vieäc töông töï nhö PNN nhöng thöïc hieän hoài quy chöù khoâng phaân loaïi. Nhö vôùi PNN, caùc haøm loõi Gaussian xaùc ñònh trong moãi maãu huaán luyeän. GRNN sao cheùp caùc maãu huaán luyeän vaøo maïng ñeå söû duïng öôùc löôïng ñaùp öùng cuûa caùc ñieåm vaøo môùi. Ngoõ ra thöïc ñöôïc öôùc tính söû duïng trung bình troïng soá cuûa caùc maãu huaán luyeän ñích, trong ñoù troïng soá phuï thuoäc khoaûng caùch giöõa ñieåm ñoù vôùi ñieåm ñöôïc öôùc tính (vì theá caùc ñieåm laân caän ñoùng vai troø quan troïng trong vieäc öôùc tính). Lôùp aån thöù nhaát trong GRNN chöùa caùc neuron radial. Lôùp aån thöù hai chöùa caùc neuron giuùp tính trung bình troïng soá. Ñaây laø moät thuû tuïc ñaëc bieät. Moãi ngoõ ra coù moät neuron ñaëc bieät trong lôùp naøy taïo toång troïng soá cho ngoõ ra töông öùng. Ñeå laáy giaù trò trung bình töø toång troïng soá, toång troïng soá phaûi ñöôïc chia cho toång caùc heä soá troïng soá. Coù moät neuron ñaëc bieät trong lôùp thöù hai tính giaù trò toång caùc heä soá troïng soá. Sau ñoù lôùp ngoõ ra thöïc hieän pheùp chia thöïc söï (söû duïng caùc neuron “chia” ñaëc bieät ) . Vì theá lôùp aån thöù hai luoân luoân coù nhieàu hôn lôùp ngoõ ra moät neuron. Trong vaán ñeà hoài quy, thoâng thöôøng chæ coù moät ngoõ ra ñôn ñöôïc tính, vaø vì theá lôùp aån thöù hai thöôøng coù hai neuron. GRNN coù theå söûa ñoåi baèng caùch gaùn caùc neuron radial ñeå ñaïi dieän cho moät nhoùm caùc maãu huaán luyeän hôn laø töøng neuron rieâng leû. Caùch naøy giaûm kích thöôùc cuûa maïng vaø taêng toác ñoä hoaït ñoäng. Caùc taâm ñöôïc gaùn baèng thuaät toaùn gaàn ñuùng (nghóa laø laáy maãu con, trung bình K hoaëc Kohonen). GRNN coù öu ñieåm vaø khuyeát ñieåm nhö PNN, chæ khaùc laø GRNN chæ duøng cho hoài quy, trong khi ñoù PNN duøng cho phaân loaïi. Huaán luyeän GRNN gaàn nhö töùc thôøi, nhöng coù khuynh höôùng Leâ Thanh Nhaät-Tröông AÙnh Thu 104 GVHD : Ths Hoaøng Ñình Chieán
CÓ THỂ BẠN MUỐN DOWNLOAD
-
Tổng quan về VPN
36 p |
626 |
301
-
Giới Thiệu Về Wireless LanTổng Quan Về Wlan
43 p |
532 |
291
-
Chương 1 TỔNG QUAN VỀ LẬP TRÌNH MẠNG
16 p |
446 |
206
-
Bài 5: Tổng quan về mạng máy tính
25 p |
352 |
190
-
MÔN HỌC INTERNET - BÀI 1: TỔNG QUAN VỀ INTERNET
10 p |
445 |
189
-
Tổng quan về mạng Internet và giao thức TCP/IP
53 p |
404 |
162
-
Tổng quan về mạng và quản trị mạng
137 p |
247 |
143
-
Tổng quan về Metro Ethernet
8 p |
230 |
118
-
Tổng quan về giao diện quản lý Forefront TMG 2010
16 p |
264 |
100
-
Tài liệu giới thiệu tổng quan về NAT (Network Address Translation)
15 p |
47 |
23
-
Chương 1: Tổng quan về quản lý mạng
5 p |
76 |
16
-
Tổng quan về Internet và e-mail
24 p |
58 |
15
-
Chương 1: Tổng quan về mạng máy tính - ĐH Cần Thơ
10 p |
39 |
10
-
Bài giảng Tổng quan về Virus
18 p |
35 |
6
-
Bài giảng Mạng máy tính - Chương 1: Tổng quan về mạng máy tính
68 p |
30 |
4
-
Chương 1: Tổng quan về mạng máy tính và mạng cục bộ
45 p |
36 |
3
-
Bài giảng Tổng quan về mạng máy tính
11 p |
16 |
3

WARC-Type: response

Content-Type: application/http; msgtype=response

Set-Cookie: TLDEVNamespace=r4utkekckdf7t3ufbilab9a2k7; path=/; domain=.tailieu.vn; HttpOnly

Connection: close

Server: Apache/2.2.31 (CentOS)

Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0

Pragma: no-cache

Vary: Accept-Encoding

Content-Type: text/html; charset=UTF-8