Acta Univ. Agric. Silvic. Mendelianae Brun. 2005, 53(6), 75-84 | DOI: 10.11118/actaun200553060075
Učení n-vrstvé neuronové sítě
- Ústav informatiky, Mendelova zemědělská a lesnická univerzita v Brně, Zemědělská 1, 613 00 Brno, Česká republika
Uvedené teoretické poznatky byly aplikovány a ověřeny při realizaci experimentálního modelu n-vrstvé neuronové sítě. Rozšíření základních maticových operací o operaci ⊗ (součinu prvků matic) umožňuje nejen velmi kompaktní a jednoduché formální vyjádření algoritmu (zpětného šíření chyb) učení neuronové sítě, ale také jeho jednoduchou realizaci.
Navržený způsob řízení změny koeficientu učení umožňuje efektivní eliminaci lokálních extrémů a tím i plynulejší a rychlejší proces učení neuronové sítě. Například pro řešení úlohy rozpoznávání rastrového obrazu písmen velké abecedy o rozměrech 10x9 bodů byla použita neuronová síť v konfiguraci 90:10:5 (5 bitů výstupní kód znaku). Proces učení byl ukončen při Ch = 0,5 po 360 epochách.
Úspěšně byly řešeny i další úlohy z oblasti modelování funkcí, klasifikace do tříd a trendů vývoje ekonomických veličin.
neuronová síť, učení, algoritmus učení, zpětné šíření chyb, maticová forma, koeficient učení, řízení koeficientu učení
Learning of N-layers neural network
In the last decade we can observe increasing number of applications based on the Artificial Intelligence that are designed to solve problems from different areas of human activity. The reason why there is so much interest in these technologies is that the classical way of solutions does not exist or these technologies are not suitable because of their robustness. They are often used in applications like Business Intelligence that enable to obtain useful information for high-quality decision-making and to increase competitive advantage.
One of the most widespread tools for the Artificial Intelligence are the artificial neural networks. Their high advantage is relative simplicity and the possibility of self-learning based on set of pattern situations.
For the learning phase is the most commonly used algorithm back-propagation error (BPE). The base of BPE is the method minima of error function representing the sum of squared errors on outputs of neural net, for all patterns of the learning set.
However, while performing BPE and in the first usage, we can find out that it is necessary to complete the handling of the learning factor by suitable method. The stability of the learning process and the rate of convergence depend on the selected method.
In the article there are derived two functions: one function for the learning process management by the relative great error function value and the second function when the value of error function approximates to global minimum.
The aim of the article is to introduce the BPE algorithm in compact matrix form for multilayer neural networks, the derivation of the learning factor handling method and the presentation of the results.
Keywords: neural networks, learning algorithm, back-propagation error, matrix form, learning rate, handling of learning rate
Received: June 8, 2005; Published: December 20, 2014 Show citation
References
- GUYON, I. P.: Applications of neural network to character recognition. International Journal of Pattern Recognition and Artificial Intelligence, 1991, 5, 353-382. DOI: 10.1142/S021800149100020X
Go to original source...
- RUMELHART, D. E., Hinton, G. E., Williams, R. J.: Learning representations by back-propagation errors. Nature (London), 1986, 323, 533-536. DOI: 10.1038/323533a0
Go to original source...
- NEGNEVITSKI, M.: Artificial Intelligence. Addison-Wesley, 2002.
This is an open access article distributed under the terms of the Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License (CC BY NC ND 4.0), which permits non-comercial use, distribution, and reproduction in any medium, provided the original publication is properly cited. No use, distribution or reproduction is permitted which does not comply with these terms.