Introduction to Constructive and Optimization Aspects of SONN-3
Autor/Author: Adrian Horzyk
Wydawnictwo/Publisher: Proc. of ICANN 2008, LNCS 5164, Springer-Verlag, Berlin Heidelberg 2008, pp. 763-772
Redaktorzy/Editors: V. Kurkova, R. Neruda, J. Koutnik
Streszczenie:
Artykuł opisuje nowe algorytmy wprowadzone do sieci neuronowych typu SONN, dzięki którym uzyskano wydajny uniwersalny klasyfikator neuronowy SONN-3 umożliwiający automatyczną klasyfikację danych rzeczywistych, całkowitych i binarnych. Skonstruowana metoda jest bardzo efektywna, gdyż analizuje dane i buduje dedykowaną dla danych sieć neuronową przy złożoności obliczeniowej na poziomie O(n log n), gdzie n jest sumą danych i wymiarów danych wejściowych i ilości klas. Pokazano zastosowania tej metody oraz porównania z wiodącymi metodami klasyfikacji na świecie. Wykazano i zademonstrowano, iż dostępność wszystkich danych uczących przed procesem adaptacji umożliwia skonstruowanie bardzo efektywnych algorytmów adaptacyjnych nie wykorzystujących procesu uczenia. Ponadto pokazano, iż globalna analiza danych umożliwia lepszą selekcję parametrów i zbudowanie bardziej zoptymalizowanego modelu neuronowego, który charakteryzuje się jakością uogólnienia na poziomie najlepszych algorytmów uczących na świecie.
Abstract:
The paper introduces new valuable improvements of performance, a construction and a topology optimization of the Self-Optimizing Neural Networks (SONNs). In contrast to the previous version (SONN-2), the described SONN-3 integrates the very effective solutions used in the SONN-2 with the very effective ADFA algorithms for an automatic conversion of real inputs into binary inputs. The SONN-3 is a fully constructive ontogenic neural network classificator based on a sophisticated training data analysis that quickly estimates values of individual real, integer or binary input features. This method carries out all computation fully automatically from a data analysis and a data input dimension reduction to a computation of a neural network topology and its weight parameters. Moreover, the SONN-3 computational cost is equal O(n log n), where n is a sum of a data quantity, a data input dimension and a data output dimension. The results of the SONN-3 construction and optimization are illustrated and compared by means of some examples.