PROJEKT BADAWCZY - RESEARCH PROJECT - KBN nr 4 T11C 025 24 (2003-2006)

Efektywna klasyfikacja w oparciu o nowy rodzaj ontogenicznych sieci neuronowych

Efficient classification based on a new type of ontogenic neural networks

PODSUMOWANIE: W ramach projektu opracowano nowy rodzaj ontogenicznych sieci neuronowych, które umożliwiałyby przeprowadzać efektywną klasyfikację dla pewnej możliwie dużej grupy problemów. W ramach projektu zaprojektowano i skonstruowano tzw. Samo Optymalizujące Sieci Neuronowe (SONN – Self-Optimizing Neural Networks), które należą do grupy hybrydowych wielowarstwowych jednokierunkowych ontogenicznych sieci neuronowych o rzadkich połączeniach pomiędzy różnymi warstwami sieci. Sieci SONN umożliwiają automatyczne zbudowanie odpowiedniej topologii sieci wraz z obliczeniem wszystkich wag dla prawie dowolnego zbioru uczącego. Algorytmy budujące sieci SONN w pierwszej fazie analizują wszystkie cechy każdego wzorca uczącego w kontekście każdej klasy celem określenia współczynnika stopnia dyskryminacji każdej cechy na podstawie badania jej reprezentatywności dla klasy i rzadkości w całym zbiorze uczącym. Metoda jest również zdolna „uzupełnić” brakujące wartości na podstawie probabilistycznych estymacji. Współczynniki dyskryminacji stosowane są do selekcji tych cech, które z punktu widzenia klasyfikacji będą najlepiej dyskryminowały poszczególne klasy od siebie. Dzięki tej własności uzyskujemy dodatkowo automatyczną eliminację najmniej istotnych cech wejściowych z punktu widzenia klasyfikacji – a więc redukcję wymiaru przestrzeni danych wejściowych. Następnie dokonywana jest agregacja takich samych wyselekcjonowanych cech poszczególnych wzorców uczących, celem zminimalizowania ilości elementów sieci neuronowej. Jakość uogólnienia sieci SONN wynika z faktu zastosowania najbardziej reprezentatywnych cech do budowy modelu oraz pominięcia artefaktów i cech mało istotnych z punktu widzenia klasyfikacji. Dzięki temu zaprojektowane sieci SONN zawsze klasyfikują w pełni określone niesprzeczne dane uczące ze 100% podobieństwem do swojej klasy. Sieci SONN nadają różny priorytet poszczególnym cechom, więc nawet w takim przypadku nie ma zagrożenia dla jakości generalizacji – co jest mankamentem kilku innych metod mogących dać podobne wyniki dla danych uczących. Współczynniki wagowe połączeń sieci SONN są również obliczane w analitycznym procesie uwzględniając stopień reprezentatywności cech przy tworzeniu końcowej klasyfikacji obliczanej przez sieć. Sieci SONN zasadniczo różnią się od pozostałych rozwiązań opartych o sieci neuronowe sposobem oceny poszczególnych cech danych uczących i dzięki temu są zdolne automatycznie budować sieci niejako „na zamówienie” dla konkretnych danych uczących. Dużą zaletą opracowanych sieci SONN jest szybkość ich konstruowania – złożoność obliczeniowa jest szacowana na poziomie kwadratu sumy ilości danych oraz wymiaru danych wejściowych. Przyjazną cechą tej metody jest również fakt, iż metoda poza dostarczeniem danych uczących nie wymaga żadnej inicjalizacji ani podawania żadnych parametrów adaptacji. Metoda została zaaplikowana dla różnych danych, a uzyskane wyniki potwierdziły słuszność założeń o efektywności i jakości klasyfikacji.

LISTA PUBLIKACJI - LIST OF PUBLICATIONS:

  1. Horzyk, A., Innovative Prediction Technology for Automatic Speech Recognition, EXIT, Warszawa 2005, pp. 251-258.
  2. Horzyk, A., A New Extension of Self-Optimizing Neural Networks for Topology Optimization, W. Duch et al. (eds.), ICANN 2005, LNCS 3696, Springer-Verlag Berlin Heidelberg, 2005, pp. 415-420, IF = 0,402.
  3. Horzyk, A., Unsupervised Clustering using Self-Optimizing Neural Networks, H. Kwaśnicka, M. Paprzycki (eds.), IEEE Computer Society Press, Washington-Brussels-Tokyo, 2005, pp. 118-123.
  4. Horzyk, A., Dudek-Dyduch E., Effectiveness of Artificial Neural Networks Adaptation According to Time Period of Training Data Acquisition, H. Kwaśnicka, M. Paprzycki (eds.), IEEE Computer Society Press, Washington-Brussels-Tokyo, 2005, pp. 130-135.
  5. Horzyk, A., Podobieństwa Samo Optymalizujących Sieci Neuronowych do biologicznych sieci neuronowych, Irena Roterman-Konieczna (eds.), Proc of Ogólnopolskiej konf. Modelowanie Cybernetyczne Systemów Biologicznych, ISBN 83-7188-834-1, Kraków, 2005, pp. 67.
  6. Horzyk, A., Tadeusiewicz R., Comparison of Plasticity of Self-Optimizing Neural Networks and Natural Neural Networks, Mira, J. and Alvarez J.R. (eds.), LNCS 3561, Springer-Verlag Berlin Heidelberg, 2005, pp. 156-165, IF = 0,402.
  7. Horzyk, A., Interval Basis Neural Networks, Adaptive and Natural Computing Algorithms, Ribeiro, B., Albrecht, R.F., Dobnikar, A., Pearson, D.W., Steele, N.C. (eds.), Springer Wien New York, 2005, pp. 50-53.
  8. Horzyk, A., Interval Basis Neural Networks as a New Classification Tool, Proc. of Int. Conf. Artificial Intelligence and Applications, ACTA Press, Anaheim Calgary Zurich, 2005, pp. 871-876.
  9. Horzyk, A., Automatyczna redukcja wymiaru danych wejściowych dla problemów klasyfikacji, Automatyka, tom 8, zeszyt 3, Uczelniane Centrum Naukowo-Dydaktyczne, Kraków, 2004, pp. 487- 496.
  10. Horzyk, A., Samo-Optymalizujące Sieci Neuronowe jako nowe narzędzie obliczeniowe w biomedycynie, Materiały Konferencyjne SIIB, preTEXt, ISBN 83-919051-5-2, Kraków, 2004.
  11. Mendyk A., Horzyk, A., Jachowicz R., Polak S., Poszukiwanie nowych Układów Mikroemulsyjnych za pomocą ontogenicznych sieci neuronowych, Materiały Konferencyjne SIIB, preTEXt, ISBN 83-919051-5-2, Kraków, 2004.
  12. Polak S., Horzyk, A., Mendyk A., Skowron A., Brandys J., Perspektywy wykorzystania sieci SONN w farmacji na przykładzie modelowania czasu przeżycia pacjentów z niedrobnokomórkowym rakiem płuc w stadium IIIB i IV, Materiały Konferencyjne SIIB, preTEXt, ISBN 83-919051-5-2, Kraków, 2004.
  13. Horzyk, A., Tadeusiewicz R., Self-Optimizing Neural Networks, Advances in Neural Networks – ISNN 2004, Proc. Of International Symposium on Neural Networks, Dalian, China, Springer-Verlag, Berlin Heidelberg, 2004, pp. 150-155, IF = 0,513.
  14. Horzyk, A., Introduction to Self-Optimizing Neural Networks for Classification Tasks, Proc. of Int. Conf. Advanced Computer Systems, INFORMA, Szczecin 2003, pp. 127-136.
  15. Horzyk, A., Efektywna klasyfikacja w oparciu o nowy rodzaj ontogenicznych sieci neuronowych. Biuletyn informacyjny Sekcji Informatyki Sekcji Metod Komputerowych w Nauce Ministerstwa Nauki i Informatyzacji, nr 19, Gliwice, 2003, pp. 50-51.
  16. Horzyk, A., Fast Analytic Optimization of Multilayer Neural Networks Architecture for Classification Tasks. Knowledge Engineering and Experts Systems, Bubnicki Z., Grzech A. (red.), Oficyna Wydawnicza Politechniki Wrocławskiej, Wrocław, 2003, pp. 466-473.
  17. Dudek-Dyduch E., Horzyk, A., Analytical Synthesis of Neural Networks for Selected Classes of Problems. Knowledge Engineering and Experts Systems, Bubnicki Z., Grzech A. (red.), Oficyna Wydawnicza Politechniki Wrocławskiej, Wrocław, 2003, pp. 194-206.
  18. Horzyk, A., New Ontogenic Neural Network Classificator Based on Probabilistic Reasoning, Advances in Soft Computing. Neural Networks and Soft Computing, Rutkowski L., Kacprzyk J. (red.), Heidelberg, Physica Verlag, Springer-Verlag Company, 2003, 188-193.