en en en fi en en fi en en zh fi fi en fi en en fi en en en fi fr de en fi en en en fi en en en en en tr eu es en en sl en en en en en en en en en en fi en fi en en en en en en en en en en en en en en en en fa en en en en fi en en en en en en en en en en en en en en
JYX - Newton update based independent vector analysis with various source density models
University of Jyväskylä | JYX Digital Repository
English  | Give feedback |
JavaScript is disabled for your browser. Some features of this site may not work without it.
Show download detailsHide download details
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Sokea signaalin käsittely tarkoittaa latenttien lähdesignaalien estimointia havaittujen sekoitesignaalien avulla, kun sekoitusympäristö on tuntematon. Riippumattomien komponenttien analyysi (ICA) on sokean signaalin käsittelyn menetelmä, jolla pyritään estimoimaan todellisia lähdesignaaleja maksimoimalla niiden välinen riippumattomuus. Riippumattomien vektoreiden analyysi (IVA) on ICA:n laajennos, jolla estimoidaan moniulotteisia lähdesignaalivektoreita olettaen, että jokaisen lähdesignaalivektorin komponentit ovat riippuvia toisistaan. IVA:n tavoitefunktiona käytetään Kullback-Leibler divergenssiä, jota minimoimalla lähdesignaaliestimaattien välinen riippumattomuus maksimoidaan. Minimointia varten täytyy valita optimointimenetelmä sekä lähdesignaaleille sopiva lähdejakaumamalli, jotka määrittävät yhdessä IVA algoritmin suorituskyvyn. Tässä tutkielmassa tarkastellaan neljää algoritmia, joista jokainen perustuu Newtonin menetelmään. Algoritmien lähdejakaumamallit ovat moniulotteinen normaalijakauma (IVA-G), moniulotteinen Laplace-jakauma (IVA-L), moniulotteinen Laplace-jakauma diagonaalisella kovarianssirakenteella (IVA-L-diag) ja moniulotteinen Cauchy-jakauma (IVA-C). Algoritmeja vertaillaan simulointien avulla useissa eri simulaatioasetelmissa. IVA-L, IVA-L-diag ja IVA-C konvergoivat usein lokaaliin minimiin, mikä ratkaistaan alustamalla IVA-L, IVA-L-diag ja IVA-C algoritmit IVA-G:n ja fastIVA:n tuloksilla. FastIVA on alkuperäinen, ortogonaalisiin palautusmatriiseihin rajoittunut IVA-algoritmi. Alustuksen jälkeen IVA-L on tulosten perusteella paras ja monikäyttöisin algoritmi kaikissa tilanteissa. IVA-G on ylivoimaisesti nopein algoritmi, ja suoriutuu hyvin, kun lähdesignaalit ovat riippuvia enimmäkseen toisen asteen momentista. IVA-L-diag ja IVA-C algoritmit parantavat fastIVA:n tuloksia vain marginaalisesti, mutta ovat varteenotettavia vaihtoehtoja, kun lähdesignaalit ovat riippuvia ainoastaan korkeamman asteen momentista. IVA algoritmeja sovelletaan sekoitettujen kuvien erotteluun, jossa viisi alkuperäistä värillistä kuvaa pyritään erottelemaan niiden viidestä satunnaista sekoitteesta. Tässä sovelluksessa IVA-L ja IVA-G algoritmit tuottivat kelvollisia tuloksia, mutta IVA-L-diag ja IVA-C algoritmien tulokset eivät olleet tunnistettavissa. Tutkielmassa käytetyt IVA algoritmit sekä niiden suorituskykyyn liittyvät indeksit ovat julkaistu R-paketissa ivaBSS osana tutkielmaa ...
Blind source separation methods (BSS) are used to estimate latent source signals from their mixed observations when the mixing environment is unknown. Independent component analysis (ICA) is a BSS method, which aims to recover the sources by maximizing the independence between the estimated sources. A more recently developed method, independent vector analysis (IVA), is an extension of ICA to analyse multivariate source signals or multiple datasets jointly. IVA assumes that the source components are dependent on each other between the datasets, which is used to achieve better results than by applying ICA to each dataset separately. IVA uses the Kullback-Leibler divergence as an objective function, which is minimized to achieve as independent source estimates as possible. To minimize the objective function, the source density models and the optimization method need to be selected. In this thesis, four different algorithms are investigated, each of which is using a Newton update based optimization method. The source density models of the algorithms are the multivariate Gaussian (IVA-G), the multivariate Laplace with any covariance structure (IVA-L), the multivariate Laplace with diagonal covariance structure (IVA-L-diag) and the multivariate Cauchy (IVA-C) distributions. The algorithms are compared under different situations using simulation studies. IVA-L, IVA-L-diag and IVA-C tend to converge often to local optima, which is avoided by initializing IVA-L, IVA-L-diag and IVA-C with the estimated unmixing matrices of IVA-G and fastIVA. FastIVA is the original IVA algorithm, which restricts the unmixing matrices to be orthogonal. After the initialization, IVA-L becomes the most flexible and consistent algorithm in all setups. IVA-G performs well when the sources are mostly second-order dependent, and is superior in terms of computation time. IVA-L-diag and IVA-C improve the results of fastIVA only marginally, and perform well when the sources are purely higher-order dependent and the number of datasets is significantly higher than the number of sources. The algorithms are applied to mixed image separation task, where five random mixtures of five colored images are separated. In this application IVA-L and IVA-G algorithms provide sufficient results, but the separated images of IVA-L-diag and IVA-C are not recognizable. The IVA algorithms and their performance indices are implemented in R package ivaBSS as a part of the thesis. ...
Independent vector analysis independent component analysis blind source separation Newton update algoritmit monimuuttujamenetelmät optimointi algorithms multivariable methods optimisation
Show full item record
Pro gradu -tutkielmat [24104]
Showing items with similar title or keywords.
On the Extension of the DIRECT Algorithm to Multiple Objectives
Lovison, Alberto; Miettinen, Kaisa (Springer Science and Business Media LLC, 2021)
Deterministic global optimization algorithms like Piyavskii–Shubert, DIRECT, EGO and many more, have a recognized standing, for problems with many local optima. Although many single objective optimization algorithms have ...
Evolutionary Algorithms and Metaheuristics : Applications in Engineering Design and Optimization
Greiner, David; Periaux, Jacques; Quagliarella, Domenico; Magalhaes-Mendes, Jorge; Galván, Blas (Hindawi Publishing Corporation, 2018)
Evolutionary design optimization with Nash games and hybridized mesh/meshless methods in computational fluid dynamics
Wang, Hong (University of Jyväskylä, 2012)
Independent component analysis (ICA) in analysing child high-density event-related potential (ERP) and current source density (CSD) data
Flexible Data Driven Inventory Management with Interactive Multiobjective Lot Size Optimization
Heikkinen, Risto; Sipilä, Juha; Ojalehto, Vesa; Miettinen, Kaisa (Inderscience Publishers, 2022)
We study data-driven decision support and formalise a path from data to decision making. We focus on lot sizing in inventory management with stochastic demand and propose an interactive multi-objective optimisation approach. ...
Tunes and musical notes
All of JYXCollection listBy Issue DateAuthorsSubjectsPublished inDepartmentDiscipline
How to publish in JYX?
Publish Your Thesis Online
Open Science at the JYU
Unless otherwise specified, publicly available JYX metadata (excluding abstracts) may be freely reused under the CC0 waiver.