SJEDINJAVANJE SLIKA ISTE SCENE

Keywords: multisensor fusion, multi-resolution image representation, Gauss-Laplacian pyramid, wavelet transformation, computationally efficient pixel-level image fusion

This paper presents the basic idea of multisensor information fusion. The description of the Gauss-Laplacian pyramid as a basis of some image fusion methods is given. Five pixel-level image fusion methods are described. The fusion techniques have been tested with different images which represent possible different fields of fusion application -medicine, remote sensing, military and police applications... 

Uvod

Sa sve bržim razvojem senzorske tehnologije, sistemi koji se u osmatranju svoje okoline oslanjaju na senzore (vazduhoplovi, sateliti, medicinski uređaji) projektuju se koristeći multisenzorska polja, koja pokrivaju sve veći deo elektromagnetnog (EM) spektra. Rezultat ovakvog pristupa je velika količina informacija o osmatranoj okolini. Obrada velike količine informacija je složena, jer iziskuje ogromnu računarsku moć i vrlo precizno i jasno određene metode korišćenja informacija. Proces multisenzorskog sjedinjavanja (fuzije) informacija (multisensor information fusion) predstavlja rešenje ovih problema [1]. 
Više senzora često daje komplementarne informacije o sceni koju posmatraju, pa je fuzija informacija efikasan način za njihovo poređenje i analizu (sl. 1). 
Korišćenjem redundantnih informacija povećava se pouzdanost, a korišćenjem komplementarnih informacija povećavaju se mogućnosti sistema. 
Cilj multisenzorskog sjedinjavanja informacija jeste da se što tačnije prikaže što veća količina informacija dobijena iz više izvora, unapred definisanom formom. Na primer, sjedinjavanjem slika formira se nova slika koja je pogodna za potrebe ljudskog/mašinskog vida i za dalje obrade slike, kao što su segmentacija, detekcija i identifikacija objekata. 
Slike sa više senzora moraju biti izražene u jedinstvenom, opštem koordinatnom sistemu, koji se vezuje za određenu tačku kao svoj početak. Pri tome bi trebalo da se zadrži najbolja moguća rezolucija. Sjedinjavanje slika ne zahteva uvek postojanje više senzora, tako da su interesantne i primene u kojima se vrši sjedinjavanje slika dobijenih sa jednog senzora. 

Sjedinjavanje slika dobijenih sa jednog senzora

Ilustracija sjedinjavanja slika dobijenih sa jednog senzora prikazana je na sl. 2. Prikazani senzor može biti digitalna kamera koja radi u vidljivom delu EM spektra. Na izlazu senzora pojavljuje se sekvenca slika. Slike sekvence zatim se sjedinjavaju u jednu sliku, koja se prikazuje operateru ili koristi za dalju obradu. 
Ovakvi sistemi imaju određena ograničenja koja zavise od senzora koji se koristi. Atmosferski uslovi rada, područje osmatranja, sposobnost merenja daljine, brzine i ugaonih koordinata, prostorna i spektralna rezolucija, imunost na ometanje, prikriven ili aktivan rad i sl., ograničeni su karakteristikama senzora. Na primer, senzori u vidljivom delu EM spektra imaju najbolju rezoluciju, prikriven rad, dobro istraženu i komercijalno raspoloživu tehnologiju, ali je njihova upotreba ograničena na dnevne uslove, rad zavisi od prozračnosti atmosfere, nema podataka o daljini, itd. 

Sjedinjavanje slika dobijenih sa više senzora

Sjedinjavanje slika dobijenih sa više senzora prevazilazi ograničenja pojedinačnih senzora, kombinujući izvorne slike u kompozitnu sliku. Na sl. 3 prikazan je sistem za multisenzorsko sjedinjavanje slika. Televizijskoj kameri pridodata je termovizijska kamera i slike sa oba senzora kombinuju se u jednu sliku. Ovakav pristup prevazilazi probleme koji su već opisani. Dok je televizijska kamera pogodna za rad u dnevnim uslovima, termovizijska kamera se koristi u uslovima slabe osvetljenosti scene. 
Ideja sprezanja više senzora u jedinstven sistem i sjedinjavanja informacija koje se dobijaju od njih motivisana je činjenicom da se kroz upotrebu više senzora različitog tipa eliminišu njihovi pojedinačni nedostaci i obezbedi uspešno funkcionisanje sistema u svim uslovima [1]. 
Primenom više senzora, zasnovanih na merenju različitih fizičkih fenomena, dobija se više informacija o objektima ispred nas. Objedinjene multisenzorske informacije pomažu da se lakše odrede karakteristike objekata u vidnom polju, što olakšava detekciju ciljeva i njihovu moguću identifikaciju. 
U zavisnosti od hijerarhijskog nivoa predstave, tj. oblika u kojem se informacije sjedinjavaju, sjedinjavanje se može raditi na tri različita nivoa. To su sjedinjavanje na nivou signala, na nivou obeležja (objekta) i na nivou simbola (odluka) [1,2]. 
Pre sjedinjavanja izvornih slika potrebno je izvršiti njihovo prostorno i/ili vremensko usaglašavanje (image registration). Neslaganje obeležja izvornih slika može biti prouzrokovano različitim razlozima, kao što su: geometrija senzora, različite pozicije senzora, različit broj slika koje u sekundi daje senzor (frame rate), itd. Usaglašavanje se obavlja korišćenjem obeležja izvornih slika [3]. 
S Ј Е D I N J А V А N J Е Scena Senzori Sl. 3 -Multisenzorsko sjedinjavanje slika

Tehnike sjedinjavanja

Ključno pitanje sjedinjavanja izvornih slika jeste određivanje načina sjedinjavanja. Jedna od najjednostavnijih tehnika je aritmetičko sjedinjavanje, kojom se usrednjavaju vrednosti nivoa sivog piksela ulaznih slika: 
C j i B k j i A k j i F b a + ⋅ + ⋅ = ) , ( ) , ( ) , ( (1) 
gde su A i B izvorne slike, F sjedinjena slika, k a , k b i C parametri sjedinjavanja. Parametri k a i k b definišu uticaj izvornih slika na sjedinjenu sliku, a C je srednji pomeraj nivoa sivog. Na sl. 4 prikazane su dve izvorne slike i slika dobijena aritmetičkim sjedinjavanjem. Izvorne slike dobijene su sa sistema za daljinsko osmatranje. 
Sa sl. 4 vidi se da sjedinjena slika ima slab kontrast. Izvorna sl. 4a sadrži više informacija od sjedinjene sl. 4v. 
Uvođenjem Gaus-Laplasove (Gauss-Laplacian) piramide osamdesetih godina prošlog veka pojavile su se mnogo bolje tehnike. Osnovna ideja je da se izvrši multirezoluciona dekompozicija izvornih slika, a da se nakon toga izvrši rekonstrukcija sjedinjene slike inverznom multirezolucionom transformacijom [4]. 
Različite piramidne dekompozicije predložene su za potrebe sjedinjavanja, kao što su: Laplasova piramida (Laplacian Pyramid), ROLP (Ratio-Of-Low Pass Pyramid) piramida, gradijentna piramida (Gradient Pyramid) i, na kraju, sa razvojem vejvlet (wavelet) teorije -vejvlet multirezoluciona dekompozicija [3]. 

Multirezoluciona reprezentacija slike

Multirezolucione transformacije prepoznate su kao veoma moćan alat u analizi informacionog sadržaja slika za potrebe sjedinjavanja. Začetak multirezolucione analize vezan je za Burta i Adelsona, koji su uveli multirezolucionu reprezentaciju slike nazvanu Gaus-Laplasova piramida [4], kojom se izvorna slika predstavlja kao skup BP (band-pass) slika. Gaus-Laplasova piramida uvedena je kao tehnika za kompresiju slike. 

Laplasova piramida

Piramidu slike čini skup LP (lowpass) ili BP (band-pass) kopija (nivoa), gde se frekvencijski opsezi i učestanosti odabiranja menjaju u pravilnim razmacima. Piramida slike sadrži sve informacije potrebne za rekonstrukciju izvorne slike. 
Prvi korak u generisanju Laplasove piramide slike je niskofrekventno (LP) filtriranje i decimacija izvorne slike g 0 dimenzija RxC piksela, čime se dobija slika g 1 . Za g 1 se kaže da je redukovana verzija slike g 0 , po rezoluciji i učestanostima. Na sličan način dobija se slika g 2 , kao redukovana verzija slike g 1 . Pri filtriranju se koristi funkcija koja je slična Gausovoj funkciji gustine verovatnoće, tako da se sekvenca slika g 0 , g 1 ,…, g n naziva Gausova piramida. Redukovana slika g 1 može se koristiti za predikciju vrednosti piksela slike g 0 . 
Originalna slika nalazi se na vrhu Gausove piramide (nulti nivo). Slika g 1 (prvi nivo) predstavlja LP verziju izvorne slike g 0 . Vrednosti prvog nivoa dobijaju se usrednjavanjem vrednosti nultog nivoa, unutar prozora 5x5 piksela. Vrednosti drugog nivoa dobijaju se usrednjavanjem vrednosti prvog nivoa, koristeći istu prostornu masku. 
Proces redukcije, odnosno prelaska sa nižeg na viši nivo, vrši se funkcijom REDUCE: g l = REDUCE(g l-1 ), odnosno: 
2 2 1 2 2 2 2 , ∑ ∑ l l - m=-n=- g (i, j)= w(m,n)g ( i+m, j+n) 0<l<N, R i ≤ ≤ 1 , C j ≤ ≤ 1 (2) U prethodnom izrazu N je broj ni- voa piramide.
Za filtriranje se koristi dvodimenzionalni filter w (m, n) = w g (m) ⋅ w g (n), dimenzija 5x5 piksela (generišući kernel). Filter je odabran tako da zadovoljava nekoliko uslova, pri čemu su uslovi zadovoljeni kada je: 
(a) w g (0) = a (b) w g (-1) = w g (1) = 1/4 (v) w g (-2) = w g (2) = 1/4-a/2 (3) 
gde je a parametar generišućeg kernela. Definiše se funkcija EXPAND koja je inverzna funkciji REDUCE. Primenom ove funkcije na sliku g l , koja je deo Gausove piramide, dobija se slika g l,1 koja je istih dimenzija kao i g l-1 . 
Neka je g l,n rezultat ekspandovanja slike g l n puta. Tada je: 
g l, 0 = g l i g l, n = EXPAND (g l, n-1 ) (4) 
Ekspandovanje se definiše kao: 
2 2 1 2 2 4 ⋅ ⋅ ∑ ∑ l, n l, n- m=-n=- g (i, j)= w (m,n) g 2 2 ⎛ ⎞ ⎜ ⎟ ⎝ ⎠ i -m j -n , N l ≤ < 0 , n l R i - < ≤ 1 , n l C j - < ≤ 1 (5) 
U prethodnom izrazu u sumi učestvuju samo članovi za koje su vrednosti (i-m)/2 i (j-n)/2 celobrojne. 
Laplasovu piramidu čini sekvenca slika L 0 , L 1 , ..., L N , dobijenih oduzimanjem sukcesivnih nivoa Gausove piramide. Tako se, za N l < ≤ 0 , nivoi Laplasove piramide dobijaju pomoću relacije: 
1 , 1 1 ) ( + + - = - = l l l l l g g g EXPAND g L (6)
Kako za predikciju slike g N ne postoji slika g N+1 , najviši nivo Laplasove piramide se dobija kao L N = g N . Razlike sukcesivnih nivoa piramide mogu se posmatrati kao greške predikcije vrednosti piksela. 
Izvorna slika g 0 može se dobiti ekspandovanjem i sabiranjem svih nivoa Laplasove piramide: 
∑ = = N l l l L g 0 , 0 (7) 
Mnogo efikasnija procedura rekonstrukcije izvorne slike sastoji se od ekspandovanja L N i sabiranja sa L N-1 . Zatim se rezultat sabiranja ekspanduje i sabira sa L N-2 , i postupak ponavlja sve dok se ne dobije g 0 . Ova procedura je inverzna proceduri generisanja Laplasove piramide i može se opisati sledećim jednačinama: 
N N g = L , ) ( 1 + + = l l l g EXPAND L g (8)
Blok-šema postupka generisanja Gaus-Laplasove piramide, rekonstrukcije Gausove piramide i rekonstrukcije izvorne slike prikazana je na sl. 5. 
Vrednosti tačaka u piramidi mogu se dobiti konvolucijom izvorne slike sa odgovarajućom Laplasovom funkcijom (zbog čega se i naziva Laplasova piramida). Laplasova piramida se često naziva DOG (Difference Of Gaussians) ili DOLP (Difference Of Low-Pass) piramida. 

Sjedinjavanje DOLP piramida izvornih slika

Sjedinjavanje DOLP piramida izvornih slika sprovodi se u tri koraka: 
-formiranje DOLP piramida izvornih slika; Gausova piramida 
g 0 g 1 g 2 g 3 REDUCE REDUCE REDUCE L 0 L 1 L 2 L 3 g 0 g 1 g 2 g 3 EXPAND EXPAND EXPAND

Laplasova piramida

Rekonstruisana slika 
EXPAND EXPAND EXPAND + + + + + + + + + + - - - Rekonstrukcija Gausove piramide
Sl. 5 -Postupak generisanja Gaus-Laplasove piramide i rekonstrukcije izvorne slike -formiranje DOLP piramide sjedinjene slike izborom koeficijenata iz DOLP piramida izvornih slika, i -rekonstrukcija sjedinjene slike iz DOLP piramide. 
U radu se pri formiranju DOLP piramide sjedinjene slike koristio pikselni izbor koeficijenata, a na osnovu maksimalne apsolutne vrednosti [5]: 
⎧ ≥ ⎪ ⎨ ⎪ ⎩ l l l l l l l LA (i, j), LA (i, j) LB (i, j) LF (i, j) = LB (i, j), LA (i, j) < LB (i, j) , N l ≤ ≤ 0 ( 9 
)
gde je sa LF označena DOLP piramida sjedinjene slike, a sa LA i LB označene su DOLP piramide izvornih slika. Na sl. 6 prikazane su izvorne slike i rezultati sjedinjavanja DOLP piramida izvornih slika. Izvorne slike dobijene su sa jednog senzora. Na prvoj izvornoj slici fokus je na objektu (sat), koji se nalazi u prvom planu (levi deo slike), a na drugoj izvornoj slici fokus je na pozadini (desni deo slike). 
Sa sl. 6 vidi se da sjedinjena slika sadrži delove izvornih slika koji su u fokusu. 

Sjedinjavanje ROLP piramida izvornih slika

Vizuelni sistem čoveka osetljiv je na lokalne promene kontrasta, pa sjedinjavanje DOLP piramida izvornih slika neće uvek biti najbolji način sjedinjavanja. Zbog toga je Toet [5] uveo piramidu ROLP (Ratio Of Low-Pass) koja odgovara vizuelnom sistemu čoveka. Za razliku od piramide DOLP koja se formira na osnovu apsolutnih razlika osvetljenosti, za formiranje piramide ROLP bitna je apsolutna promena kontrasta. 
Generisanje piramide ROLP je veoma slično generisanju piramide DOLP. Prvo se formira Gausova piramida izvorne slike. Umesto računanja razlike sukcesivnih nivoa Gausove piramide, računaju se odnosi sukcesivnih nivoa (Ratio Of Low-Pass): 
N N g R = i ) ( / 1 + = l l l g EXPAND g R , N l < ≤ 0 ( 10 
)
Izvorna slika g 0 se u potpunosti može rekonstruisati iz piramide ROLP: 
N N R g = i ) ( 1 + ⋅ = l l l g EXPAND R g , N l < ≤ 0 ( 11 
) (a) (b) (v)

Sl. 6 -(a) (b) izvorne slike; (v) sjedinjena slika

Sjedinjavanje ROLP piramida izvornih slika sprovodi se u tri koraka: 
-formiranje ROLP piramida izvornih slika; 
-formiranje ROLP piramide sjedinjene slike izborom koeficijenata iz ROLP piramida izvornih slika, i -rekonstrukcija sjedinjene slike iz ROLP piramide. 
Pri formiranju ROLP piramide sjedinjene slike u radu se koristio pikselni izbor koeficijenata, a na osnovu maksimalne apsolutne vrednosti: 
1 1 1 1 ⎧ ≥ ⎪ ≥ ⎪ ⎨ ⎪ ⎪ ⎩ l l l l l l l RA (i, j), RA (i, j)- RB (i, j)- RF (i, j)= RB (i, j), RA (i, j)-< < RB (i, j)- 0≤ ≤ l N (12)
gde je sa RF označena ROLP piramida sjedinjene slike, a sa RA i RB označene su ROLP piramide izvornih slika. Na sl. 7 prikazane su izvorne slike i rezultati sjedinjavanja ROLP piramida izvornih slika. Izvorne slike dobijene su računarskom tomografijom i magnetskom rezonancom. Sa sl. 7 vidi se da sjedinjena slika sadrži informacije iz obe izvorne slike. Na sjedinjenoj slici uočavaju se grupe belih piksela kojih nema na izvornim slikama. 
Slika, zavisno od porekla, može predstavljati: osvetljenost objekata na sceni (ako je dobijena kamerom osetljivom na vidljivi deo EM spektra), apsorpcione karakteristike tkiva (rendgenska snimanja), temperaturu objekata na sceni (infracrvene kamere), refleksione karakteristike tkiva (ultrazvučni snimci), itd. Sjedinjavanjem slika koje imaju različito poreklo dobija se slika za koju se ne može jednoznačno odrediti karakterizacija (reprezentacija) veličine koju predstavlja jedan element slike (piksel). U procesu sjedinjavanja piramida izvornih slika, koje mogu imati opseg nivoa sivog od 0 do 255, može se desiti da sjedinjena slika ima nivoe sivog koji izlaze iz navedenog opsega. Vrednostima koje se nalaze van navedenog opsega pridružene su vrednosti 0, odnosno 255. Grupe lažnih belih piksela koje se javljaju na sl. 7v nastale su nakon pridruživanja. U toku rada uočeno je da je ovaj efekat izraženiji na slikama dobijenim sjedinjavanjem ROLP piramida izvornih slika, te da zavisi od broja nivoa dekompozicije. 

Sjedinjavanje vejvlet transformacija izvornih slika

Vejvlet transformacija je tehnika za analizu signala. Vejvlet transformacijom slike vrši se multirezoluciona dekompozicija i kao rezultat dobija neredundantna reprezentacija slike. 
Na sl. 8 prikazan je jedan korak multirezolucione piramidne dekompozi-cije izvorne slike (diskretne vejvlet transformacije -DWT). Pri dekompoziciji se koriste jednodimenzionalni HP i LP filteri, H 0 i H 1 , kojima se vrši odvojeno filtriranje redova i kolona izvorne slike. Inverzna struktura banke filtera prikazana je na sl. 9. Filteri za sintezu signala, F 0 i F 1 , moraju biti prilagođeni filterima za analizu, H 0 i H 1 , kako bi se dobila idealna rekonstrukcija [3]. 
Izvorna slika REDOVI KOLONE 2 ↓ 1 1 ↓ 2
Zadržavanje svake druge kolone 

Zadržavanje svakog drugog reda

Sl. 8 -Struktura banke filtera DWT (analiza signala) 
KOLONE REDOVI Izvorna slika 2 ↑ 1
Ubacivanje kolone nula između svake dve kolone 

↑ 2

Ubacivanje reda nula između svaka dva reda Sl. 9 -Struktura banke filtera inverzne DWT (sinteza signala) 
Uzastopnim dekompozicijama LL (low-low) opsega dobija se piramidna dekompozicija u kojoj se dimenzije slika i orijentacije menjaju od nivoa do nivoa. Vejvlet transformacija sadrži LH (low-high), HL (high-low) i HH (high-high) opsege izvorne slike i LL (low-low) opseg izvorne slike na najvišem nivou dekompozicije (sl. 10). 
Na sl. 11 prikazana je izvorna slika i njena vejvlet dekompozicija. 
Sa sl. 11b vidi se da transformacione vrednosti odgovaraju orijentacijama prikazanim na sl. 10. 
Osim u LL opsegu koji ima pozitivne transformacione vrednosti, svi ostali opsezi sadrže transformacione vrednosti koje fluktuiraju oko nule. Veće apsolutne vrednosti u ovim opsezima odgovaraju bitnim obeležjima na slici, kao što su ivice, linije i granice regiona. Zbog toga je dobro pravilo sjedinjavanja izvornih slika zasnovano na selekciji piksela sa maksimalnim apsolutnim transformacionim vrednostima [6]. Sjedinjena slika se dobija inverznom vejvlet transformacijom kombinovanih transformacionih koeficijenata. Na sl. 12 prikazane su izvorne slike i rezultati sjedinjavanja vejvlet transformacija izvornih slika. Izvorne slike dobijene su sa televizijske i termovizijske kamere. Primer na slici ilustruje detekciju naoružanja. 
Sa sl. 12 vidi se da sjedinjena slika sadrži informacije iz obe izvorne slike. 

Računarski efikasno sjedinjavanje

Ova tehnika sjedinjavanja predstavlja adaptivni multiveličinski pristup sa smanjenim brojem nivoa [7]. Cilj tehnike je da smanji računarsku kompleksnost multirezolucionih sjedinjavanja, a da se sačuva robustnost i kvalitet sjedinjavanja. Izvorna slika se razlaže na dva nivoa predstave: sliku pozadine i sliku prvog plana. Slika pozadine sadrži niskofrekventne komponente (grubi detalji), a slika prvog plana visokofrekventne komponente (fini detalji). Slika pozadine dobija se niskofrekventnim filtriranjem izvorne slike dvodimenzionalnim filterom. Dimenzije filtera zavise od dimenzija i sadržaja izvornih slika. Slika prvog plana dobija se oduzimanjem slike pozadine od izvorne slike. Slika pozadine i slika prvog plana sadrže komplementarne delove spektra izvorne slike. 
Generalna struktura računarski efikasnog sjedinjavanja prikazana je na sl. 13. Na ulazu u sistem nalaze se dve slike iste scene. Multiveličinskom dekompozicijom izvornih slika dobijaju se slike pozadina i slike prvog plana izvornih slika. Na osnovu statistike izvornih slika vrši se estimacija parametara računarski efikasnog sjedinjavanja, koji se dalje koriste za sjedinjavanje slika pozadine i slika prvog plana. 
Za sjedinjavanje slika pozadine koriste se dva različita pristupa, koji omogućavaju optimalne performanse sjedinjavanja. Ukoliko je jedna slika pozadine dominantna, tj. sadrži više informacija od druge, primenjuje se pristup direktne eliminacije. Dominantna pozadina izvornih slika proglašava se slikom pozadine sjedinjene slike, a druga slika pozadine se ignoriše. Na taj način doći će do neznatnog gubitka informacija, što neće degradirati performanse sjedinjavanja. Ukoliko obe slike pozadina sadrže značajne informacije, sjedinjena slika pozadine dobija se aritmetičkim sjedinjavanjem: Slike prvog plana sadrže fine detalje izvornih slika. Ove informacije je lakše lokalizovati nego grube detalje slika pozadine, tako da se sjedinjavanje radi na pikselnom nivou. Ovakav izbor garantuje da će se značajne informacije preneti u sjedinjenu sliku. Pikselni izbor definisan je relacijom 14, u kojoj su sa EA f , EB f i EF f označene slike prvog plana izvornih slika i sjedinjene slike, respektivno: 
(а) (v) (b) Sl. 12 -(a) (b) izvorne slike; (v) sjedinjena slika 2 2 2 ⎧ ⎪ ⋅ ⎪ ⋅ ⎨ ⎪ ⎪ ⎩ b b b b b b b A B b b EF (i, j)= EA (i,
⎧ ≥ ⎪ ⎪ ≥ ⎪ ⎨ ⎪ ⎪ ⎪ ⎩ f f f f f f f EA (i, j), EA (i, j) EB (i, j) EF (i, j)= EB (i, j), EA (i, j)< < EB (i, j) (14) 
Jednostavnim sabiranjem sjedinjene slike pozadine i sjedinjene slike prvog plana dobija se sjedinjena slika. 
Na sl. 14 prikazane su izvorne slike i rezultati računarski efikasnog sjedinjavanja. Izvorne sl. 14a i 14b dobijene su sa kamera (televizijske i termovizijske), koje se nalaze na helikopteru. Sa sl. 14v vidi se da sjedinjena slika sadrži informacije iz obe izvorne slike. 
Slike korišćene u radu potiču iz baza slika dostupnih u [8], namenjenih za istraživanja u oblasti multisenzorskog sjedinjavanja slika, dok primeri sjedinjavanja (daljinsko osmatranje, medicina, vojne i policijske primene) predstavljaju samo neke od primena multisenzorskog sjedinjavanja slika. Sjedinjavanje slika može se koristiti u robotici (upravljanje, automatsko prepoznavanje), industriji (nadzor industrijskih procesa, ispitivanje elektronskih kola, dijagnostika rada uređaja) i sl. 

Pravila selekcije piksela

Pri sjedinjavanju piramida DOLP i ROLP, računarski efikasnom sjedinjavanju i sjedinjavanju vejvlet transformacija korišćen je pikselni izbor transformacionih koeficijenata. Obeležja na slici obično su veća od jednog piksela, pa pikselni izbor ne mora biti najbolje rešenje. U literaturi su predloženi alternativni pristupi izbora na nivou grupe piksela, koji su računarski zahtevni, ali mogu doneti određena poboljšanja [6,9]. 
Na sl. 15 prikazan je pikselni i lokalni izbor transformacionih koeficijenata unutar bloka 3×3 piksela. Pri lokalnom izboru transformacionih koeficijenata, centralnom pikselu bloka pridružuje se transformacioni koeficijent izvorne slike koja u njegovom lokalnom okruženju sadrži istaknuta obeležja (apsolutni maksimum). 
Na osnovu pravila selekcije može se formirati selekciona mapa (sl. 16a). 
Nulte vrednosti selekcione mape odgovaraju pikselima kojima su pridružene transformacione vrednosti prve izvorne slike, a jedinične vrednosti odgovaraju pikselima kojima su pridružene transformacione vrednosti druge izvorne slike. Selekciona mapa je predmet verifikacije (consistency verification). Ukoliko je centralnom pikselu selekcione mape pridružen transformacioni koeficijent prve slike, a većini piksela u okruženju transformacioni koeficijenti druge slike, centralni piksel selekcione mape invertuje se i pridružuje mu se transformacioni koeficijent druge slike. Na sl. 16 ilustrovan je 
(а) (b) (v)
Sl. 14 -(a) (b) izvorne slike; (v) sjedinjena slika postupak verifikacije, pri čemu je korišćen blok dimenzija 3×3 piksela. Na sl. 16b prikazan je samo validni deo selekcione mape nakon verifikacije (uokviren isprekidanom linijom). Lokalnim izborom sa verifikacijom dominantna obeležja izvornih slika prenose se u sjedinjenu sliku. 

Zaključak

Rad prikazuje osnovnu ideju multisenzorskog sjedinjavanja informacija. Opisana je Gaus-Laplasova piramida, kao osno-va nekih metoda sjedinjavanja, i opisano je pet metoda pikselnog sjedinjavanja slika: aritmetičko sjedinjavanje, sjedinjavanje DOLP piramida izvornih slika, sjedinjavanje ROLP piramida izvornih slika, sjedinjavanje vejvlet transformacija izvornih slika i računarski efikasno sjedinjavanje. Razmatrano je sjedinjavanje dve izvorne slike, a opisani metodi sjedinjavanja mogu se primeniti i na više izvornih slika. 
Slike korišćene u radu su usaglašene (prostorno i vremenski), što predstavlja preduslov za uspešno sjedinjavanje iz- Sl. 16 -Selekciona mapa pre i posle verifikacije vornih slika. Prikazani rezultati pokazuju univerzalnost metoda sjedinjavanja, tj. mogućnost primene opisanih metoda u različitima aplikacijama (medicini, daljinskom osmatranju), a navedene su i prednosti koje daje sjedinjena slika u odnosu na izvorne slike. Dalji rad treba da bude usmeren na implementaciju metoda za objektivnu procenu kvaliteta sjedinjavanja. 



  Sjedinjavanje slika dobijenih sa jednog senzora 




  a) (b) izvorne slike; (v) sjedinjena slika (k a =k b =0,5, C=0) 




  -(a) (b) izvorne slike; (v) sjedinjena slika 


1 -

 1 prvi nivo dekompozicije 2drugi nivo dekompozicije Sl. 10 -Dekompozicija slike (svaki opseg ima prirodnu orijentaciju) (b) (a) Sl. 11 -(a) izvorna slika; (b) vejvlet dekompozicija izvorne slike 




  -Generalna struktura računarski efikasnog sjedinjavanja 


Sl. 2 -

 2 Sjedinjavanje slika dobijenih sa jednog senzora Scena Senzor S J E D I N J A V A N J E ... 


tSl. 5 -

 5 Postupak generisanja Gaus-Laplasove piramide i rekonstrukcije izvorne slike Sl. 6 -(a) (b) izvorne slike; (v) sjedinjena slika -(a) izvorna slika; (b) vejvlet dekompozicija izvorne slike Sl. 12 -(a) (b) izvorne slike; (v) sjedinjena slika -Generalna struktura računarski efikasnog sjedinjavanja Sl. 14 -(a) (b) izvorne slike; (v) sjedinjena slika 


Sl. 3 -Multisenzorsko sjedinjavanje slika
SJEDINJAVANJE SLIKA ISTE SCENE