The convolutional neural networks: Applications in precision agriculture


Sažetak: Obećavajući koncept veštačke inteligencije koji beleži intenzivan razvoj u oblasti digitalne obrade slike je duboko učenje (Deep Learning -DL). Intenzivnije istraživanje u okviru ove oblasti beleži se poslednje dve decenije, a primenu poprima i u poljoprivrednoj industiji. U okviru ovog radu opisana je tehnologija DL koja predstavlja deo mašinskog učenja (Machine Learning -ML), bazirajući se na konvolucijske neuralne mreže (Convolution Neural Networks -CNN). Posebnu primenu zauzima u mašinskoj viziji gde omogućava mašinama da uče iz iskustva, prilagođavaju se novim tehnologijama i obavljaju ljudske zadatke. Ulazni podaci mogu biti iz raznovrsnih izvora: od klasičnih digitalnih snimaka kamere do satelitskih snimaka, kao i snimaka dobijenih pomoću hiperspektralnih, termalnih i infrared kamera. Sve je veća popularnost i upotreba dronova na poljoprivrednim površinama, a samom primenom ovih novih tehnologija dolazi se do ogromnog broja podataka koje je potrebno obraditi u realnom vremenu, stoga se i algoritmi DL sve više upotrebljavaju. 
U radu su prikazane dosadašnje primene CNN u primarnoj i preciznoj poljoprivredi kao i moguće primene DL u budućnosti. 
Ključne reči: precizna poljoprivreda, veštačka inteligencija, mašinski vid UVOD DL (Deep Learning) je posebna grana mašinskog učenja koja je najširu upotrebu našla u mašinskom vidu. Algoritmi DL su se pokazali neuporedivno preciznijim i bržim 

povezana sloja, dok se i za izlazni sloj obično koristi SoftMax funkcija ukoliko je broj mogućih izlaznih klasa veća od 2. Ukoliko su u pitanju dve klase, onda se uglavnom primenjuje Sigmoid aktivacijska funkcija. Slika 1. Primer arhitekture CNN mreže sa svim slojevima, [11]. 
Figure 1. Example of CNN arhitecture with all layers, [11]. 
Računar vidi ulazni podatak (sliku) kao matricu. U zavisnosti da li je slika crno-bela ili u boji, ulazni podatak će biti 1 ili 3 matrice (npr. RGB: tri kanala -crvena, zelena, plava boja). Tako da se ulazni podatak zapisuje u vidu tri matrice HxWxC (eng. Height, -visina; Width-širina; Channels-broj kanala). Kod konvolucijskog sloja koristi se operacija konvolucije, kada se ulazna matrica množi sa drugom matricom tkz. filterom. Još jedan naziv, koji se može naći u literaturi umesto filtera je kernel. Konvolucioni filteri se primenjuju na sliku kako bi se izvukle korisne karakteristike. U prvim slojevima su jednostavni filteri za horizontalne i vertikalne ivice, lukove, boje i slično. U poslednjim slojevima konvolucije se nalaze komplikovaniji filteri. Inicijalno se zadaju parametri filtera koji se tokom treniranja ažuriraju, i najšešće se koristi backpropagation algoritam. Domaći autori u radu [11] su dali detaljniji prikaz konvolucijskih filtera, funkcionisanje slojeva sažimanja i potpuno povezanih slojeva. 
DL generalno se sastoji od velikog broja lejera. Potreban broj lejera za neki problem nije generalizovan, već je potrebno vršiti znatan broj eksperimenata. 
U većini novih istražiavanja koristi se prenosno učenje (eng. Transfer learning) gde može da se menja samo poslednji sloj sa novim podacima u već istreniranoj neuronskoj mreži. Za treniranje nove mreže ponekad je potrebno više dana, čak i nedelja u zavisnosti od kompleksnosti problema i količine trening podataka, pa se upotrebom prenosnog učenja naknadno podešavaju već istrenirani težinski faktori [12]. 
Generalni koraci podrazumevaju prikupljanje što većeg broja ulaznih podataka kao i njihovo standardizovanje ili normalizaciju, obeležavanje regiona od interesa, odabir arhitekture ili već istrenirane mreže, kao i izbor platforme za treniranje. 
Pored klasifikacije slike kao ulaznog podatka, detekcija objekta predstavlja jedan od suštinskih problema kompjuterskog vida [13]. Tu je i lokalizacija i segmentacija slike. 
Detekcija je prepoznavanje više istih ili razičitih objekata na slici, i njihovo označavanje, dok se segmentacija slike odnosi na tačno izdvajanje objekata sa slike i klasifikaciju istih. 
Medojević i sar.: Konvolucijske neutronske merže.../Polj. Tehn.(2019/1).1-9 4 Klasifikacija sa lokalizacijom je izvršavanje dodele klase i označavanje određenim geometrijskim oblikom objekta na samoj slici. 
Najrasprostranjeniji modeli za detekciju objekta su RCNN (Region + CNN), Fast RCNN [14,15] i Faster RCNN [15,16] i Yolo algoritam [13]. 
RCNN algoritmi imaju jedini nedostatk, a to je sporo izvšavanje detekcije. Povećanjem broja developera i korisnika u domenu DL, povećava se i broj softverskih alata koji se koriste za rešavanje mnogobrojnih problema iz domena ML i DL. Korišćeni radni okviri (eng. frameworks) u DL su Caffe, Torch, Theano koji su uglavnom razvijeni u akademskoj zajednici, dok se poslednjih par godina javljaju i Caffe2, PyTorch, Tensor Flow, Paddle, CNTK, MXNet, i drugi,....razvijeni od strane industrije kao što je Facebook, Google, Microsoft, Amazon itd. Konstantno se menjaju trendovi, upotreba i mogućnosti ovih radnih okvira, pa se tako trenutno izdvaja Google-ov TensorFlow [17] koji je open source od 2017. godine. 
Programski jezik koji se najčešće koristi u ove svrhe je Python. Tensor Flow je otvorena Google biblioteka za numeričko računanje upotrebom dijagrama protoka podataka (Data Flow Graph -DFG). U DFG svaki element predstavlja jednu funkciju ili podstistem, gde aktivnost svakog elementa u lancu zavisi od ulaza prethodnog elementa. Takođe u upotrebi je i Keras API pisan u Python-u sa mogućnošću izvršavanja povrh Tensor Flow-a. 

REZULTATI ISTRAŽIVANJA I DISKUSIJA

Nedestruktivne tehnologije za procenu kvaliteta poljoprivrednih proizvoda i uslova na njivama i farmama, kao što je mašinski vid, predstavljaju savremen, obećavajući alat za kontrolu kvaliteta. Različiti fizički sistemi su razvijeni u cilju izbegavanja subjektivnosti prilikom analize oragnoleptičkih osobina poljoprivrednih proizvoda, koji mogu biti evaliurani vizuelno i/ili sa određenim instrumentima. Konvencionalni instrumenti koji analiziraju npr. boju proizvoda, to rade na malom delu uzorka i nisu uvek adekvatni za proizvode koji obično nemaju heterogenu površinu. Kao posledica, veštački vizuelni sistemi su razvijeni poslednjih godina u cilju prevazilaženja ovih problema, kako bi analiza bila sveobuhvatnija i preciznija, uključujući ukupne površine proizvoda tokom vremena prerade [18]. 
Iako je CNN predviđen za veliku količinu podataka, odlične rezultate postiže i sa manjom količinom istih, koji mogu da se uvećavaju različitim tehnikama. Pravljenje CNN modela zahteva visoke računarske performanse kao i složene matematičke operacije, međutim, jednom istreniran model vrlo lako se prilagođava novim zadacima. 
U radu [19] je dat pregled rada 23 autora koji uključuju različite pristupe CNN i arhitekture u izazovima poljoprivredne proizvodnje, kao i praktične rezultate primene ovih mreža. Oblasti primene bazirane su na detekciji bolesti listova biljaka, pokrivenosti zemljišta, vlažnosti zemljišta, prepoznavanju biljaka, brojanju plodova i identifikaciji korova. U jednom broju radova korišćene su već istrenirane mreže kao što su AlexNet [2], VGG16 [20], GoogLeNet [21] i druge, dok se u okviru ostalih radova kombinovano primenjuju metode mašinskog učenja kao što je metoda potpornih vektora, linearna i logička regresija i druge. Važna stavka je da su kod skoro polovine ovih radova podaci bili novi od strane autora, kao i da je manja količina podataka dala odlične rezultate, preciznost preko 90%, a u nekima čak i 99%. Dodatnih 17 radova je obrađeno u radu [22] istih autora, u okviru kog su dodatno prikazani primeri primene CNN i u stočarskoj proizvodnji, predviđajući rast prasadi i pilića na osnovu klimatskih uslova na farmama. Takođe nekoliko obrađenih radova odnosilo se na procenjivanje plodnosti zemljišta, erozije vode, uslova za sušu i slično. 
Detekcija bolesti biljaka predstavlja jedan od vodećih problema u primarnoj poljoprovrednoj proizvodnji, gde usled različitih bolesti biljaka, i nedovoljnog ili prekomernog tretiranja, dolazi do velikih gubitaka. Prvo objavljeno istraživanje o upotrebi DL kod detekcije bolesti poljoprivrednih biljaka sa visokim rezultatima je predstavljeno u radu [23]. Razvijen model prepoznaje 13 različitih bolesti, i razlikuje stanje zdravih listova, kao i od okoline. Za obradu problema je korišćen set od 30880 slika, dok je set od 2589 slika korišćen za testiranje. Slike su preuzete sa interneta, pretraživanjem po bolestima, imenima biljaka iz različitih izvora i na različitim jezicima, čiji je broj uvećan različitim tehnikama pojašnjenim i pikazanim u radu. Obeležavanje regiona od interesa je ručno izvršeno, i sve slike su svedene na veličinu 256x256px. Platforma Caffe je korišćena, kao i istreniran model CaffeNet [24] sa setom naučenih težinskih faktora na velikom setu podataka ImageNet [25]. Poslednji sloj je izmenjen i izlazni Softmax sloj je prilagođen predmetnoj studiji sa 15 klasa. Dostignuta preciznost je bila u rasponu od 91-98%. Visoka tačnost modela klasifikacije pozadine omogućila je dobro odvajanje listova biljaka od okoline. Ukupna tačnost modela iznosila je 96,3%. 
U radu [26] su korišćene duboke neuronske mreže za prepoznavanje i klasifikaciju slika kukuruza, otkrivanje bolesti biljke, određivanje stope rasta biljke, a sve to u cilju optimizacije proizvodnje. Jednostavan model je sposoban da precizno identifikuje zdrave listove, pozadinu, nezdrave biljke i mapiranje problematičnih oblasti na farmi. Za obradu je korišćeno 1918 slika čiji je broj uvećan na 4588 različitim tehnikama, kako bi rezultati treninga bili bolji. Za izvlačenje karakteristika korišćena je već istrenirana VGG16 mreža na novim slikama. Prosečna tačnost rezultata na razvijenom modelu je 99,58%. 
U radu [27] primenom CNN došlo se do tačnosti modela od 99,53% u raspoznavanju biljke i bolesti, kao i zdrave biljke za ukupno 25 biljaka. Primer stanja dobro prepoznatih biljaka je prikazan na slici 2. U radu [28] uspešno je primenjen CNN i detektovano je 10 bolesti na samo 500 slika pirinča sa tačnošću od 95.48%. U poređenju sa drugim algoritmima koji takođe daju zavidne rezultate, DL se ipak pokazao za nekoliko procenata tačnijim. Sa povećanjem količine trening podataka, povećava se i tačnost DL modela. Slika 2. Prikaz slika dobro klasifikovanih bolesti, [28] Figure 2. Examples of correct classifications of various images, [28] Sa ovako dobrim rezultatima klasifikacije, planovi tretiranja biljaka se lako mogu formulisati u najkraćem roku, i mogu se proslediti auotmatizovanoj mašini signali za primenu odgovarajućih mera, ili mapirati potrebni tretmani biljaka GPS koordinatama. Ovi rezultati su daleko bolji od prethodno korišćenih tehnika analiziranja slika i pokazuju sposobnost modela da precizno predvidi rešenje tretmana, kako bi zemljište jednako bilo plodno, a samim tim bi bila moguća i optimizacija proizvodnje. Algoritmi DL se značajno koriste u pokušajima pravljenja autonomnih vozila, gde su pokušaji preseljeni i na poljoprivrednu mehanizaciju. Najčešća upotreba je u savladavanju prepreka za traktore ili kombajne na polju. U radu [29] je razvijen algoritam za detekciju standardizovanih prepreka na polju pod različitim terenskim uslovima i osvetljenjem. Uspešnost modela je iznosila 99.99% primenom AlexNet mrežu. Ovaj model nije prepoznavao životinje i ljude jer je isključivo treniran za standardizovanu prepreku. Prepreke kao što su ljudi i životinje na polju su retke, pa je jedna od ideja data u radu (30) gde je korišćenja kombinacija DL i detektovanje anomalija upotrebom Gausove raspodele. U radu je pokazano da predloženi algoritam daje bolje rezultate u detektovanju ljudi na većoj udaljenosti, u odnosu na druge algortime kao što je RCNN, korišćenjem manjeg broj podataka za treniranje i jednostavniju mrežu. 
Precizna poljoprivreda zahteva tačne informacije o stanju na polju, koje satelitski snimci ne obezbeđuju u potpunosti. U tu svrhu sve je veća upotreba drona za snimanje poljoprivrednog zemljšta i dalju analizu (31). Primena CNN mreže u identifikaciji nedostajuće vegetacije šećerne repe na polju pomoću snimaka drona, posebno je prikazan u radu [20]. Korišćena je VGG16 [20] arhitektura obrađena na ImageNet [2] setu podataka. Dalje je korišćen sopstveni set podataka od 1500 slika veličine 80x80 px i Keras/Theano platforma. U prvoj iteraciji obrade sa 15 epoha, dostignuta je tačnost od 79,2%. U sledećoj iteraciji obrade, greška je svedena na svega 6% nakon provere klasifikacije ulaznih podataka. Dronovi pored snimljenih slika različitim vrstama kamera, beleže indeks vegetacije, označavajući zdravlje, vlagu i sadržaj hranljivih materija, što olakšava i čini rad poljoprivrednika efikasnijim u vidu upravljanja poljoprivrednim zemljištem, a uzgajivačima olakšavaju posao generisanja novih sorti. Primena i istraživanje u ovoj oblasti je odvelo algoritme do tačke u kojoj po performansama prevazilaze većinu tradicionalnih algoritama mašinskog učenja u nekoliko kategorija. 
Većina autora je saglasno da uspešna aplikacija CNN zavisi uglavnom od veličine seta i kvaliteta ulaznih podataka koji se koriste za treniranje modela u smislu varijabilnosti između klasa i tačnosti označavanja. 

ZAKLJUČAK

Usled sposobnosti sopstvenog ekstraktovanja karakteristika iz slika, i velike preciznosti u oblasti digitalne obrade slike, DL i CNN predstavljaju obećavajući koncept veštačke inteligencije u poljoprivrednoj industiji, u delu kontrole kvaliteta i preciznoj poljoprivredi. Uspeh modela zavisi isključivo od veličine trening seta i kvaliteta ulaznih podataka. Ipak noviji rezultati istraživanja sugerišu da se zadovoljavajući rezultati mogu postići i sa manjim brojem podataka za treniranje mreže. 
Skorašnji porast interesovanja za Deep Learning ili duboko učenje je u velikoj meri rezultat dostupnosti snažnih grafičkih procesora (eng. Graphic Processing Unit -GPU) koji mogu efikasno da treniraju i izvršavaju algoritme DL (Deep Learning) . Kada se oformi model, benefiti su znatno smanjenje vremena obrade podataka i veća preciznost. Postizanje i održavanje visokih performansi aplikacija zasnovanih na DL je upravo mogućnost kontinuiranog ažuriranja modela uporedo sa prikupljanjem veće količine podataka. 
Tehnologija precizne poljoprivrede se primenjuje za povećanje prinosa, smanjenje troškove i uticaja na životnu sredinu, i zajedno sa učinkom primene DL daju zavidne rezultate i obećavajuću tehnologiju za smanjenje procenta gubitaka dobrog poljoprivrednog proizvoda u više faza prerade. Značajno visoka stopa uspešnosti čini DL i vrlo korisnim savetodavnim alatom za rano upozoravanje i pistup koji bi se dalje mogao proširiti u integrisani sistem identifikacije bolesti biljaka, koji bi radio u realnim uslovima kultivacije. 

THE CONVOLUTIONAL NEURAL NETWORKS -APPLICATIONS IN PRECISION AGRICULTURE

Ivana Medojevic 1 , Dragan Markovic 1 , Vojislav Simonovic 1 , Aleksandra Joksimovic 1 , Jovana Sakota Rosic Abstract: A promising concept of artificial intelligence that records intense developments in the field of digital imaging is Deep Learning (DL). More intensive research within this field has been recorded over the past two decades, and has been applied in the agricultural industry as well. This paper will describe the DL technology which represents a part of Machine Learning (ML), based on Convolutional Neural Networks (CNN). It takes a special application in a machine vision where it allows machines to learn from experience, adapt to new technologies, and perform human tasks. Input data can be from a variety of sources: from classic digital camera shots to satellite images, as well as from recordings obtained by means of hyperspectral, thermal and infrared cameras. 
The increasing popularity and use of trunks in agricultural fields is increasing, and the very application of these new technologies leads to the huge amount of data that needs to be processed in real time, therefore, DL algorithms are increasingly used. 
The paper will summarize the current and considered possible applications of CNN in primary and precise agriculture in the future. 

Key words: precision agriculture, artificial intelligence, machine vision
The convolutional neural networks: Applications in precision agriculture