en en en fi en en fi en en zh fi fi en fi en en en fi en en en fi en en zh en en de eo en en fi jbo en en es ru fr en es en en en en en en en fi en fi pl en uk it war en es war fi jbo fi fi jbo fi en es es fi jbo es en es fi fi jbo fi en es fi fi jbo fi en es en fi jbo en en es fi oc en sv en fi en fi en en en en en en en en en nb en pt id de en en sl en en en en en en en fi en en fi en en fi en en fi en en en en en en en en en en en en en en en en fa en en en en fi en en en en en en en en en en en en en en
JYX - Evaluating the sensitivity of lightweight object detection models against adversarial perturbations (full record)
University of Jyväskylä | JYX Digital Repository
English  | Give feedback |
JavaScript is disabled for your browser. Some features of this site may not work without it.
Syväoppivat neuroverkot ovat viime vuosina olleet yleisin käytetty menetelmä hahmontunnistuksessa niiden tarjotessa merkittäviä parannuksia suorituskykyyn sekä tunnistusten tarkkuuteen. Samanaikaisesti IoT-teknologia on alkanut integroitua tekoälyteknologian kanssa, jonka seurauksena kameroita sisältävät IoT-laitteet ovat alkaneet hyödyntämään kuvantunnistus tekniikoita. Nämä ovat kasvattaneet kiinnostusta hahmontunnistus ratkaisujen käytöstä sovelluksissa ja laitteissa eri aloilla, kuten valvonnassa ja itseohjautuvissa ajoneuvoissa. Viime aikoina syväoppimismalleja on implementoitu suoraan laitteisiin, tarpeettoman liikenteen pitämiseksi poissa verkosta. Tämä on tukenut kevyiden hahmontunnistusmallien kehitystä. Tutkimukset ovat kuitenkin osoittaneet, että syväoppivat neuroverkot ovat haavoittuvia vihamielisille esimerkeille, joilla tarkoitetaan vaikeasti havaittavaa kohinaa sisältäviä kuvia, jonka seurauksena hahmontunnistus mallit saadaan tekemään virheellisiä tunnistuksia. Tämä tutkielma keskittyy toteuttamaan kevyiden hahmontunnistus mallien herkkyysanalyysin vihamielistä kohinaa kohtaan sekä tutkii millaisia vihamielisiä hyökkäyksiä hahmontunnistus malleja vastaan, on olemassa. Tutkimukset suoritettiin luomalla vihamielisiä esimerkkejä käyttäen python kirjastoa, joka oli luotu vihamielisten hyökkäysten testaamiseen syväoppivilla neuroverkoilla. Arvioinnit toteutettiin testaamalla valittuja esikoulutettuja malleja tietoaineistoilla, jotka pohjautuivat COCO 2017 tietoaineistoon. Kokeet osoittavat, että projected gradient descent metodilla luodun hyökkäävän kohinan käyttö laski mallien keskimääräistä tarkkuutta matalilla kohinan tasoilla 4–10%, keskiverto tasoilla 10–28% sekä korkeilla tasoilla 25–49%. Käyttämällä fast gradient sign metodia hyökkäävän kohinan luonnissa, mallien keskimääräinen tarkkuus laski matalilla kohinan tasoilla 10–22%, keskiverto tasoilla 35–53% sekä korkeilla tasoilla 70–84%. Tutkimuksessa käytetyistä malleista parhaiten hyökkäävää kohinaa vastusti EfficientDet D0 512x512 malli. Tulokset osoittavat, että esikoulutetut kevyet hahmontunnistusmallit ovat haavoittuvia python kirjastolla luoduille hyökkääville esimerkeille ja tutkimusta mallien sitkeyden parantamiseksi tulisi jatkaa.
The use of deep neural networks in the object detection task has become the mainstream solution in recent years due to the major improvements in the performance and accuracy of the detections that they have offered. Simultaneously the IoT technology has started to integrate with artificial intelligence technology and IoT devices with integrated cameras have started to adopt image recognition techniques. These have increased the interest in using object detection solutions on applications and devices in fields like surveillance and autonomous driving. Recently the applications have also started to adopt using deep learning models on-device to keep the unnecessary traffic off the network, which has supported the development of lightweight object detection models. However, the studies have shown that deep neural networks are vulnerable to adversarial examples, which are images that contain a subtle perturbation capable to fool the object detector to make false detection. This thesis focuses to evaluate the sensitivity of lightweight object detection models against adversarial perturbation and studies what kind of adversarial attacks currently exist against object detection models. The experiments were conducted by crafting the adversarial examples using the python library designed to run adversarial attacks against deep neural networks. The evaluations were completed on selected pre-trained models while using the datasets based on COCO 2017 dataset. Experiments show that using the adversarial perturbation crafted on the projected gradient descent method, the mean average precision of the selected models was decreased on low noise levels 4–10%, on average levels 10–28%, and on high levels 25–49%. When using adversarial perturbation crafted on the fast gradient sign method, the mean average precision of the selected models was decreased on low noise levels 10–22 %, on average levels 35–53%, and on high levels 70–84%. From the models used in experiments, the EfficientDet D0 512x512 model proved to resist the adversarial perturbation better than the others. Results show that pre-trained lightweight object detection models are vulnerable to adversarial examples crafted using the python library and it would need more research to make them more robust.
Evaluating the sensitivity of lightweight object detection models against adversarial perturbations
Faculty of Information Technology
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
neural networks (information technology)
Files in this item
This item appears in the following Collection(s)
Pro gradu -tutkielmat [24090]
Show simple item record
Showing items with similar title or keywords.
Hyper-flexible Convolutional Neural Networks based on Generalized Lehmer and Power Means
Terziyan, Vagan; Malyk, Diana; Golovianko, Mariia; Branytskyi, Vladyslav (Elsevier, 2022)
Convolutional Neural Network is one of the famous members of the deep learning family of neural network architectures, which is used for many purposes, including image classification. In spite of the wide adoption, such ...
Tree Species Identification Using 3D Spectral Data and 3D Convolutional Neural Network
Pölönen, Ilkka; Annala, Leevi; Rahkonen, Samuli; Nevalainen, Olli; Honkavaara, Eija; Tuominen, Sakari; Viljanen, Niko; Hakala, Teemu (IEEE, 2019)
In this study we apply 3D convolutional neural network (CNN) for tree species identification. Study includes the three  most common Finnish tree species. Study uses a relatively large high-resolution spectral data set, ...
Extracting locations from sport and exercise-related social media messages using a neural network-based bilingual toponym recognition model
Liu, Pengyuan; Koivisto, Sonja; Hiippala, Tuomo; Lijn, Charlotte van der; Väisänen, Tuomas; Nurmi, Marisofia; Toivonen, Tuuli; Vehkakoski, Kirsi; Pyykönen, Janne; Virmasalo, Ilkka; Simula, Mikko; Hasanen, Elina; Salmikangas, Anna-Katriina; Muukkonen, Petteri (National Center for Geographic Information and Analysis, 2022)
Sport and exercise contribute to health and well-being in cities. While previous research has mainly focused on activities at specific locations such as sport facilities, "informal sport" that occur at arbitrary locations ...
Generating Hyperspectral Skin Cancer Imagery using Generative Adversarial Neural Network
Annala, Leevi; Neittaanmäki, Noora; Paoli, John; Zaar, Oscar; Pölönen, Ilkka (IEEE, 2020)
In this study we develop a proof of concept of using generative adversarial neural networks in hyperspectral skin cancer imagery production. Generative adversarial neural network is a neural network, where two neural ...
Convolutional neural networks in skin cancer detection using spatial and spectral domain
Pölönen, Ilkka; Rahkonen, Samuli; Annala, Leevi; Neittaanmäki, Noora (SPIE, The International Society for Optical Engineering, 2019)
Skin cancers are world wide deathly health problem, where significant life and cost savings could be achieved if  detection of cancer can be done in early phase. Hypespectral imaging is prominent tool for non-invasive ...
Tunes and musical notes
All of JYXCollection listBy Issue DateAuthorsSubjectsPublished inDepartmentDiscipline
How to publish in JYX?
Publish Your Thesis Online
Open Science at the JYU
Unless otherwise specified, publicly available JYX metadata (excluding abstracts) may be freely reused under the CC0 waiver.