update app

adding new features to select model to predict the sentiment, add new pages to look at each model information

app.py

@@ -1,3 +1,5 @@
+import streamlit as st
+
 import streamlit as st 
 import pandas as pd
 import script.functions as fn
@@ -7,15 +9,25 @@ import matplotlib.pyplot as plt
 import script.text_proc as tp
 from sentence_transformers import SentenceTransformer
 
+
+st.set_page_config(
+    page_title="twitter sentiment analysis",
+    page_icon="👋",
+)
+
+st.sidebar.markdown("📚 Twitter Sentiment Analysis App")
+
 # Load data
 # add tiwtter logo inside title 
 st.markdown("<h1 style='text-align: center;'>📚 Twitter Sentiment Analysis App</h1>", unsafe_allow_html=True)
 st.write("Aplikasi sederhana untuk melakukan analisis sentimen terhadap tweet yang diinputkan dan mengekstrak topik dari setiap sentimen.")
 # streamlit selectbox simple and advanced
 
-sb1,sb2 = st.columns([1,4])
+sb1,sb2 = st.columns([2,4])
 with sb1:
     option = st.selectbox('Pilih Mode Pencarian',('Simple','Advanced'))
+with sb2:
+    option_model = st.selectbox('Pilih Model',("IndoBERT (Accurate,Slow) ",'Naive Bayes','Logistic Regression (Less Accurate,Fast)','XGBoost','Catboost','SVM','Random Forest'))
 
 if option == 'Simple':
 # create col1 and col2
@@ -37,11 +49,10 @@ submit = st.button("🔍Cari Tweet")
 st.caption("semakin banyak tweet yang diambil maka semakin lama proses analisis sentimen")
 
 if submit:
-    # df = pd.read_csv("assets/data.csv")
     with st.spinner('Mengambil data dari twitter... (1/2)'):
         df = fn.get_tweets(input, length, option)
     with st.spinner('Melakukan Prediksi Sentimen... (2/2)'):
-        df = fn.get_sentiment(df)
+        df = fn.get_sentiment(df,option_model)
         df.to_csv('assets/data.csv',index=False)
     # plot
     st.write("<b>Preview Dataset</b>",unsafe_allow_html=True)

assets/data.csv

@@ -1,101 +1,99 @@
 sentiment,content
-netral,"Hai Kak, pada dasarnya kamu bisa melakukan pemesanan di hari sebelum penjemputan untuk melakukan pemesanan antar jemput bandara dan kamu bisa melakukan pemesanan maksimal 4 jam sebelum waktu penjemputan yang kamu pilih Kak. Untuk dapat kami bantu cek lebih lanjut boleh"
-netral,"min mau nanya kalau pesan fitur antar jemput bandara tertera pemesanan maks. 3 jam sebelum penjemputan, maksudnya gimana ya kalau misalnya kita mau minta jemput selasa jam 5 pagi, jam berapa kita bisa pesan apa boleh dr hari sekarang/senin"
-netral,"mjb, maaf kak, mau numpang nanya kalau pesan fitur antar jemput bandara tertera pemesanan maks. 4 jam sebelum penjemputan, maksudnya gimana ya kalau misalnya kita mau minta jemput selasa jam 5, jam berapa kita bsa pesan apa boleh dr hari sekarang/senin"
-netral,Untuk akun resmi Traveloka hanya di saja ya Kak Vico. Terima kasih -KA
-negatif,Bang.. Emang pegi pegi masih aktif ya.. Kirain dah dikalahin
-netral,ini akun mana yg bener Cc
-negatif,Nyari apa pak Duittttttttt... Aing butuh nya duittttttt
-netral,"Baik min, cekDM ya"
-netral,"Hai Kak, karena setiap maskapai punya kebijakan refund masing-masing, silakan infokan nomor pesanannya di PM supaya mimin bisa bantu cek kebijakannya. Terima kasih -DZ"
-netral,min mau nanya untuk refund tiket pesawat dengan alasan dicancel maskapai kira2 berapa lama ya
-netral,"Hai Kak, mohon maaf sebelumnya ya. Mimin sarankan untuk yang bersangkutan menghubungi kami secara langsung. Jika itu kendala kamu, mohon saikan secara detail melalui DM untuk dapat mimin cek lebih lanjut ya Kak. Makasih. -AH"
-netral,"Dear valued customer, For the security of customer information, please contact Traveloka directly through the above support channels and provide the booking ID so that Traveloka can check and support as well as possible. Traveloka would like to receive information a"
-netral,: my ticket got booked twice due to there system portal glitch
-netral,"thanks for responding to my post , I have raised the issue earlier with traveloka I got disappointed with the response no resolution was given , I want to raise the complain to higher management, please assist"
-netral,"Dear valued customer, regarding to this problem, please kindly send direct message for Traveloka due to privacy security."
-netral,"Due to a system error, my ticket was booked twice for the same person on the same flight, Requesting correct action and troubleshooting . looking forward to your assistance, and come up with a solution as soon as possible"
-netral,Cek dm pleaseee
-netral,"Dear valued customer, regarding to this problem, please kindly send direct message for Traveloka by one of these channel: message via Traveloka application, email cs or hotline 1900-6978 Vietnam all customer support channels available 24/7. For mor"
-netral,"Due to a system error, my ticket was booked twice for the same person on the same flight, Requesting correct action and troubleshooting . looking forward to your assistance, and come up with a solution as soon as possible"
-netral,"Baik, sama-sama Kak Aga -KK"
-positif,Oke terima kasih infonya kak
-netral,"Oh ya, boleh minta alamat email aktif kamu Kak Karena mimin akan kirim survey ke email kamu nih, kami butuh suara kamu untuk meningkatkan kualitas pelayanan Traveloka. Kalo boleh kirim ke DM, mimin tunggu konfirmasinya ya. Makasih -KK"
-netral,"Bisa Kak, intinya jika Kakak sudah punya paspor dengan masa berlaku minimal 6 bulan dari tanggal keberangkatan, Kakak bisa langsung pesan dan berangkat. Baik penerbangan transit atau langsung, untuk penerbangan internasional tetap membutuhkan paspor sebagai dokumen ya Ka"
-netral,"Jdi klo saya misalkan baru buat paspor skrg, dan saya berangkat keluar negeri minggu depan, itu bisa langsung kan min Tanpa harus transit"
-netral,"Hai Aga. Maksudnya itu setiap penerbangan internasional membutuhkan paspor sebagai dokumen perjalanan, baik penerbangan transit atau penerbangan langsung dengan masa berlaku minimal 6 bulan dari tanggal keberangkatan ya Kak. Terima kasih. -KK"
-netral,"DM kamu sudah mimin balas ya, Kak. Terima kasih. -VK"
-netral,min cek dm ya
-negatif,ga ada diskon buat bis yaa min
-netral,"Hai, Kak. Baik, mimin meluncur ke DM ya, mohon ditunggu. Terima kasih. -RF"
-netral,"Min, tolong cek DM ya"
-netral,"Baik Kak, sudah mimin balas kembali ya : -MZ"
-netral,sudah saya balas lg kak
-netral,"DM kamu sudah mimin balas Kak, silakan dicek -MZ"
-netral,"halo kak bisa cek dm, terimakasi"
-netral,"Baik, Kak. DM kamu sudah mimin balas ya. Terima kasih. -RF"
-netral,Sudah saya DM min. Saya tunggu ya. Terima kasih
-netral,"Hai, Kak. Jika yang kamu maksud untuk pembelian tiket kapal feri belum tersedia saat ini di Traveloka ya. Terima kasih. -RF"
-netral,"Hai, Cy. Baik, mimin tunggu DM dari kamu ya. Terima kasih. -RF"
-netral,"Halo Kak, mohon maaf atas kejadian ini ya. Boleh infokan nomor pesanannya melalui DM supaya mimin bantu cek. Terima kasih. -OR"
-netral,Yuk rental mobil di semuamobilada aja
-netral,"Tidak Termasuk: bensin, parkir, tol, uang makan sopir dan tips biaya harga dasar Jika kamu ingin melakukan penggunaan di luar kota maka biaya tambahan berlaku. Nantinya untuk destinasi masuk di area zona apa bisa kamu lakukan pengecekan pada halaman Rental saat melaku"
-netral,"Baik Kak, untuk pesanan rental mobil dengan supir nantinya kamu bisa memilih opsi area atau rute yang ingin kamu pesan dimana ketentuan umum: Jasa Rental Dasar: termasuk penggunaan dalam kota, penggunaan sai dengan 12 jam atau hingga 23:59 di setiap hari rental 1/2"
-netral,"Done min, trims"
-netral,"Halo Vico, mohon maaf atas kejadian ini ya. Boleh infokan email dan nomor ponselnya melalui DM agar mimin cek ya. Terima kasih. -OR"
-netral,"Hai, Kak. Untuk harga yang tertil mengikuti rute pesanan yang kamu input pada saat melakukan pemesanan ya. Terima kasih -RU"
-netral,"Hai Kak Rafi, maaf banget kendala status refund kamu. Boleh kamu infokan nomor pesanannya di DM supaya mimin bisa bantu cek. Terima kasih -DZ"
-negatif,"kesel bat ama ini app , duit refund gw blom masuk masuk woyy tolong"
-netral,"Hai Kak, mohon maaf sebelumnya, untuk dapat mimin cek lebih lanjut. Mohon menginformasikan nomor pesanan kamu melalui DM ya Kak. Mimin tunggu. -AH"
-negatif,"tiket disney kena cancel, gmn min"
-netral,"Kamu bisa klik icon DM atau pesan pada aplikasi Twitter kamu terlebih dahulu, lalu klik New Message, dan terakhir silakan masukan account Traveloka agar kamu dapat kirimkan DM ya Kak. Terima kasih. -KA"
-netral,"Ngga ada tombol DM nya, min"
-netral,"Tidak ada masalah kok Kak untuk DM-nya. Silakan kamu ke profile menu DM kamu, lalu kamu bisa cari nama Traveloka Indonesia supaya kamu bisa langsung DM ya Kak. Terima kasih -DZ"
-negatif,Kenapa tidak muncul logo untuk DMnya ya min
-netral,"Hai Kak, boleh kamu infokan nama email PayLater yang terdaftar melalui DM supaya mimin bisa cek status tagihan yang masih berjalan. Terima kasih -DZ"
-netral,"Biar mimin bisa bantu cek, boleh infoin dulu alamat email kamu yang terdaftar PayLater melalui DM Mimin tunggu ya, terima kasih. -KA"
-netral,"Hai Kak, agar mimin dapat bantu cek, mohon sebutkan nomor pemesanan kamu dan bukti pembayaran kamu via DM ya Kak, mimin tunggu. -NT"
-negatif,min saya transfer ga se 3 digit akhir soalnya pas saya bayar udah sesuai yang muncul harganya segitu tapi pas udah saya transfer angka akhirnya berubah malah nambah itu gimana min Saya udah upload bukti transfernya di batalin bisa ga sih Thankss
-netral,"Hai, Agha. Bisa dong, kamu tinggal checklist saja pemesanan yang ingin kamu bayarkan ya. Terima kasih. -KA"
-netral,"Hai Kak, maaf ya sudah buat kamu ga nyaman, agar mimin dapat bantu cek, mohon sebutkan nomor pemesanan kamu via DM ya Kak, mimin tunggu. -NT"
-negatif,"min, kenapa eticket saya ga keluar2"
-netral,Hai Kak. DM kamu sudah mimin balas ya. Silakan dicek ya. -CA
-netral,"Hai Rismawati. Terkait laporan kamu sudah kami infokan melalui DM dan pada dasarnya Tim kami juga butuh konfirmasi kamu melalui email untuk proses investigasi lebih lanjut, ditunggu balasan emailnya ya. Terima kasih. -FR"
-negatif,"halo perhari ini, saya masih di tlp untuk penagihan paylater. apakah laporan saya sudah diproseskarena sangat menganggu. apalagi saya tidak pernah memakai paylater."
-netral,Cek DM please
-positif,"Oh iya Kak, mimin butuh survey kamu nih untuk meningkatkan kualitas pelayanan Traveloka. Survey akan dikirim ke email kamu nanti, jangan lupa buka notifikasinya dan pilih Sangat Puas atau Puas kalau kamu merasa puas dengan pelayanan serta informasi yang sudah mimin"
-netral,"Hai Kak Qeju. Untuk pemesanan kamu dengan nomor pemesanan 99608xxxx saat ini sudah berhasil dan e-tiket sudah terbit ya Kak. Mohon lakukan pengecekan pada email kamu, karena e-tiket dikirim melalui email. Untuk kedepannya jika ada pertanyaan atau kendala, kamu bisa hub"
-netral,"Halo admin, gimana nih dengan keluhan saya"
-netral,Nama dan email saya sudah saya kirim di DM min
-netral,"Hai, Zain. Untuk pembelian menggunakan PayLater gak ada batasan selama limit kamu cukup. Namun, ada produk tertentu yang bisa kamu beli dengan PayLater tergantung level PayLater kamu. Agar bisa mimin cek lebih lanjut, boleh infokan nama lengkap dan alamat email yang"
-netral,Kenapa saya tidak bisa memesan hotel dengan traveloka paylater Padahal paylater saya aktif dan sudah ada limit transaksi.
-netral,DM kamu udah mimin balas. Silakan dicek ya. Terima kasih. -RM
-netral,admin tolong check DM thanks
-positif,sih gw sama .com
-netral,Hai Kak Petrus. Kamu bisa infokan lebih lanjut detail pertanyaan atau kendala kamu via DM ke mimin dan infokan juga nomor pesanan Travelokanya ya. Terima kasih. -RM
-netral,Min saya pengen tanya perihal refund dimana ya
-netral,"Hai, Kak Hefi. Mohon maaf sebelumnya, apakah yang kamu maksud terkait laporan kamu pada nomor pemesanan xxxxx1555 Jika iya, kamu bisa konfirmasi kembali kepada kami melalui DM, agar dapat kami bantu lebih lanjut. Terima kasih. -RU"
-negatif,Lucu kan Kalian ingin melindungi tapi disisi lqin kal8an malah maling duit pelanggan
-negatif,Gimana mau banyak duit kalau duit gw kalian maling
-negatif,Yaa ga mau nyebut brand ya Takut kan logo burung lo diganti sapi
-netral,minn cek dm dong
-netral,"DM kamu sudah mimin balas ya Kak, silakan dicek kembali. Terima kasih. -KA"
-netral,"Oh iya Kak, mimin butuh bantuan kamu nih Kak, untuk isi survey kepuasan pelanggan. Kalo bersedia, kamu bisa kirimkan alamat email kamu ke mimin melalui DM ya Kak. Mimin tunggu konfirmasinya. Terima kasih. -AH"
-netral,epic sale kpn ya min
-netral,Gmn dm saya
-positif,Bisa
-netral,"Hai Fandi. Menanggapi pertanyaan kamu, boleh infokan dulu nomor pesanan Travelokanya melalui DM Mimin tunggu ya Kak. Terima kasih. -KA"
-netral,Permisi ka saya mau membatalkan pembokingan bisa
-netral,Ka itu kupon promo nya bisa di gabung
-netral,"Mohon maaf buat kendalanya ya Kak. Mimin saranin kamu masuk ke menu Direct Messages pada akun kamu, lalu pilih tambah pesan dan ketik username Traveloka supaya kita bisa ngobrol di DM ya. -SM"
-netral,"Haloo kak. Sorry jbjb, aku mau tanya terkait hal yg sama. Boleh aku dm gak"
-netral,"Hai, Kak Putri. Boleh dong Kak. Yuk DM mimin terkait PayLater kamu. Jangan lupa infokan email dan nomor telepon yang terdaftar di akun tersebut. Mimin tunggu konfirmasinya. Terima kasih. -SM"
-netral,Hai Nadya. DM kamu udah mimin balas ya Kak. Makasih. -KK
-netral,min cek dm urgent
-netral,min tolong bales dm ku dongg
-netral,"Hai Kak Prastika, kamu bisa tanya mimin kok, silakan saikan pertanyaan kamu Kak, mimin tunggu. -NT"
-netral,kak saya mau tanya ttg ticket bus saya bisa chat lewat mana ya
-netral,"Hai Imam, mohon maaf atas kendala yang kamu alami. Untuk menjaga keamanan data kamu dan untuk dapat kami bantu lebih lanjut. Mohon menginformasikan nomor pemesanan kamu melalui DM ya Kak. Mimin tunggu. -AH"
-netral,tolong di cek dm nya.
-netral,"Hai Kak Risnawati, maaf banget ketidaknyamanan kamu. Boleh kamu infokan nama email kamu yang mungkin terdaftar di sebagai akun Traveloka melalui DM Atau kalaupun tidak ada, silakan infokan nama email kamu saja Kak, supaya mimin bisa bantu cek kalau memang ada indik"
-netral,Oke minn ku dm yah
+netral,"Gabisa DM min ,gaada tempat buat dm kamu hehe"
+netral,"Halo Haeni, mimin belum menerima DM kamu, yuk infokan mimin kembali melalui DM ya. Terima kasih. -OR"
+positif,"halo ini saya mau atur ulang jam penerbangan, tulisannya tersedia untuk re schedule, tapi setelah di ajukan kenapa tidak tertolak dan tulisannya tidak tersedia untuk penerbangan ini ya ,padahal ada pilihan untuk jam yang ingin diubah"
+netral,"Well, the night comes, but my refund money is still no where in sight. 92 days of waiting and still counting. Been told to wait for another 2x24hr time."
+netral,Mimin meluncur ke DM kamu ya. Ditunggu -TK
+netral,Hai Riri. DM kamu sudah mimin balas ya. Terima kasih. -DA
+netral,min cek dm
+netral,"hallo, min. Cek dm ya. Terima kasih"
+netral,"Siap, Kak. Udah mimin balas ya. -SM"
+negatif,Aamin. ehem ehem
+netral,Tolong dibalas kka
+netral,Hai Kak. Mohon maaf banget ya atas kendala kamu. Supaya nyaman dan aman ngobrolnya boleh informasikan ke mimin nomor pemesanan kamu via DM Kak Supaya mimin bisa cek lebih lanjut. Mimin tunggu ya Kak. Terima kasih. -DA
+netral,kalau purchase pending artinya apa ya Cek akun udah ada receipt nya. Mohon dibantu ya min. Thanks.
+netral,"Sudah bsa,sudah aku DM kak"
+negatif,Ayam rasa rasa yang dulu pernah ada.
+positif,"Aku coba DM tapi ga bsa , coba KK dluan ya"
+netral,"Hai, Kak. Untuk lakukan pengecekan lebih lanjut, yuk infoin nomor pesanan kamu dulu via DM ya. Mimin tunggu -TK"
+netral,"kak aku mau reschedule tiket balik, biaya yg sebelumnya akan direfund atau bagaimana"
+netral,min tolong cek DM saya mau reschedule tiket balik
+netral,admin tolong cek DM
+netral,Cek DM min
+netral,"Hai, Kak. Mohon maaf atas kendala yang kamu alami. Untuk lakukan pengecekan lebih lanjut, mohon infokan nomor pesanan Traveloka kamu via DM ya. Mimin tunggu -TK"
+netral,"Hai Kak Hendri, pada dasarnya untuk asuransi pada produk yang kamu pesan bersifat optional ya Kak, dapat dipesan atau tidak. Apabila kamu memiliki ketidaksesuaian silakan lirkan screenshot dan detail kendalanya via DM, agar mimin dapat coba cek lebih lanjut, terima k"
+netral,Admin saya mau bertanya² ke CS tentang pembatalan penerbangan maskapai melalui aplikasi traveloka. Saya sudah hubungi CS di apk tapi belum ada tanggapan. Harusnya besok saya sudah flight
+positif,"kenapa setiap kita booking traveloka kita selalu harus bayar asuransi Chubb, saya sudah ada asuransi sendiri ngapain banyak2"
+netral,-PA
+netral,Liburan ke Jawa Barat seru dan murah murah kak :D
+netral,"Hai, Kak. Mimin udah balas DM kamu ya. Yuk cek DM dari mimin Kak. -SM"
+netral,"hi min, cek dm dong"
+netral,"Hai Kak. Mimin sudah balas DM kamu ya, silakan dicek kembali. Terima kasih. -KA"
+netral,"Hi min, cek DM ya terima kasih"
+netral,mohon cek dm
+netral,Gk bisa dm
+netral,"Halo, Kak Budi. Pindah ke DMyuk, biar mimin bisa jelasin detail. -Mimin tunggu DM-nya. Terima kasih. -OE"
+netral,"halo min, tolong cek DM yaa"
+netral,"Kalau kamu terkendala hapus akun dengan cara sebelumnya, silakan email langsung ke tim internal mimin dengan alamat email privacy ya. Infokan aja kalo kamu mau hapus akun Traveloka dengan email xxx atau telepon xxx. Terima kasih. -AM 2/2"
+netral,"Hai, Kak. kamu bisa nonaktifkan akun kamu dengan cara Self Deactivation. Kamu klik forgot password, nanti akan ada link untuk nonaktifkan akun yang bisa kamu klik ya dengan pilih Self Deactivation 1/2."
+positif,"hi admin saya mau bayar via uangku kok gaada pilihannya ya Cuma asa debit card sama paylater, mohon bantuannya"
+positif,Ini link apa coba
+netral,"Fly Eat Sleep Shop Repeat No Refund on Cancelation please add it to your tagline , -I Dont think do do the same."
+netral,hahahahah
+netral,"Sudah kak mohon dicheck dmnya ya, terima kasih"
+netral,"Hai, Kak. Mohon maaf udah buat kamu gak nyaman ya. Supaya bisa dibantu cek lebih lanjut, bisa infoin dulu email kamu via DM Mimin tunggu ya. -WR"
+positif,"hi admin, saya udah topup uangku kok gak masuk² udah 30 menit lebih, thanks"
+netral,"Oh sure, thank you, Ive been waiting for 92 days, surely its a very delightful experience to keep waiting another 5x60 minutes. Im sure the Flight Specialist has been doing a great job to fight for my rights, keep up the good work What would I do without you"
+netral,"Hi, Kiky. We do apologize for the inconvenience. Regarding your issue, we inform you that currently it is still in the escalation process by the Flight Specialist team. Please wait for further information in an estimated 5x60 minutes via the Traveloka inbox feature o"
+netral,Good morning world. Oh hi i see its the 92th day I havent been getting my refund back from you. Thank you for the helpful and re-assuring messages from you.
+netral,"hi min, please cek dm ya"
+netral,Kak Jajang bisa aja deh -RZ
+netral,ada kode promo untuk tiket bus gak min
+netral,tetep gak bisa min
+netral,"Hai Kak Rhea. Terkait gambar yang kamu berikan, saat ini tidak ada kendala pada sistem pemesanan kami. Mohon pastikan jaringan yang kamu gunakan stabil serta sudah menggunakan aplikasi Traveloka versi terbaru. Mohon untuk relogin akun Traveloka kamu terlebih dahulu da"
+netral,wkwkwkkw
+netral,"Lewat agen kak, di ig narendra ada. Monggo dicek"
+netral,minn tolong cek dm urgent banget ini min
+netral,oke minn cek dm min
+netral,beli tiketnya lewat aplikasi atau gmn kak
+netral,"Hai, Kak. Sebelumnya bisa infokan nomor pemesanan Traveloka kamu via DM Supaya bisa kami bantu cek lebih lanjut. Terima kasih. -FR"
+positif,minn klo udah mesen tiket esawat tapi nama penumpang ada yang salah gimana ya min bisa diperbaiki ga aku nulis namanya ke double gitu min
+netral,"Ada Rosalia Indah, Harapan Jaya, Narendra"
+netral,Hai Kak Setyo. Bergantung tanggal dan jam yang kamu pilih saat melakukan pemesanan ya. Kamu bisa cek ketersediaan jam keberangkatan melalui aplikasi Traveloka kamu. Yuk di cek -FR
+netral,Dari jakarta jam berapa
+netral,"Bisa kak, di sesuaiin aja sm kebutuhan"
+positif,Nice sowbat mintownquh...
+netral,"Hai, Kak. Untuk perihal tersebut tergantung ketersediaan dari pihak PO Bus ya Kak. Nantinya kamu bisa cek detailnya melalui aplikasi Traveloka pada saat pesan, ataupun bisa konfirmasi kepada pihak PO Bus Kak. Nantinya apabila kamu ada pertanyaan lain, jangan ragu DM mimi"
+positif,ada gak sih double decker yg jkt-madiunn pliss ingfonyaa
+netral,"Baik Kak, silakan cek DM-nya kembali ya -RU"
+netral,"Hai, Kak. Mohon menginformasikan kembali kendala atau pertanyaan yang ingin Kakak saikan terkait Booking ID tersebut via DM agar mimin bisa bantu lebih lanjut informasinya. Terima kasih. -RU"
+netral,Hi kak tolong cdm yaa urgent
+netral,Terima kasih ya min
+netral,"You know what, Im gonna keep this thread long. I will start my Day-91. Please anticipate for more tweets days ahead ok Im counting days on you."
+netral,"So now tell me, what actions you have been doing for the past 90 days Can you show me your communication history with PAL"
+netral,We apologize for the inconvenience caused. Our team is currently looking into your issue and we will get back to you shortly via inbox on Traveloka app with the latest update. Thank you for your understanding -RU
+netral,Sudah DM
+netral,"Hai, Nita. Makasih udah hubungin mimin ya. Sambil mimin infoin pertanyaan kamu, bisikin ke mimin juga yuk data email kamu yang terdaftar di Traveloka via DM , mimin mau ajak kamu untuk ikutan isi survey layanan nih. Mimin tunggu ya. Terima kasih : -RU"
+positif,"Klo paspor lama expired, masih bisa beli tiket ga dg paspor tsb, Perpanjangan paspor msh nunggu antrian soalnya."
+netral,"Hai Kak, makasih udah hubungin mimin ya. Sambil mimin infoin pertanyaan kamu, bisikin ke mimin juga yuk data email kamu yang terdaftar di Traveloka melalui DM, mimin mau ajak kamu untuk ikutan isi survey layanan nih -DZ 1/2"
+netral,Next trip cobain double decker
+netral,Min event 2.2 bakal ada promo bus gkkkk Promo kemaren udh gk kebagiann
+netral,"Baik Kak Hazna, mimin sudah balas DM kamu ya, mohon untuk cek DM Kak -NT"
+netral,Trip kapan min
+netral,Is 4.6million too much for you to return Arent you a Unicorn arent you ranked 1st as The Best Place to Work in Indonesia So you take care your employees but you dont take your customers seriously
+netral,You know what I am out of patience. You guys did not take me seriously for the past 90 days What is this International Flight Specialist have been doing with my inquiry the whole 3 MONTHS Were you aware that this is a SERIOUS issue You guys are keeping my money
+netral,We are coordinating closely with related airlines regarding to your issue. Our International Flight Specialist team will update and provide you the confirmation through inbox on Traveloka app on Case ID 30xxxx77. We thank you for your patience -RU
+netral,What is now your offer to solve this How are you gonna escalated this To who Who is the one going to ensure my money will return
+netral,"Ive been contacting your cs team dozen times. No answers every time. You all keep wanting me to wait and throw your responsibilities to the airlines. Do remember I made my transaction to you, I transferred my money to you. You got your profit already from my transaction. But me"
+netral,"Iyaa, aku berharapnya yaa bisa dibedakan gituu"
+netral,Dear mohon bantuannya. Saya ingin melaporkan ketidakpuasan saya terhadap penanganan isu refund dari Mohon dapat diberikan info prosedur pelaporan. Terima kasih.
+netral,"Hi, Kiky. Were deeply sorry for the inconvenience youve experienced. We understand how frustrating this experience must be. However we will need your help to kindly inform us your booking details via DM so we can address your concern to internal team as well as our"
+netral,"Hehe, minimal atur jadwal dan ambil cuti kamu aja dulu Kak Ecko, sambil ngumpulin dananya -NT"
+netral,"Baik Kak, mohon cek DM-nya kembali ya. Terima kasih -RU"
+netral,"valid no debat, sering disandingin, biar kaya lagi ngobrol, twitter kiri, traveloka kanan"
+netral,"Hai Kak Hazna, agar mimin dapat bantu cek lebih lanjut mengenai pemesanan kamu, mohon sebutkan nomor pemesanan kamu di Traveloka yang terdiri dari 9 Digit angka via DM ya Kak, mimin tunggu konfirmasinya. -NT"
+positif,Udh saya inbox
+positif,Servis makannya ga bedaa ya sama class yg lain:
+netral,"Halo, Vazeryn. Kami mohon maaf atas kendala yang dialami saat menggunakan aplikasi kami. Untuk investigasi lebih lanjut, kamu bisa kirimkan screenshot error atau penjelasan kendala yang ditemui via DM ya Kak. Terima kasih -RU"
+netral,"Makasih ya Kak Kadek udah berbagi cerita Pasti seru banget perjalanannya Oh Iya, mimin minta bantuan Kakak buat ngisi survey meningkatkan kualitas pelayanan Traveloka. Boleh infoin alamat email kamu via DM Mimin tunggu ya. Makasih -RU"
+netral,cek dm min

assets/df_model.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:29ceb6f9e4327d2b9181cf5a651f8e88876920b94c205a52340f401f8c2ae536
+size 63943096

indobert/config.json

@@ -1,6 +1,6 @@
 {
   "_name_or_path": "indobenchmark/indobert-lite-base-p1",
-  "_num_labels": 3,
+  "_num_labels": 5,
   "architectures": [
     "AlbertForSequenceClassification"
   ],
@@ -15,17 +15,17 @@
   "hidden_dropout_prob": 0,
   "hidden_size": 768,
   "id2label": {
-    "0": "positif",
-    "1": "netral",
-    "2": "negatif"
+    "0": 0,
+    "1": 1,
+    "2": 2
   },
   "initializer_range": 0.02,
   "inner_group_num": 1,
   "intermediate_size": 3072,
   "label2id": {
-    "positif": 0,
-    "netral": 1,
-    "negatif": 2
+    "0": 0,
+    "1": 1,
+    "2": 2
   },
   "layer_norm_eps": 1e-12,
   "max_position_embeddings": 512,

indobert/pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:7acc22f7091c678b59d2953576814b63e8ed5339e7d43e4eedbd895e15cac77a
+oid sha256:e809df40150362591b772ddb66962ab7765d118dc0b7b104d5f725da628ecdc9
 size 46756497

pages/1__model_information.py

@@ -0,0 +1,36 @@
+import streamlit as st
+import time
+import numpy as np
+import joblib
+import plotly.express as px
+import script.functions as fn
+import pandas as pd
+
+st.set_page_config(page_title="Model Information", page_icon="📈")
+
+st.sidebar.markdown("📈 Model Information")
+
+st.markdown("<h1 style='text-align: center;'>📈 Model Information</h1>", unsafe_allow_html=True)
+st.write("halaman ini berisi mengenai informasi model yang tersedia pada aplikasi. anda bisa melihat bagaimana performa model dalam memprediksi sentiment baik dari waktu maupun hasil prediksi.")
+
+st.markdown("<h3>⌛ Model Perfomance</h3>", unsafe_allow_html=True)
+st.caption("Perfomance model dihitung berdasarkan akurasi dan waktu yang dibutuhkan model untuk memprediksi 100 data")
+df_model = joblib.load("./assets/df_model.pkl")
+fig = fn.plot_model_summary(df_model)
+st.plotly_chart(fig,use_container_width=True,theme="streamlit")
+
+
+st.markdown("<h3>🚀 Model Evaluation</h3>", unsafe_allow_html=True)
+st.caption("Hasil evaluasi model berdasarkan data IndoNLU subset smsa pada validation split")
+
+df = pd.read_csv("./assets/valid.csv")
+option = st.selectbox('Pilih Model',["IndoBERT",'Naive Bayes','Logistic Regression','XGBoost','Catboost','SVM','Random Forest'],key = "model1")
+clfr_fig = fn.plot_clfr(df_model,option,df)
+conf_m_fig = fn.plot_confusion_matrix(df_model,option,df)
+clfr,conf_m = st.columns([1,1])
+with clfr:
+    st.plotly_chart(clfr_fig,use_container_width=True,theme="streamlit")
+with conf_m:
+    st.plotly_chart(conf_m_fig,use_container_width=True,theme="streamlit")
+st.caption("CLassification Report : Classification report merupakan metode evaluasi yang menyedakan data mengenai akurasi klasifikasi, recall, precision, dan F1 score.") 
+st.caption("Confusion Matrix : mengukur jumlah prediksi benar dan salah yang dibuat oleh model yang berguna  untuk menunjukkan kinerja dari model untuk setiap kelas") 

requirements.txt

@@ -1,3 +1,4 @@
+scikit-learn == 1.2.1
 pandas
 numpy
 matplotlib
@@ -7,3 +8,5 @@ transformers
 sentence-transformers
 bertopic
 snscrape == 0.5.0.20230113
+xgboost == 1.7.3
+catboost == 1.1.1

script/functions.py

@@ -4,6 +4,14 @@ import re
 import snscrape.modules.twitter as sntwitter
 from transformers import pipeline
 import plotly.express as px 
+import joblib
+from sklearn.metrics import classification_report,confusion_matrix 
+
+
+import nltk 
+nltk.download("punkt")
+nltk.download('stopwords')
+from nltk.tokenize import word_tokenize
 
 
 def get_tweets(username, length=10, option = None):
@@ -41,10 +49,19 @@ def get_tweets(username, length=10, option = None):
     return tweets_df
 
 
-def get_sentiment(df):
-    # Sentiment Analysis
-    classifier = pipeline("sentiment-analysis",model = "indobert")
-    df['sentiment'] = df['content'].apply(lambda x: classifier(x)[0]['label'])
+def get_sentiment(df,option_model):
+    id2label = {0: "negatif", 1: "netral", 2: "positif"}
+    if option_model == "IndoBERT (Accurate,Slow)":
+        classifier = pipeline("sentiment-analysis",model = "indobert")
+        df['sentiment'] = df['content'].apply(lambda x:  id2label[classifier(x)[0]['label']])
+    elif (option_model == "Logistic Regression (Less Accurate,Fast)"):
+        df_model = joblib.load('assets/df_model.pkl')
+        classifier = df_model[df_model.model_name == "Logistic Regression"].model.values[0]
+        df['sentiment'] = df['content'].apply(lambda x:  id2label[classifier.predict([x])[0]])
+    else :
+        df_model = joblib.load('assets/df_model.pkl')
+        classifier = df_model[df_model.model_name == option_model].model.values[0]
+        df['sentiment'] = df['content'].apply(lambda x:  id2label[classifier.predict([x])[0]])
     # change order sentiment to first column
     cols = df.columns.tolist()
     cols = cols[-1:] + cols[:-1]
@@ -60,7 +77,7 @@ def get_bar_chart(df):
     # hide legend
     fig.update_layout(showlegend=False)
     # set margin top 
-    fig.update_layout(margin=dict(t=0, b=100, l=0, r=0))
+    fig.update_layout(margin=dict(t=0, b=150, l=0, r=0))
     # set title in center
     # set annotation in bar
     fig.update_traces(textposition='outside')
@@ -70,3 +87,46 @@ def get_bar_chart(df):
     fig.update_yaxes(title_text='Jumlah Komentar')
 
     return fig
+
+def plot_model_summary(df_model):
+    df_scatter = df_model[df_model.set_data == "test"][["score","time","model_name"]]
+    # plot scatter
+    fig = px.scatter(df_scatter, x="time", y="score", color="model_name", hover_data=['model_name'])
+    # set xlabel to time (s)
+    fig.update_xaxes(title_text="time (s)")
+    # set ylabel to accuracy 
+    fig.update_yaxes(title_text="accuracy")
+
+    # set point size 
+    fig.update_traces(marker=dict(size=10))
+    fig.update_layout(autosize = False,margin=dict(t=0, l=0, r=0),height = 400)
+    return fig
+
+def plot_clfr(df_model,option_model,df):
+    df_clfr = pd.DataFrame(classification_report(df["label"],df[f"{option_model}_pred"],output_dict=True)) 
+    # heatmap using plotly 
+    df_clfr.columns = ["positif","netral","negatif","accuracy","macro_avg","weighted_avg"]
+    fig = px.imshow(df_clfr.T.iloc[:,:-1], x=df_clfr.T.iloc[:,:-1].columns, y=df_clfr.T.iloc[:,:-1].index)
+    # remove colorbar
+    fig.update_layout(coloraxis_showscale=False)
+    fig.update_layout(coloraxis_colorscale='gnbu')
+    # get annot
+    annot = df_clfr.T.iloc[:,:-1].values
+    # add annot and set font size 
+    fig.update_traces(text=annot, texttemplate='%{text:.2f}',textfont_size=12)
+    # set title to classification report 
+    fig.update_layout(title_text="📄 Classification Report")
+    return fig
+
+def plot_confusion_matrix(df_model,option_model,df):
+    # plot confusion matrix 
+    cm = confusion_matrix(df['label'],df[f"{option_model}_pred"])
+    fig = px.imshow(cm, x=['negatif','netral','positif'], y=['negatif','netral','positif'])
+    # remove colorbar
+    fig.update_layout(coloraxis_showscale=False)
+    fig.update_layout(coloraxis_colorscale='gnbu',title_text = "📊 Confusion Matrix")
+    # get annot
+    annot = cm
+    # add annot
+    fig.update_traces(text=annot, texttemplate='%{text:.0f}',textfont_size=15)
+    return fig

script/text_proc.py

@@ -36,11 +36,19 @@ def get_wordcloud(df,kelas_sentiment):
     tokens = tokenisasi(df[df.sentiment == kelas_sentiment])
     tokens = tokens.apply(lambda x: ' '.join(x))
     text = ' '.join(tokens)
-    wordcloud = WordCloud(width = 800, height = 800,
-                    background_color ='black',
-                    min_font_size = 10,
-                    colormap = cmap_dict[kelas_sentiment],
-                    mask = mask).generate(text)
+    # check if text empty or not 
+    try :
+        wordcloud = WordCloud(width = 800, height = 800,
+                        background_color ='black',
+                        min_font_size = 10,
+                        colormap = cmap_dict[kelas_sentiment],
+                        mask = mask).generate(text)
+    except: 
+        wordcloud = WordCloud(width = 800, height = 800,
+                        background_color ='black',
+                        min_font_size = 10,
+                        colormap = cmap_dict[kelas_sentiment],
+                        mask = mask).generate("None")
     return wordcloud
 
 def plot_text(df,kelas,embedding_model):