Huiyeong/setfit-callbot-text

SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a Sentence Transformer with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

• Model Type: SetFit
• Sentence Transformer body: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
• Classification head: a LogisticRegression instance
• Maximum Sequence Length: 128 tokens
• Number of Classes: 36 classes

Model Sources

• Repository: SetFit on GitHub
• Paper: Efficient Few-Shot Learning Without Prompts
• Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
[단말기]모바일 U+Shop	'새로운 폰 개통' '그러다 폰 개통' '아이폰 십육 프로 문의입니다'
[콜봇공통]장애처리	'통화품질' '핸드폰을 바꿨는데 데이터가 안 터져요' '데이터 속도 느림'
[콜봇상담]IPTV장애	'티비 고장' '티비가 안 나와요' '저 티비가 안 나와요'
[콜봇상담]결합상품문의	'핸드폰 결합' '가족 묶음이요' '결합 해제'
[콜봇상담]기기변경문의	'네 아이 핸드폰에 변경' '아 휴대폰 요금 요금 변경 이런 거 좀 할라고요' '기기변경 취소'
[콜봇상담]납부방법변경	'자동이체 변경' '자동이체 신청' '응 계좌 변경'
[콜봇상담]납부확인서 발급	'핸드폰 납부 요금 일월부터 시월까지 팩스로 보내주세요 작년도 거' '요금 납부 내역' '이십 삼년도 해놨네'
[콜봇상담]듀얼넘버 문의	'듀얼 넘버' '듀얼 넘버' '투넘버 서비스'
[콜봇상담]모바일 부가서비스 가입 및 해지	'부가서비스 해제' '부가서비스' '패스 해제'
[콜봇상담]선택약정할인상태 안내 및 등록기능	'선택 약정' '선택약정 신청' '선택약정할인'
[콜봇상담]세금계산서발행	'소득세 신고요' '종합 종합소득세 신고' '세금 납부 서류'
[콜봇상담]스팸차단 서비스 신청 및 해지	'스팸 차단 메시지를 확인할 수 있어요' '어 수신 수신 수신 차단 부 요 풀어주세요' '스팸 문자'
[콜봇상담]약정문의(공통)	'약정 연장' '약정기간' '그의 뭐 하 그 전에 그 기 약정기간이 지난 걸 몰르고 요금이 많이 나오는데 그거는 어 저 뭐 할인 안 되나요'
[콜봇상담]연체문의(공통)	'핸드폰 미납' '어 요금 미납' '미납요금'
[콜봇상담]요금납부	'분할 납부' '예 요금 낼려구요' '미납요금 분할 납부'
[콜봇상담]요금문의(공통)	'요금' '요 핸드폰 요금 관련해서 물어보는 겁니다' '공구 요금 알려줘'
[콜봇상담]요금제변경	'요금제 변경' '요금 변경' '요금제 변경'
[콜봇상담]유심 구매 및 이동 문의	'유심칩 교체' '유심' '이심 옮기지'
[콜봇상담]이전설치	'이사하려고 하는데 서비스 받고 싶어서요' '포인트 사용 이전요' '주소변경'
[콜봇상담]인터넷 해지	'인터넷 해제' '인터넷 해제' '와이파이 해제'
[콜봇상담]인터넷장애	'와이파이가 인터넷이 안돼 연결은 되는데' '인터넷이 잘 안돼요' '인터넷 고장'
[콜봇상담]일반상담(공통)	'변경' '티비' '예 서비스 이용이요'
[콜봇상담]일시정지 및 일시정지 해제(공통)	'일시정지' '지금 쓰고 있는 전화 번호 잠시 정지하고 싶어' '전화기를 잠시 정지시키려고 합니다'
[콜봇상담]일시정지 및 일시정지 해제(모)	'핸드폰 정지' '휴대폰 일시정지' '휴대폰 정지'
[콜봇상담]청구요금조회	'청구요금' '네 사월 달에 사월 이십 이일 날 날 청구요금과 국민은행으로 자동이체 된 거하고 확인할라고요' '청구요금'
[콜봇상담]통화연결음 가입 및 해지	'컬러링 없애죠' '브이 컬러링 해제' '말해 달라 컬러링'
[콜봇상담]통화중대기 가입 및 해지	'통화 중 대기 부가서비스' '예 통화 대기 중' '통화 중 대기'
[콜봇상담]해지(공통)	'계약 취소' '워치 해제' '어 뭐지'
[콜봇상담]홈서비스 가입	'티비가입' '티비 설치 문의' '인터넷 설치'
[콜봇상담]환불_이중납부	'이중납부' '요금 납부가 이중으로' '이중 교체'
[콜봇상담]휴대폰 분실문의	'핸드폰 분실' '분실 신고' '분실신고'
[콜봇상담]휴대폰결제 한도변경	'소액결제 한도' '소액 한도 확인' '휴대폰 결제 한도 상향'
[콜봇상담]휴대폰결제(공통)	'소액결제' '핸드폰 소액결제' '핸드폰 결제 핸드폰 결제'
[콜봇상담]휴대폰보험문의및보상신청	'파손 보험' '의료보험공단이요' '휴대폰 보험 확인'
[콜봇이벤트]로밍상담 재질의	'해외 로밍 부탁드려요' '해외 로밍' '로밍'
[프리미어요금제약정할인]프리미어 요금제 약정할인	'프리미엄 요금 약정 신청' '프리미엄 요금제 약정 할인 재가입' '프리미엄 요금제 할인 재신청 해줘'

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("huiyeong/setfit-callbot-text")
# Run inference
preds = model("분실")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	1	3.1483	27

Label	Training Sample Count
[단말기]모바일 U+Shop	50
[콜봇공통]장애처리	50
[콜봇상담]IPTV장애	50
[콜봇상담]결합상품문의	50
[콜봇상담]기기변경문의	50
[콜봇상담]납부방법변경	50
[콜봇상담]납부확인서 발급	50
[콜봇상담]듀얼넘버 문의	50
[콜봇상담]모바일 부가서비스 가입 및 해지	50
[콜봇상담]선택약정할인상태 안내 및 등록기능	50
[콜봇상담]세금계산서발행	50
[콜봇상담]스팸차단 서비스 신청 및 해지	50
[콜봇상담]약정문의(공통)	50
[콜봇상담]연체문의(공통)	50
[콜봇상담]요금납부	50
[콜봇상담]요금문의(공통)	50
[콜봇상담]요금제변경	50
[콜봇상담]유심 구매 및 이동 문의	50
[콜봇상담]이전설치	50
[콜봇상담]인터넷 해지	50
[콜봇상담]인터넷장애	50
[콜봇상담]일반상담(공통)	50
[콜봇상담]일시정지 및 일시정지 해제(공통)	50
[콜봇상담]일시정지 및 일시정지 해제(모)	50
[콜봇상담]청구요금조회	50
[콜봇상담]통화연결음 가입 및 해지	50
[콜봇상담]통화중대기 가입 및 해지	50
[콜봇상담]해지(공통)	50
[콜봇상담]홈서비스 가입	50
[콜봇상담]환불_이중납부	50
[콜봇상담]휴대폰 분실문의	50
[콜봇상담]휴대폰결제 한도변경	50
[콜봇상담]휴대폰결제(공통)	50
[콜봇상담]휴대폰보험문의및보상신청	50
[콜봇이벤트]로밍상담 재질의	50
[프리미어요금제약정할인]프리미어 요금제 약정할인	50

Training Hyperparameters

• batch_size: (16, 16)
• num_epochs: (5, 5)
• max_steps: -1
• sampling_strategy: oversampling
• num_iterations: 5
• body_learning_rate: (2e-05, 1e-05)
• head_learning_rate: 0.01
• loss: CosineSimilarityLoss
• distance_metric: cosine_distance
• margin: 0.25
• end_to_end: False
• use_amp: False
• warmup_proportion: 0.1
• l2_weight: 0.01
• seed: 42
• eval_max_steps: -1
• load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0009	1	0.1825	-
0.0444	50	0.2286	-
0.0889	100	0.1987	-
0.1333	150	0.1976	-
0.1778	200	0.1674	-
0.2222	250	0.1477	-
0.2667	300	0.1317	-
0.3111	350	0.1235	-
0.3556	400	0.0987	-
0.4	450	0.0872	-
0.4444	500	0.09	-
0.4889	550	0.0701	-
0.5333	600	0.0751	-
0.5778	650	0.0674	-
0.6222	700	0.062	-
0.6667	750	0.0556	-
0.7111	800	0.0473	-
0.7556	850	0.0574	-
0.8	900	0.0504	-
0.8444	950	0.0477	-
0.8889	1000	0.0398	-
0.9333	1050	0.0414	-
0.9778	1100	0.0385	-
1.0222	1150	0.0368	-
1.0667	1200	0.0417	-
1.1111	1250	0.0329	-
1.1556	1300	0.0284	-
1.2	1350	0.0232	-
1.2444	1400	0.0291	-
1.2889	1450	0.0229	-
1.3333	1500	0.0319	-
1.3778	1550	0.024	-
1.4222	1600	0.0204	-
1.4667	1650	0.02	-
1.5111	1700	0.0179	-
1.5556	1750	0.0189	-
1.6	1800	0.0202	-
1.6444	1850	0.0149	-
1.6889	1900	0.0173	-
1.7333	1950	0.0168	-
1.7778	2000	0.0187	-
1.8222	2050	0.0144	-
1.8667	2100	0.0172	-
1.9111	2150	0.0147	-
1.9556	2200	0.0154	-
2.0	2250	0.0167	-
2.0444	2300	0.0131	-
2.0889	2350	0.0125	-
2.1333	2400	0.0081	-
2.1778	2450	0.01	-
2.2222	2500	0.0116	-
2.2667	2550	0.0119	-
2.3111	2600	0.0105	-
2.3556	2650	0.0115	-
2.4	2700	0.0125	-
2.4444	2750	0.0117	-
2.4889	2800	0.0068	-
2.5333	2850	0.0119	-
2.5778	2900	0.0088	-
2.6222	2950	0.013	-
2.6667	3000	0.0114	-
2.7111	3050	0.0094	-
2.7556	3100	0.0082	-
2.8	3150	0.0122	-
2.8444	3200	0.0089	-
2.8889	3250	0.0058	-
2.9333	3300	0.0083	-
2.9778	3350	0.0059	-
3.0222	3400	0.0059	-
3.0667	3450	0.0086	-
3.1111	3500	0.0059	-
3.1556	3550	0.0067	-
3.2	3600	0.0062	-
3.2444	3650	0.0109	-
3.2889	3700	0.0067	-
3.3333	3750	0.0064	-
3.3778	3800	0.0067	-
3.4222	3850	0.0083	-
3.4667	3900	0.0051	-
3.5111	3950	0.0075	-
3.5556	4000	0.0038	-
3.6	4050	0.0056	-
3.6444	4100	0.0047	-
3.6889	4150	0.0049	-
3.7333	4200	0.0038	-
3.7778	4250	0.0081	-
3.8222	4300	0.004	-
3.8667	4350	0.0071	-
3.9111	4400	0.0083	-
3.9556	4450	0.0035	-
4.0	4500	0.0067	-
4.0444	4550	0.0073	-
4.0889	4600	0.0055	-
4.1333	4650	0.0062	-
4.1778	4700	0.0041	-
4.2222	4750	0.0065	-
4.2667	4800	0.0044	-
4.3111	4850	0.0053	-
4.3556	4900	0.0049	-
4.4	4950	0.0055	-
4.4444	5000	0.0043	-
4.4889	5050	0.0059	-
4.5333	5100	0.0045	-
4.5778	5150	0.0033	-
4.6222	5200	0.0048	-
4.6667	5250	0.0045	-
4.7111	5300	0.0046	-
4.7556	5350	0.0065	-
4.8	5400	0.005	-
4.8444	5450	0.004	-
4.8889	5500	0.0039	-
4.9333	5550	0.0045	-
4.9778	5600	0.0051	-

Framework Versions

• Python: 3.11.13
• SetFit: 1.1.2
• Sentence Transformers: 4.1.0
• Transformers: 4.52.4
• PyTorch: 2.6.0+cu124
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}