Huiyeong/setfit-callbot-keyword-neg

SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a Sentence Transformer with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

• Model Type: SetFit
• Sentence Transformer body: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
• Classification head: a LogisticRegression instance
• Maximum Sequence Length: 128 tokens
• Number of Classes: 36 classes

Model Sources

• Repository: SetFit on GitHub
• Paper: Efficient Few-Shot Learning Without Prompts
• Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
[단말기]모바일 U+Shop	'새로운 폰 개통' '그러다 폰 개통' '아이폰 십육 프로 문의입니다'
[콜봇공통]장애처리	'통화품질' '핸드폰을 바꿨는데 데이터가 안 터져요' '데이터 속도 느림'
[콜봇상담]IPTV장애	'티비 고장' '티비가 안 나와요' '저 티비가 안 나와요'
[콜봇상담]결합상품문의	'핸드폰 결합' '가족 묶음이요' '결합 해제'
[콜봇상담]기기변경문의	'네 아이 핸드폰에 변경' '아 휴대폰 요금 요금 변경 이런 거 좀 할라고요' '기기변경 취소'
[콜봇상담]납부방법변경	'자동이체 변경' '자동이체 신청' '응 계좌 변경'
[콜봇상담]납부확인서 발급	'핸드폰 납부 요금 일월부터 시월까지 팩스로 보내주세요 작년도 거' '요금 납부 내역' '이십 삼년도 해놨네'
[콜봇상담]듀얼넘버 문의	'듀얼 넘버' '듀얼 넘버' '투넘버 서비스'
[콜봇상담]모바일 부가서비스 가입 및 해지	'부가서비스 해제' '부가서비스' '패스 해제'
[콜봇상담]선택약정할인상태 안내 및 등록기능	'선택 약정' '선택약정 신청' '선택약정할인'
[콜봇상담]세금계산서발행	'소득세 신고요' '종합 종합소득세 신고' '세금 납부 서류'
[콜봇상담]스팸차단 서비스 신청 및 해지	'스팸 차단 메시지를 확인할 수 있어요' '어 수신 수신 수신 차단 부 요 풀어주세요' '스팸 문자'
[콜봇상담]약정문의(공통)	'약정 연장' '약정기간' '그의 뭐 하 그 전에 그 기 약정기간이 지난 걸 몰르고 요금이 많이 나오는데 그거는 어 저 뭐 할인 안 되나요'
[콜봇상담]연체문의(공통)	'핸드폰 미납' '어 요금 미납' '미납요금'
[콜봇상담]요금납부	'분할 납부' '예 요금 낼려구요' '미납요금 분할 납부'
[콜봇상담]요금문의(공통)	'요금' '요 핸드폰 요금 관련해서 물어보는 겁니다' '공구 요금 알려줘'
[콜봇상담]요금제변경	'요금제 변경' '요금 변경' '요금제 변경'
[콜봇상담]유심 구매 및 이동 문의	'유심칩 교체' '유심' '이심 옮기지'
[콜봇상담]이전설치	'이사하려고 하는데 서비스 받고 싶어서요' '포인트 사용 이전요' '주소변경'
[콜봇상담]인터넷 해지	'인터넷 해제' '인터넷 해제' '와이파이 해제'
[콜봇상담]인터넷장애	'와이파이가 인터넷이 안돼 연결은 되는데' '인터넷이 잘 안돼요' '인터넷 고장'
[콜봇상담]일반상담(공통)	'변경' '티비' '예 서비스 이용이요'
[콜봇상담]일시정지 및 일시정지 해제(공통)	'일시정지' '지금 쓰고 있는 전화 번호 잠시 정지하고 싶어' '전화기를 잠시 정지시키려고 합니다'
[콜봇상담]일시정지 및 일시정지 해제(모)	'핸드폰 정지' '휴대폰 일시정지' '휴대폰 정지'
[콜봇상담]청구요금조회	'청구요금' '네 사월 달에 사월 이십 이일 날 날 청구요금과 국민은행으로 자동이체 된 거하고 확인할라고요' '청구요금'
[콜봇상담]통화연결음 가입 및 해지	'컬러링 없애죠' '브이 컬러링 해제' '말해 달라 컬러링'
[콜봇상담]통화중대기 가입 및 해지	'통화 중 대기 부가서비스' '예 통화 대기 중' '통화 중 대기'
[콜봇상담]해지(공통)	'계약 취소' '워치 해제' '어 뭐지'
[콜봇상담]홈서비스 가입	'티비가입' '티비 설치 문의' '인터넷 설치'
[콜봇상담]환불_이중납부	'이중납부' '요금 납부가 이중으로' '이중 교체'
[콜봇상담]휴대폰 분실문의	'핸드폰 분실' '분실 신고' '분실신고'
[콜봇상담]휴대폰결제 한도변경	'소액결제 한도' '소액 한도 확인' '휴대폰 결제 한도 상향'
[콜봇상담]휴대폰결제(공통)	'소액결제' '핸드폰 소액결제' '핸드폰 결제 핸드폰 결제'
[콜봇상담]휴대폰보험문의및보상신청	'파손 보험' '의료보험공단이요' '휴대폰 보험 확인'
[콜봇이벤트]로밍상담 재질의	'해외 로밍 부탁드려요' '해외 로밍' '로밍'
[프리미어요금제약정할인]프리미어 요금제 약정할인	'프리미엄 요금 약정 신청' '프리미엄 요금제 약정 할인 재가입' '프리미엄 요금제 할인 재신청 해줘'

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("huiyeong/setfit-callbot-keyword-neg")
# Run inference
preds = model("분실")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	1	3.1023	27

Label	Training Sample Count
[단말기]모바일 U+Shop	59
[콜봇공통]장애처리	58
[콜봇상담]IPTV장애	66
[콜봇상담]결합상품문의	60
[콜봇상담]기기변경문의	61
[콜봇상담]납부방법변경	58
[콜봇상담]납부확인서 발급	62
[콜봇상담]듀얼넘버 문의	57
[콜봇상담]모바일 부가서비스 가입 및 해지	62
[콜봇상담]선택약정할인상태 안내 및 등록기능	63
[콜봇상담]세금계산서발행	63
[콜봇상담]스팸차단 서비스 신청 및 해지	56
[콜봇상담]약정문의(공통)	59
[콜봇상담]연체문의(공통)	57
[콜봇상담]요금납부	58
[콜봇상담]요금문의(공통)	60
[콜봇상담]요금제변경	57
[콜봇상담]유심 구매 및 이동 문의	59
[콜봇상담]이전설치	61
[콜봇상담]인터넷 해지	58
[콜봇상담]인터넷장애	57
[콜봇상담]일반상담(공통)	59
[콜봇상담]일시정지 및 일시정지 해제(공통)	63
[콜봇상담]일시정지 및 일시정지 해제(모)	57
[콜봇상담]청구요금조회	61
[콜봇상담]통화연결음 가입 및 해지	55
[콜봇상담]통화중대기 가입 및 해지	64
[콜봇상담]해지(공통)	61
[콜봇상담]홈서비스 가입	59
[콜봇상담]환불_이중납부	61
[콜봇상담]휴대폰 분실문의	64
[콜봇상담]휴대폰결제 한도변경	63
[콜봇상담]휴대폰결제(공통)	56
[콜봇상담]휴대폰보험문의및보상신청	60
[콜봇이벤트]로밍상담 재질의	60
[프리미어요금제약정할인]프리미어 요금제 약정할인	66

Training Hyperparameters

• batch_size: (16, 16)
• num_epochs: (5, 5)
• max_steps: -1
• sampling_strategy: oversampling
• num_iterations: 5
• body_learning_rate: (2e-05, 1e-05)
• head_learning_rate: 0.01
• loss: CosineSimilarityLoss
• distance_metric: cosine_distance
• margin: 0.25
• end_to_end: False
• use_amp: False
• warmup_proportion: 0.1
• l2_weight: 0.01
• seed: 42
• eval_max_steps: -1
• load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0007	1	0.2327	-
0.0370	50	0.2495	-
0.0741	100	0.2222	-
0.1111	150	0.2231	-
0.1481	200	0.1941	-
0.1852	250	0.1796	-
0.2222	300	0.1705	-
0.2593	350	0.1623	-
0.2963	400	0.1512	-
0.3333	450	0.1317	-
0.3704	500	0.1156	-
0.4074	550	0.1071	-
0.4444	600	0.1148	-
0.4815	650	0.1024	-
0.5185	700	0.1044	-
0.5556	750	0.1047	-
0.5926	800	0.0879	-
0.6296	850	0.0781	-
0.6667	900	0.078	-
0.7037	950	0.0824	-
0.7407	1000	0.0635	-
0.7778	1050	0.073	-
0.8148	1100	0.078	-
0.8519	1150	0.0676	-
0.8889	1200	0.0677	-
0.9259	1250	0.0714	-
0.9630	1300	0.0548	-
1.0	1350	0.0531	-
1.0370	1400	0.0499	-
1.0741	1450	0.0467	-
1.1111	1500	0.0532	-
1.1481	1550	0.0477	-
1.1852	1600	0.0456	-
1.2222	1650	0.0399	-
1.2593	1700	0.0438	-
1.2963	1750	0.0472	-
1.3333	1800	0.0432	-
1.3704	1850	0.0419	-
1.4074	1900	0.0475	-
1.4444	1950	0.0401	-
1.4815	2000	0.0402	-
1.5185	2050	0.0341	-
1.5556	2100	0.035	-
1.5926	2150	0.033	-
1.6296	2200	0.0368	-
1.6667	2250	0.0266	-
1.7037	2300	0.0325	-
1.7407	2350	0.0307	-
1.7778	2400	0.0321	-
1.8148	2450	0.0309	-
1.8519	2500	0.0273	-
1.8889	2550	0.0277	-
1.9259	2600	0.0312	-
1.9630	2650	0.0282	-
2.0	2700	0.0294	-
2.0370	2750	0.027	-
2.0741	2800	0.0268	-
2.1111	2850	0.0243	-
2.1481	2900	0.0227	-
2.1852	2950	0.0226	-
2.2222	3000	0.0257	-
2.2593	3050	0.0261	-
2.2963	3100	0.0192	-
2.3333	3150	0.0232	-
2.3704	3200	0.0263	-
2.4074	3250	0.0252	-
2.4444	3300	0.024	-
2.4815	3350	0.0236	-
2.5185	3400	0.0193	-
2.5556	3450	0.0226	-
2.5926	3500	0.024	-
2.6296	3550	0.0198	-
2.6667	3600	0.0278	-
2.7037	3650	0.0223	-
2.7407	3700	0.0256	-
2.7778	3750	0.0223	-
2.8148	3800	0.0217	-
2.8519	3850	0.0165	-
2.8889	3900	0.0223	-
2.9259	3950	0.0241	-
2.9630	4000	0.0182	-
3.0	4050	0.0213	-
3.0370	4100	0.0196	-
3.0741	4150	0.0218	-
3.1111	4200	0.0142	-
3.1481	4250	0.0185	-
3.1852	4300	0.0203	-
3.2222	4350	0.0173	-
3.2593	4400	0.018	-
3.2963	4450	0.0161	-
3.3333	4500	0.0143	-
3.3704	4550	0.0151	-
3.4074	4600	0.0115	-
3.4444	4650	0.0152	-
3.4815	4700	0.0166	-
3.5185	4750	0.0215	-
3.5556	4800	0.0138	-
3.5926	4850	0.017	-
3.6296	4900	0.0192	-
3.6667	4950	0.0206	-
3.7037	5000	0.0172	-
3.7407	5050	0.0169	-
3.7778	5100	0.0226	-
3.8148	5150	0.017	-
3.8519	5200	0.0176	-
3.8889	5250	0.0183	-
3.9259	5300	0.0155	-
3.9630	5350	0.0156	-
4.0	5400	0.0174	-
4.0370	5450	0.0121	-
4.0741	5500	0.0132	-
4.1111	5550	0.0159	-
4.1481	5600	0.0144	-
4.1852	5650	0.0179	-
4.2222	5700	0.0175	-
4.2593	5750	0.0118	-
4.2963	5800	0.0136	-
4.3333	5850	0.0151	-
4.3704	5900	0.0171	-
4.4074	5950	0.0185	-
4.4444	6000	0.017	-
4.4815	6050	0.0166	-
4.5185	6100	0.0195	-
4.5556	6150	0.0127	-
4.5926	6200	0.0096	-
4.6296	6250	0.0127	-
4.6667	6300	0.0202	-
4.7037	6350	0.0148	-
4.7407	6400	0.0163	-
4.7778	6450	0.0155	-
4.8148	6500	0.0126	-
4.8519	6550	0.0155	-
4.8889	6600	0.0162	-
4.9259	6650	0.0157	-
4.9630	6700	0.0165	-
5.0	6750	0.0122	-

Framework Versions

• Python: 3.11.13
• SetFit: 1.1.2
• Sentence Transformers: 4.1.0
• Transformers: 4.52.4
• PyTorch: 2.6.0+cu124
• Datasets: 3.6.0
• Tokenizers: 0.21.2

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}