Hugging Face's logo

Huiyeong
/
setfit-callbot-synthetic-neg

Text Classification
setfit
Safetensors
sentence-transformers
bert
generated_from_setfit_trainer
Model card Files Community

SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

  1. Fine-tuning a Sentence Transformer with contrastive learning.
  2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Sources

Model Labels

Label Examples
[단말기]모바일 U+Shop
  • '인터넷 가입하려고 하는데 최신 기종으로 바로 받고 싶어요'
  • '이번에 새로 나온 스마트폰으로 바꾸려고 하는데 절차가 어떻게 되나요?'
  • '요즘 나온 휴대폰 중에 사진도 잘 나오고 성능 좋은 게 뭐가 있을까요?'
[콜봇공통]장애처리
  • '전화할 때 자꾸 끊기고 목소리가 잘 안 들려서 답답해요'
  • '새로 산 폰인데 인터넷 연결이 전혀 안 돼서 당황스러워요'
  • '인터넷이 갑자기 너무 느려져서 영상도 제대로 못 보고 있어요'
[콜봇상담]IPTV장애
  • '어제부터 채널이 계속 안 나오고 화면이 멈춰서 어떻게 해야 할지 모르겠어요'
  • '어제부터 채널을 바꿔도 화면이 계속 멈춰서 볼 수가 없어요'
  • '어제부터 티비 화면이 깜빡거리면서 제대로 안 보여서 답답해요'
[콜봇상담]결합상품문의
  • '가족들 휴대폰 요금이 너무 따로따로 나와서 묶는 게 가능한지 궁금해요'
  • '가족끼리 쓰는 거랑 따로 쓰는 거랑 차이가 있나요?'
  • '같이 묶어서 쓰던 서비스 중 하나를 따로 써야 할 것 같은데 어떻게 해야 할까요'
[콜봇상담]기기변경문의
  • '아이가 새로 산 핸드폰으로 번호 옮길 때 어떻게 해야 할까요?'
  • '폰 바꾸려고 하는데 절차가 어떻게 되는지 알려줄 수 있어요?'
  • '며칠 전에 새로 바꾼 폰이 마음에 안 들어서 원래 쓰던 걸로 다시 쓸 수 있을까요?'
[콜봇상담]납부방법변경
  • '이번 달부터는 통장으로 자동으로 빠져나가지 않게 설정하고 싶은데 어떻게 해야 하나요?'
  • '매달 걱정 없이 요금이 자동으로 빠져나가게 할 수는 없나요?'
  • '이번 달부터 출금 계좌를 다른 곳으로 바꾸고 싶은데 어떻게 하면 되나요?'
[콜봇상담]납부확인서 발급
  • '작년에 쓴 핸드폰 요금 내역서가 필요해서 받을 수 있을까요?'
  • '이번 달에 인터넷이나 전화 비용이 제대로 빠져나갔는지 확인하고 싶어요'
  • '작년에 낸 납부 내역서 다시 받을 수 있을까요?'
[콜봇상담]듀얼넘버 문의
  • '전화 두 개 번호를 한 번에 관리할 수 있는 방법 있나요?'
  • '핸드폰 번호 하나 더 쓰고 싶은데 어떻게 해야 할까요?'
  • '요즘 번호 두 개 동시에 쓰는 게 가능하다고 들었는데 어떻게 하는 건지 궁금해요.'
[콜봇상담]모바일 부가서비스 가입 및 해지
  • '지난달에 신청했던 서비스가 자동으로 계속 결제되는 것 같은데 어떻게 하면 멈출 수 있을까요?'
  • '핸드폰으로 평소와 다르게 편리한 기능을 더 쓰고 싶어서요'
  • '이용할 수 없던 기능이 갑자기 다시 작동하게 됐는데 어떻게 된 건지 궁금해요'
[콜봇상담]선택약정할인상태 안내 및 등록기능
  • '이번 달 통신비가 갑자기 많이 나와서 혹시 할인받을 수 있는 방법이 있는지 궁금합니다'
  • '통신비 할인을 받을 수 있는 조건이 뭔지 좀 알려줄 수 있어요?'
  • '몇 달째 할인 혜택이 제대로 적용되고 있는지 확인을 못하고 있어서요'
[콜봇상담]세금계산서발행
  • '연말에 정산하려고 보니 영수증 같은 게 필요하던데, 어떻게 챙겨야 하나요?'
  • '작년에 벌어들인 소득 정리하느라 정신이 없어요, 세금 증빙 서류도 어떻게 챙겨야 할지 막막하고요'
  • '지난 달에 카드 결제 내역 중에 이상하게 추가된 게 있어서 확인하고 싶어요'
[콜봇상담]스팸차단 서비스 신청 및 해지
  • '요즘 자꾸 이상한 전화가 와서 좀 골치예요'
  • '잘 모르는 번호에서 계속 전화가 와서 못 받겠어요, 좀 방법 없을까요?'
  • '요즘 알 수 없는 번호로 자꾸 이상한 문자들이 와서 좀 귀찮네요'
[콜봇상담]약정문의(공통)
  • '사용하고 있는 서비스 기간이 언제까지인지 좀 확인하고 싶어요'
  • '계약이 끝나면 자동으로 요금이 바뀌는 건가요?'
  • '그동안 계속 쓰던 할인 혜택이 갑자기 안 되는 것 같은데, 이게 계약 기간과 관련된 문제일까요?'
[콜봇상담]연체문의(공통)
  • '이번 달 휴대폰 요금 고지서에 이상한 부분이 있는 것 같은데 확인 좀 부탁드려요'
  • '아까 청구서 보고 깜짝 놀랐는데, 왜 이렇게 이전 달 요금이 아직 정산이 안 된 건가요?'
  • '이번 달 통신비가 왜 이렇게 많이 나왔는지 확인해보고 싶어요'
[콜봇상담]요금납부
  • '이번 달 요금 부담이 좀 커서 한 번에 전부 내기 힘들 것 같은데, 나눠서 결제할 수는 없나요?'
  • '이번 달 통신비가 어떻게 나왔는지 좀 확인하고 싶어요'
  • '이번 달 요금이 갑자기 많이 나와서 나눠서 낼 수 있는 방법이 있을까요?'
[콜봇상담]요금문의(공통)
  • '이번 달 통신비가 갑자기 많이 나온 것 같은데 이유를 알 수 있을까요?'
  • '이번 달 핸드폰 요금이 평소보다 많이 나와서 좀 확인하고 싶어요'
  • '이번 달 통신비가 평소보다 너무 많이 나온 것 같은데 무슨 이유인지 확인할 수 있을까요?'
[콜봇상담]요금제변경
  • '이번 달 청구서가 갑자기 달라져서 어떻게 된 건지 확인하고 싶어요'
  • '이번 달 청구서가 갑자기 많이 나왔는데 뭐가 달라진 건지 잘 모르겠어요'
  • '이번 달에는 조금 더 저렴하게 바꿀 수 있는 방법이 있을까요?'
[콜봇상담]유심 구매 및 이동 문의
  • '핸드폰 번호를 바꾸지 않고 새 기기로 바꾸려면 어떻게 해야 하나요?'
  • '새 핸드폰 사려고 하는데 기존 번호 그대로 쓰고 싶은데 어떻게 해야 하나요?'
  • '다른 곳에서 쓰던 번호를 여기 핸드폰에 그대로 옮기고 싶은데 어떻게 해야 하나요?'
[콜봇상담]이전설치
  • '새 집에서 기존에 쓰던 인터넷 그대로 쓸 수 있을까요?'
  • '예전에 설치하신 서비스 관련해서 궁금한 게 있는데요'
  • '이사 가는데 인터넷이나 전화 연결은 어떻게 해야 하는지 알려줄 수 있나요?'
[콜봇상담]인터넷 해지
  • '인터넷이 갑자기 연결이 안 돼서 아예 서비스를 멈추고 싶은데 어떻게 해야 하나요'
  • '인터넷 계속 쓰지 않을 건데 서비스는 어떻게 정리해야 하나요?'
  • '이번 달부터 인터넷이 갑자기 안 돼서 해결 방법 좀 알려주세요'
[콜봇상담]인터넷장애
  • '집 안에 있는 기기들이 인터넷만 자꾸 끊겨서 답답해요'
  • '어제부터 집에서 인터넷 연결이 계속 끊겨서 영상도 못 보고 있어요'
  • '갑자기 집에서 인터넷 연결이 자주 끊겨서 일을 못 하겠어요'
[콜봇상담]일반상담(공통)
  • '계약 관련해서 뭔가 바꾸고 싶은데 어떻게 해야 할지 잘 모르겠어요'
  • '집에서 TV를 켰는데 화면이 계속 멈추고 이상해요'
  • '인터넷 뭔가 이상해서 이용하는 데 불편함이 있는데 도움 받을 수 있을까요?'
[콜봇상담]일시정지 및 일시정지 해제(공통)
  • '잠깐 동안 서비스가 멈추는 것처럼 느껴져서 좀 불편한데, 어떻게 해결할 수 있을까요?'
  • '오랫동안 휴대폰을 안 쓰려고 하는데 어떻게 해야 할지 모르겠어요'
  • '조금 동안 휴대폰 사용을 멈추고 싶은데 어떻게 해야 할까요?'
[콜봇상담]일시정지 및 일시정지 해제(모)
  • '며칠 동안 전화가 안 되길래 확인해보니 사용이 잠깐 멈춰진 것 같아요'
  • '한동안 휴대폰을 사용하지 못하게 설정하고 싶어서요'
  • '오늘부터 잠깐 휴대폰 사용을 멈추고 싶어서 방법이 궁금해요'
[콜봇상담]청구요금조회
  • '이번 달에 사용한 통신비가 평소보다 많이 나와서 확인해보고 싶어요'
  • '4월 중에 쓴 통신비가 제대로 결제됐는지 은행 내역이랑 비교해보고 싶어요'
  • '이번 달에 사용한 통신비가 예상보다 많이 나와서 확인하고 싶어요'
[콜봇상담]통화연결음 가입 및 해지
  • '전화 받을 때마다 예전 멜로디 대신 아무 소리도 안 나서 좀 심심해요'
  • '전화 걸었을 때 항상 다른 노래가 나와서 좀 불편한데 바꿀 수 있나요?'
  • '전화 받을 때 들리는 음악 같은 거 변경하고 싶은데 어떻게 해야 하나요?'
[콜봇상담]통화중대기 가입 및 해지
  • '통화하다가 다른 전화가 걸려오면 바로 못 받아서 답답해요'
  • '전화 걸었는데 자꾸 통화 연결이 안 되고 기다리기만 해서 답답해요'
  • '전화 걸었는데 상대방이 계속 바쁘다고 나오더라고요, 그런 경우에 따로 기다렸다가 연결되는 시스템 같은 게 있나요?'
[콜봇상담]해지(공통)
  • '가입한 서비스가 내 상황과 안 맞는 것 같아서 정리 좀 하고 싶어요'
  • '손목에 차는 기기가 갑자기 작동을 멈춰서 이제 어떻게 해야 할지 모르겠어요'
  • '아니, 가입한 서비스 언제 끝나는지 좀 알려줄 수 있어?'
[콜봇상담]홈서비스 가입
  • '집에서 볼 수 있는 채널이 많아지면 좋겠는데 어떻게 해야 할까요?'
  • '새로 이사하면서 거실에 화면 붙이는 작업 어떻게 진행하는지 알고 싶어요'
  • '새로 이사 가서 집에 인터넷이 빨리 연결됐으면 좋겠는데 어디에 신청해야 하는지 잘 모르겠어요'
[콜봇상담]환불_이중납부
  • '지난달에 두 번씩 요금이 빠져서 확인해 달라고 하고 싶어요'
  • '지난달 요금에 두 번 결제된 것 같은데 확인 좀 부탁드릴게요'
  • '지난 달에 결제된 요금이 두 번 청구된 것 같은데 확인 좀 부탁드려도 될까요?'
[콜봇상담]휴대폰 분실문의
  • '어제 가방에서 핸드폰이 안 보여서 진짜 당황스러웠어요, 어떻게 해야 할까요?'
  • '어제 길에서 핸드폰을 잃어버린 것 같은데 어떻게 해야 할까요?'
  • '핸드폰을 어디에 뒀는지 기억이 안 나서 너무 난감해요'
[콜봇상담]휴대폰결제 한도변경
  • '이번 달에 모바일로 결제한 금액이 생각보다 많이 나와서 걱정되네요'
  • '휴대폰으로 결제하려는데 갑자기 한도가 부족하다는 메시지가 떠서요'
  • '요즘 휴대폰으로 결제할 때 용량이 부족하다고 나와서 어떻게 해야 할지 모르겠어요'
[콜봇상담]휴대폰결제(공통)
  • '이번 달 핸드폰 요금이 갑자기 많이 나온 것 같은데 이유를 잘 모르겠어요'
  • '어제 앱에서 작은 금액이 빠져나간 것 같은데 무슨 일인지 알 수 있을까요?'
  • '앱에서 결제하려고 하는데 자꾸 실패해서 답답해요'
[콜봇상담]휴대폰보험문의및보상신청
  • '어제 핸드폰이 떨어져서 화면이 금 가버렸는데, 이런 경우 어떻게 해야 하나요?'
  • '휴대폰이 고장 나서 보험 처리할 수 있는지 확인하려고요'
  • '핸드폰을 떨어뜨려서 고장 났는데 수리비 때문에 걱정돼요'
[콜봇이벤트]로밍상담 재질의
  • '다음 달에 해외에 가는데 현지에서 전화나 인터넷을 쓸 수 있는 방법이 궁금해요'
  • '이번에 해외 출장을 가게 됐는데 현지에서 인터넷 사용할 때 비용이 얼마나 나올지 걱정돼서요'
  • '해외 나갔을 때 휴대폰을 어떻게 써야 추가 요금 걱정 없이 편할까요?'
[프리미어요금제약정할인]프리미어 요금제 약정할인
  • '최근에 가입한 서비스가 오래 쓰면 혜택이 더 커진다는 얘기를 들었는데, 어떻게 적용되는지 궁금해요'
  • '전에 쓰던 혜택이 다시 적용되는지 궁금해서요'
  • '전에 요금 할인 받았던 거랑 같은 조건으로 다시 적용할 수 있을까요?'

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("huiyeong/setfit-callbot-synthetic-neg")
# Run inference
preds = model("문자 확인하려고 몇 번을 기다려도 아무것도 안 오네요")

Training Details

Training Set Metrics

Training set Min Median Max
Word count 5 10.2889 19
Label Training Sample Count
[단말기]모바일 U+Shop 59
[콜봇공통]장애처리 58
[콜봇상담]IPTV장애 66
[콜봇상담]결합상품문의 60
[콜봇상담]기기변경문의 61
[콜봇상담]납부방법변경 58
[콜봇상담]납부확인서 발급 62
[콜봇상담]듀얼넘버 문의 57
[콜봇상담]모바일 부가서비스 가입 및 해지 62
[콜봇상담]선택약정할인상태 안내 및 등록기능 63
[콜봇상담]세금계산서발행 63
[콜봇상담]스팸차단 서비스 신청 및 해지 56
[콜봇상담]약정문의(공통) 59
[콜봇상담]연체문의(공통) 57
[콜봇상담]요금납부 58
[콜봇상담]요금문의(공통) 60
[콜봇상담]요금제변경 57
[콜봇상담]유심 구매 및 이동 문의 59
[콜봇상담]이전설치 61
[콜봇상담]인터넷 해지 58
[콜봇상담]인터넷장애 57
[콜봇상담]일반상담(공통) 59
[콜봇상담]일시정지 및 일시정지 해제(공통) 63
[콜봇상담]일시정지 및 일시정지 해제(모) 57
[콜봇상담]청구요금조회 61
[콜봇상담]통화연결음 가입 및 해지 55
[콜봇상담]통화중대기 가입 및 해지 64
[콜봇상담]해지(공통) 61
[콜봇상담]홈서비스 가입 59
[콜봇상담]환불_이중납부 61
[콜봇상담]휴대폰 분실문의 64
[콜봇상담]휴대폰결제 한도변경 63
[콜봇상담]휴대폰결제(공통) 56
[콜봇상담]휴대폰보험문의및보상신청 60
[콜봇이벤트]로밍상담 재질의 60
[프리미어요금제약정할인]프리미어 요금제 약정할인 66

Training Hyperparameters

  • batch_size: (16, 16)
  • num_epochs: (5, 5)
  • max_steps: -1
  • sampling_strategy: oversampling
  • num_iterations: 5
  • body_learning_rate: (2e-05, 1e-05)
  • head_learning_rate: 0.01
  • loss: CosineSimilarityLoss
  • distance_metric: cosine_distance
  • margin: 0.25
  • end_to_end: False
  • use_amp: False
  • warmup_proportion: 0.1
  • l2_weight: 0.01
  • seed: 42
  • eval_max_steps: -1
  • load_best_model_at_end: False

Training Results

Epoch Step Training Loss Validation Loss
0.0007 1 0.2346 -
0.0370 50 0.1917 -
0.0741 100 0.1791 -
0.1111 150 0.1577 -
0.1481 200 0.1438 -
0.1852 250 0.1441 -
0.2222 300 0.1344 -
0.2593 350 0.1236 -
0.2963 400 0.1137 -
0.3333 450 0.1068 -
0.3704 500 0.0986 -
0.4074 550 0.0878 -
0.4444 600 0.0949 -
0.4815 650 0.0866 -
0.5185 700 0.0896 -
0.5556 750 0.0835 -
0.5926 800 0.0734 -
0.6296 850 0.073 -
0.6667 900 0.0673 -
0.7037 950 0.0663 -
0.7407 1000 0.0516 -
0.7778 1050 0.0639 -
0.8148 1100 0.0563 -
0.8519 1150 0.0554 -
0.8889 1200 0.0586 -
0.9259 1250 0.0624 -
0.9630 1300 0.0598 -
1.0 1350 0.0494 -
1.0370 1400 0.0475 -
1.0741 1450 0.0424 -
1.1111 1500 0.0439 -
1.1481 1550 0.0386 -
1.1852 1600 0.0386 -
1.2222 1650 0.0415 -
1.2593 1700 0.0371 -
1.2963 1750 0.039 -
1.3333 1800 0.0382 -
1.3704 1850 0.037 -
1.4074 1900 0.0453 -
1.4444 1950 0.0292 -
1.4815 2000 0.0391 -
1.5185 2050 0.0266 -
1.5556 2100 0.0397 -
1.5926 2150 0.0289 -
1.6296 2200 0.0306 -
1.6667 2250 0.0247 -
1.7037 2300 0.0258 -
1.7407 2350 0.0227 -
1.7778 2400 0.0265 -
1.8148 2450 0.0274 -
1.8519 2500 0.0206 -
1.8889 2550 0.0191 -
1.9259 2600 0.0266 -
1.9630 2650 0.0282 -
2.0 2700 0.0286 -
2.0370 2750 0.0325 -
2.0741 2800 0.0224 -
2.1111 2850 0.027 -
2.1481 2900 0.0129 -
2.1852 2950 0.0205 -
2.2222 3000 0.0194 -
2.2593 3050 0.0203 -
2.2963 3100 0.0186 -
2.3333 3150 0.0145 -
2.3704 3200 0.0197 -
2.4074 3250 0.0244 -
2.4444 3300 0.0144 -
2.4815 3350 0.0139 -
2.5185 3400 0.0182 -
2.5556 3450 0.0203 -
2.5926 3500 0.0217 -
2.6296 3550 0.0131 -
2.6667 3600 0.0296 -
2.7037 3650 0.0192 -
2.7407 3700 0.0183 -
2.7778 3750 0.0153 -
2.8148 3800 0.0182 -
2.8519 3850 0.0194 -
2.8889 3900 0.0176 -
2.9259 3950 0.0202 -
2.9630 4000 0.0211 -
3.0 4050 0.0172 -
3.0370 4100 0.0184 -
3.0741 4150 0.016 -
3.1111 4200 0.0081 -
3.1481 4250 0.0175 -
3.1852 4300 0.0131 -
3.2222 4350 0.014 -
3.2593 4400 0.0131 -
3.2963 4450 0.0199 -
3.3333 4500 0.0131 -
3.3704 4550 0.0144 -
3.4074 4600 0.0149 -
3.4444 4650 0.0129 -
3.4815 4700 0.0137 -
3.5185 4750 0.0216 -
3.5556 4800 0.0128 -
3.5926 4850 0.0147 -
3.6296 4900 0.0087 -
3.6667 4950 0.0182 -
3.7037 5000 0.0119 -
3.7407 5050 0.0168 -
3.7778 5100 0.0128 -
3.8148 5150 0.0105 -
3.8519 5200 0.0181 -
3.8889 5250 0.0176 -
3.9259 5300 0.0202 -
3.9630 5350 0.0142 -
4.0 5400 0.0113 -
4.0370 5450 0.0105 -
4.0741 5500 0.0112 -
4.1111 5550 0.0133 -
4.1481 5600 0.0086 -
4.1852 5650 0.0167 -
4.2222 5700 0.0118 -
4.2593 5750 0.0096 -
4.2963 5800 0.0092 -
4.3333 5850 0.0096 -
4.3704 5900 0.0082 -
4.4074 5950 0.0143 -
4.4444 6000 0.012 -
4.4815 6050 0.0167 -
4.5185 6100 0.0133 -
4.5556 6150 0.0091 -
4.5926 6200 0.0107 -
4.6296 6250 0.0141 -
4.6667 6300 0.0201 -
4.7037 6350 0.0125 -
4.7407 6400 0.0112 -
4.7778 6450 0.0117 -
4.8148 6500 0.0166 -
4.8519 6550 0.0159 -
4.8889 6600 0.0084 -
4.9259 6650 0.012 -
4.9630 6700 0.0098 -
5.0 6750 0.0088 -

Framework Versions

  • Python: 3.11.13
  • SetFit: 1.1.2
  • Sentence Transformers: 4.1.0
  • Transformers: 4.52.4
  • PyTorch: 2.6.0+cu124
  • Datasets: 3.6.0
  • Tokenizers: 0.21.2

Citation

BibTeX 

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}
Downloads last month
6
Safetensors
Model size
118M params
Tensor type
F32
·
Inference Providers NEW
Text Classification
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Huiyeong/setfit-callbot-synthetic-neg

Base model

sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
Finetuned
(233)
this model