README.md

metadata

library_name: transformers
language:
  - ko
base_model:
  - openai/whisper-base

Model Description

OpenAI의 whisper-base 모델을 아래 데이터셋으로 학습한 모델입니다.

• 한국어 음성 (https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=123)
• 주소 음성 데이터 (https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=71556)
• 주요 영역별 회의 음성인식 데이터 (https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=464)
• 저음질 전화망 음성인식 데이터 (https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&dataSetSn=571)
• 방송 콘텐츠 대화체 음성인식 데이터 (https://www.aihub.or.kr/aihubdata/data/view.do?dataSetSn=463)

Training setup

train_steps: 50000
warmup_steps: 500
lr scheduler: linear warmup cosine decay
max learning rate: 1e-4
batch size: 1024
max_grad_norm: 1.0
adamw_beta1: 0.9
adamw_beta2: 0.98
adamw_eps: 1e-6

Evaluation

https://github.com/rtzr/Awesome-Korean-Speech-Recognition

위 레포지토리에서 주요 영역별 회의 음성을 제외한 테스트셋 결과입니다. 아래 테이블에서 whisper_base_komixv2가 본 모델 성능입니다.

Model	Average	cv_15_ko	fleurs_ko	kcall_testset	kconf_test	kcounsel_test	klec_testset	kspon_clean	kspon_other
whisper_tiny	36.63	31.03	18.48	58.57	36.02	33.52	35.74	42.22	37.42
whisper_base	40.61	22.45	15.7	85.94	41.95	32.38	39.24	46.92	40.29
whisper_small	17.52	11.56	6.33	30.79	18.96	13.57	18.71	22.02	18.23
whisper_medium	13.92	8.2	4.38	25.73	15.66	10.1	14.9	17.16	15.22
whisper_large	12.77	6.83	3.9	22.68	14.35	9.2	13.89	16.78	14.56
whisper_large_v2	12.29	6.58	3.74	22.26	13.88	8.95	13.84	15.51	13.6
whisper_large_v3	7.99	5.11	3.72	5.45	9.35	3.83	8.46	15.08	12.89
whisper_large_v3_turbo	10.75	5.38	3.99	10.93	10.27	4.21	9.42	26.66	15.16
whisper_base_komixv2	8.73	10.27	5.14	6.23	10.86	7.01	10.38	9.98	9.99
whisper_small_komixv2	7.63	7.2	4.63	5.47	9.79	6.16	8.68	9.65	9.44

Acknowledgement

• 본 모델은 구글의 TRC 프로그램의 지원으로 학습했습니다.
• Research supported with Cloud TPUs from Google's TPU Research Cloud (TRC)