transformers pytorch mt5 text2text-generation summarization generated_from_trainer music song-lyrics dataset:miscjose/genius-music base_model:google/mt5-small base_model:finetune:google/mt5-small license:apache-2.0 autotrain_compatible endpoints_compatible region:us
---
base_model: google/mt5-small
datasets:
- miscjose/genius-music
license: apache-2.0
metrics:
- rouge
pipeline_tag: summarization
tags:
- summarization
- generated_from_trainer
- music
- song-lyrics
widget:
- text: 'Thought I''d end up with Sean  But he wasn''t a match  Wrote some songs about
    Ricky Now I listen and laugh Even almost got married And for Pete, I''m so thankful
    Wish I could say, "Thank you" to Malcolm ''Cause he was an angel One taught me
    love One taught me patience And one taught me pain Now, I''m so amazing Say I''ve
    loved and I''ve lost But that''s not what I see So, look what I got Look what
    you taught me And for that, I say Thank you, next (Next) Thank you, next (Next)
    Thank you, next I''m so fuckin'' grateful for my ex Thank you, next (Next) Thank
    you, next (Next) Thank you, next (Next) I''m so fuckin''— Spend more time with
    my friends I ain''t worried ''bout nothin'' Plus, I met someone else We havin''
    better discussions I know they say I move on too fast But this one gon'' last
    ''Cause her name is Ari And I''m so good with that (So good with that) She taught
    me love (Love) She taught me patience (Patience) How she handles pain (Pain) That
    shit''s amazing (Yeah, she''s amazing) I''ve loved and I''ve lost (Yeah, yeah)
    But that''s not what I see (Yeah, yeah) ''Cause look what I''ve found (Yeah, yeah,
    I''ve found) Ain''t no need for searching, and for that, I say Thank you, next
    (Thank you, next) Thank you, next (Thank you, next) Thank you, next (Thank you)
    I''m so fuckin'' grateful for my ex Thank you, next (Thank you, next) Thank you,
    next (Said thank you, next) Thank you, next (Next) I''m so fuckin'' grateful for
    my ex Thank you, next Thank you, next Thank you, next I''m so fuckin''— One day
    I''ll walk down the aisle Holding hands with my mama I''ll be thanking my dad
    ''Cause she grew from the drama Only wanna do it once, real bad Gon'' make that
    shit last God forbid something happens Least this song is a smash (Song is a smash)
    I''ve got so much love (Love) Got so much patience (Patience) And I''ve learned
    from the pain (Pain) I turned out amazing (Turned out amazing) Say I''ve loved
    and I''ve lost (Yeah, yeah) But that''s not what I see (Yeah, yeah) ''Cause look
    what I''ve found (Yeah, yeah) Ain''t no need for searching And for that, I say
    Thank you, next (Thank you, next) Thank you, next (Thank you, next) Thank you,
    next I''m so fuckin'' grateful for my ex Thank you, next (Thank you, next) Thank
    you, next (Said thank you, next) Thank you, next (Next) I''m so fuckin'' grateful
    for my ex Thank you, next Thank you, next Thank you, next Yeah, yee Thank you,
    next Thank you, next Thank you, next Yeah, yee

    '
- text: 'Who''s this? Da-ddy Yan-kee! Zúmbale mambo pa'' que mis gatas prendan los
    motore'' Zúmbale mambo pa'' que mis gatas prendan los motore'' Zúmbale mambo pa''
    que mis gatas prendan los motore'' Que se preparen que lo que viene es pa'' que
    le den ¡Duro! Mamita, yo sé que tú no te me va'' a quitar ¡Duro! Lo que me gusta
    es que tú te dejas llevar ¡Duro! Todos los weekend''es ella sale a vacilar ¡Duro!
    Mi gata no para ''e janguear, porque A ella le gusta la gasolina (Dame más gasolina)
    Cómo le encanta la gasolina (Dame más gasolina) A ella le gusta la gasolina (Dame
    más gasolina) Cómo le encanta la gasolina (Dame más gasolina) Ella prende las
    turbinas, no discrimina No se pierde ni un party de marquesina Se acicala hasta
    pa'' la esquina Luce tan bien que hasta la sombra le combina Asesina, me domina
    Janguea en carros, motoras y limusinas Llena su tanque de adrenalina Cuando escucha
    reggaetón en las bocinas A ella le gusta la gasolina (Dame más gasolina) Cómo
    le encanta la gasolina (Dame más gasolina) A ella le gusta la gasolina (Dame más
    gasolina) Cómo le encanta la gasolina (Dame más gasolina) Aquí somos los mejores,
    no te me ajore'' En la pista nos llaman "Los Matadore''" Tú hace'' que cualquiera
    se enamore Cuando bailas al ritmo de los tambore'' Esto va pa'' las gatas de to''s
    colore'' Pa'' las mayore'', pa'' las menore'' Pa'' las que son más zorras que
    los cazadore'' Pa'' las mujeres que no apagan sus motore'' Tenemo'' tú y yo algo
    pendiente Tú me debes algo y lo sabe'' Conmigo ella se pierde No le rinde cuentas
    a nadie Tenemo'' tú y yo algo pendiente Tú me debes algo y lo sabe'' Conmigo ella
    se pierde No le rinde cuentas a nadie Zúmbale mambo pa'' que mis gatas prendan
    los motore'' Zúmbale mambo pa'' que mis gatas prendan los motore'' Zúmbale mambo
    pa'' que mis gatas prendan los motore'' Que se preparen que lo que viene es pa''
    que le den ¡Duro! Mamita, yo sé que tú no te me va'' a quitar ¡Duro! Lo que me
    gusta es que tú te dejas llevar ¡Duro! Todos los weekend''es ella sale a vacilar
    ¡Duro! Mi gata no para ''e janguear, porque A ella le gusta la gasolina (Dame
    más gasolina) Cómo le encanta la gasolina (Dame más gasolina) A ella le gusta
    la gasolina (Dame más gasolina) Cómo le encanta la gasolina (Dame más gasolina)

    '
- text: 無敵の笑顔で荒らすメディア 知りたいその秘密ミステリアス 抜けてるとこさえ彼女のエリア 完璧で嘘つきな君は 天才的なアイドル様 今日何食べた？ 好きな本は？
    遊びに行くならどこに行くの？ 何も食べてない それは内緒 何を聞かれても のらりくらり そう淡々と だけど燦々と 見えそうで見えない秘密は蜜の味 あれもないないない
    これもないないない 好きなタイプは？ 相手は？ さあ答えて 「誰かを好きになることなんて私分からなくてさ」 嘘か本当か知り得ない そんな言葉にまた一人堕ちる
    また好きにさせる 誰もが目を奪われていく 君は完璧で究極のアイドル 金輪際現れない 一番星の生まれ変わり その笑顔で愛してるで 誰も彼も虜にしていく その瞳がその言葉が
    嘘でもそれは完全なアイ はいはいあの子は特別です 我々はハナからおまけです お星様の引き立て役Bです 全てがあの子のお陰なわけない 洒落臭い 妬み嫉妬なんてないわけがない
    これはネタじゃない からこそ許せない 完璧じゃない君じゃ許せない 自分を許せない 誰よりも強い君以外は認めない 誰もが信じ崇めてる まさに最強で無敵のアイドル
    弱点なんて見当たらない 一番星を宿している 弱いとこなんて見せちゃダメダメ 知りたくないとこは見せずに 唯一無二じゃなくちゃイヤイヤ それこそ本物のアイ 得意の笑顔で沸かすメディア
    隠しきるこの秘密だけは 愛してるって嘘で積むキャリア これこそ私なりの愛だ 流れる汗も綺麗なアクア ルビーを隠したこの瞼 歌い踊り舞う私はマリア そう嘘はとびきりの愛だ
    誰かに愛されたことも 誰かのこと愛したこともない そんな私の嘘がいつか本当になること 信じてる いつかきっと全部手に入れる 私はそう欲張りなアイドル 等身大でみんなのこと
    ちゃんと愛したいから 今日も嘘をつくの この言葉がいつか本当になる日を願って それでもまだ 君と君にだけは言えずにいたけど やっと言えた これは絶対嘘じゃない
    愛してる
model-index:
- name: mt5-small-finetuned-genius
  results: []
---

# mt5-small-finetuned-genius

This model is a fine-tuned version of [google/mt5-small](https://huggingface.co/google/mt5-small) on the [Genius](https://genius.com/) Music dataset found [here](https://www.cs.cornell.edu/~arb/data/genius-expertise/). 
The song lyrics and song titles were preprocessed and used for fine-tuning. 

You can view more examples of this model's inference on the following [Space](https://huggingface.co/spaces/miscjose/song-title-generation).

## Model description

Please visit: [google/mt5-small](https://huggingface.co/google/mt5-small)

## Intended uses & limitations

- Intended Uses: Given song lyrics, generate a summary. 
- Limitations: Due to the nature of music, the model can generate summaries containing hate speech.

## Training and evaluation data

- 27.6K Training Samples
- 3.45 Validation Samples

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 4e-05
- train_batch_size: 32
- eval_batch_size: 32
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 5

### Training results

| Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum |
|:-------------:|:-----:|:----:|:---------------:|:------:|:------:|:------:|:---------:|
| 7.9304        | 1.0   | 863  | 3.5226          | 14.235 | 6.78   | 14.206 | 14.168    |
| 3.8394        | 2.0   | 1726 | 3.0382          | 22.97  | 13.166 | 22.981 | 22.944    |
| 3.3799        | 3.0   | 2589 | 2.9010          | 24.932 | 14.54  | 24.929 | 24.919    |
| 3.2204        | 4.0   | 3452 | 2.8441          | 26.678 | 15.587 | 26.624 | 26.665    |
| 3.1498        | 5.0   | 4315 | 2.8363          | **26.827** | **15.696** | **26.773** | **26.793**    |


### Framework versions

- Transformers 4.31.0
- Pytorch 2.0.1+cu117
- Datasets 2.14.1
- Tokenizers 0.13.3