Model save

README.md

@@ -0,0 +1,89 @@
+---
+library_name: transformers
+tags:
+- generated_from_trainer
+model-index:
+- name: childes_30
+  results: []
+---
+
+<!-- This model card has been generated automatically according to the information the Trainer had access to. You
+should probably proofread and complete it, then remove this comment. -->
+
+# childes_30
+
+This model is a fine-tuned version of [](https://huggingface.co/) on an unknown dataset.
+It achieves the following results on the evaluation set:
+- Loss: 2.8672
+
+## Model description
+
+More information needed
+
+## Intended uses & limitations
+
+More information needed
+
+## Training and evaluation data
+
+More information needed
+
+## Training procedure
+
+### Training hyperparameters
+
+The following hyperparameters were used during training:
+- learning_rate: 5e-05
+- train_batch_size: 16
+- eval_batch_size: 16
+- seed: 30
+- gradient_accumulation_steps: 2
+- total_train_batch_size: 32
+- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
+- lr_scheduler_type: linear
+- lr_scheduler_warmup_steps: 100000
+- training_steps: 400000
+
+### Training results
+
+| Training Loss | Epoch   | Step  | Validation Loss |
+|:-------------:|:-------:|:-----:|:---------------:|
+| No log        | 1.6502  | 2000  | 5.8888          |
+| 6.5372        | 3.3003  | 4000  | 5.8455          |
+| 6.5372        | 4.9505  | 6000  | 5.7730          |
+| 5.7792        | 6.6007  | 8000  | 5.6880          |
+| 5.7792        | 8.2508  | 10000 | 5.1237          |
+| 5.147         | 9.9010  | 12000 | 4.7844          |
+| 5.147         | 11.5512 | 14000 | 4.5138          |
+| 4.4762        | 13.2013 | 16000 | 4.0074          |
+| 4.4762        | 14.8515 | 18000 | 3.8195          |
+| 3.8668        | 16.5017 | 20000 | 3.6909          |
+| 3.8668        | 18.1518 | 22000 | 3.5956          |
+| 3.6038        | 19.8020 | 24000 | 3.4481          |
+| 3.6038        | 21.4521 | 26000 | 3.3742          |
+| 3.3867        | 23.1023 | 28000 | 3.2639          |
+| 3.3867        | 24.7525 | 30000 | 3.1954          |
+| 3.2158        | 26.4026 | 32000 | 3.1180          |
+| 3.2158        | 28.0528 | 34000 | 3.0905          |
+| 3.0917        | 29.7030 | 36000 | 3.0518          |
+| 3.0917        | 31.3531 | 38000 | 3.0318          |
+| 3.0074        | 33.0033 | 40000 | 2.9881          |
+| 3.0074        | 34.6535 | 42000 | 2.9401          |
+| 2.9357        | 36.3036 | 44000 | 2.9188          |
+| 2.9357        | 37.9538 | 46000 | 2.9058          |
+| 2.8951        | 39.6040 | 48000 | 2.9200          |
+| 2.8951        | 41.2541 | 50000 | 2.9114          |
+| 2.8637        | 42.9043 | 52000 | 2.8812          |
+| 2.8637        | 44.5545 | 54000 | 2.8914          |
+| 2.8428        | 46.2046 | 56000 | 2.8537          |
+| 2.8428        | 47.8548 | 58000 | 2.8884          |
+| 2.8272        | 49.5050 | 60000 | 2.8600          |
+| 2.8272        | 51.1551 | 62000 | 2.8672          |
+
+
+### Framework versions
+
+- Transformers 4.45.2
+- Pytorch 2.5.1+cu124
+- Datasets 3.0.1
+- Tokenizers 0.20.1

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:5eb7e1e35a410ef335e288baaca426671c81b99885ddaca15fe362009f4b3c9b
+oid sha256:b2b753ba321eda5063cfa7df56a7ef1cdc691c4014810d92ec26ac26b03ad887
 size 59702184

validation_batches.log

@@ -1078,3 +1078,39 @@ Sample 15:
 hopp machen ne ? [EOS] und jetzt ? [EOS] ja ? [EOS] [MASK] ? [EOS] [MASK] nicht durch ? [EOS] hier lang ja ? [EOS] ja was ist da hinten ? [EOS] [MASK] ist das ? [EOS] ein foto [MASK] die ? [EOS] ja ? [EOS] was ? [EOS] was [MASK] [EOS] ein mann war hier nicht . [EOS] streichel frau ja genau [MASK] [EOS] die macht [MASK] fotos . [EOS] nun sitzt die puppe wie der sören im einkaufswagen . [EOS] ja [MASK] . [EOS] schuhe ja . [EOS] hast [MASK] das alles eingekauft [MASK] ? [EOS] was ist das ? [EOS] oh du fährst [MASK] über [MASK] haufen . [EOS] dadurch ? [EOS] da willst du hin ? [EOS] [MASK] kannst du einkaufen ne ? [PAD]
 --- Validation Batch End ---
 
+
+--- Validation Batch Start ---
+Sample 0:
+[EOS] so jetz haben wir weih ne unten november . [EOS] und sagt dis oder da und dann muss man ihr den [MASK] sagen jetz gucken wir mal das [MASK] grosse buch von frau fütter er wieder mithelfen . [EOS] [MASK] ist ein vogel schau [MASK] was hat der da [MASK] [EOS] da ist ein [MASK] . [EOS] ein [MASK] . [EOS] das ist die ente . [EOS] der fuchs . [EOS] wo [MASK] die uhr wo is die [MASK] tack caroline wo is die tick tack . [EOS] das is ein baum . [EOS] schau . [EOS] da tick [MASK] . [EOS] bot koch ein mann . [EOS] [MASK] mädchen . [EOS] [MASK] [MASK] [MASK] ein stuhl . [EOS] das das krokodil . [PAD] [PAD] [PAD] [PAD]
+Sample 1:
+da sind viele bunte eier . [EOS] schau ma hier . [EOS] [MASK] [MASK] der junge . [EOS] der junge und wo is der fisch wo is [MASK] fisch wo is der fisch . [EOS] ui wer war [MASK] da jetzt [MASK] nur ge blättert . [EOS] [MASK] [MASK] . [EOS] da ist ein fisch . [EOS] die schaufel . [EOS] ein junge [MASK] [EOS] nein das möchst du nicht angucken das ist [MASK] fisch . [EOS] ui [MASK] [EOS] schau mal . [EOS] da is auch eine oi [MASK] [MASK] denn die [MASK] [EOS] und knib is da [MASK] [EOS] zwei pferde . [EOS] hui wer is denn da [MASK] mal . [EOS] ja eine kuh und [MASK] pferd . [EOS] und das is das pferd .
+Sample 2:
+zack zack [MASK] alles immer runter . [EOS] möchst du dis haben . [EOS] möchst [MASK] haben ja . [EOS] ja falko [MASK] bin hier [MASK] [EOS] wo ist der kleine elefant [MASK] ? [EOS] ja der pa pper [MASK] pap der geht jetzt erst mal [MASK] . [EOS] der kommt [MASK] wieder [MASK] [EOS] [MASK] wa [MASK] der löwe wa . [EOS] ja guck . [EOS] ja da soll der hin ? [EOS] [MASK] was ist [MASK] ? [EOS] [MASK] [MASK] guck mal [MASK] [EOS] was ? [EOS] ja mäh macht das schaf . [EOS] da ist nichts drin . [EOS] da ist keine flasche drin . [EOS] ja . [EOS] da ist nichts drin [MASK] [EOS] wollen wir uns das [MASK] ? [PAD] [PAD] [PAD] [PAD]
+Sample 3:
+was ist das denn da ? [EOS] ein brillen ja . [EOS] soll [MASK] wieder zu das buch ? [EOS] [MASK] ? [EOS] ein löwe [MASK] [EOS] ja . [EOS] ja . [EOS] ja ich bin [MASK] . [EOS] willst de [MASK] haben oder nicht ? [EOS] meinst du dass man die beißen kann ? [EOS] [MASK] [MASK] felix . [EOS] [MASK] kannst du nicht haben . [EOS] nein . [EOS] [MASK] kannst paßiert ja stehen toll . [EOS] wollen wir mal aus [MASK] [MASK] gucken blech [EOS] da fährt einer . [EOS] kannst du [MASK] [MASK] ? [EOS] ja [MASK] ne ? [EOS] ja jetzt [MASK] er weg . [EOS] jetzt können wir den nicht [MASK] [MASK] . [EOS] arbeitstisch der ist jetzt gerade da weggefahren .
+Sample 4:
+ja ? [EOS] du kannst nicht einfach weiter laufen . [EOS] ja doch darunter klettern . [EOS] bü cken und dann runter . [EOS] [MASK] ja du . [EOS] [MASK] fällst du runter wenn du [MASK] den fuß hin setzt . [EOS] hm und ? [EOS] [MASK] b ut scher ? [EOS] hm ? [EOS] ist da auch eine kamera [MASK] [EOS] ja ? [EOS] guck mal [MASK] [EOS] [MASK] da ist selbe puppe . [EOS] ging ? [EOS] bumm . [EOS] [MASK] machst [MASK] denn mit der puppe [MASK] [EOS] hm ? [EOS] [MASK] . [EOS] damit willst [MASK] jetzt [MASK] ? [EOS] oder willst du die da rein haben ? [EOS] [MASK] du die da [MASK] haben ? [EOS] ja . [EOS] ein mann ist da
+Sample 5:
+ein mann ist [MASK] vorne drin ja . [EOS] [MASK] ist ist gut . [EOS] ja toll . [EOS] den anderen auch ja ? [EOS] nee [MASK] [MASK] du alleine versuchen . [EOS] eine [MASK] tro [EOS] ja ? [EOS] und was ist das ? [EOS] beine [MASK] [EOS] was ist tages ? [EOS] das seh [MASK] auch gar nicht . [EOS] ach ein gesicht . [EOS] ein gesicht ne ? [EOS] und das ist ein telefon ? [EOS] nee das ist aber nicht richtig maus . [EOS] guck mal richtig . [EOS] wo ist der hörer ? [EOS] [MASK] [MASK] richtig drauflegen . [EOS] mach mal richtig . [EOS] so [MASK] außerdem ne [MASK] [EOS] hm ? [EOS] ja ? [EOS] [MASK] da können wir uns sehen
+Sample 6:
+kuckuck da können wir uns sehen amer ? [EOS] [MASK] [MASK] [MASK] sören ? [EOS] gesundheit . [EOS] ja . [EOS] ja ? [EOS] da guckst du was ? [EOS] sitzt du aufm auto ja ? [EOS] hm [MASK] [EOS] puppe . [EOS] [MASK] . [EOS] tschüss . [EOS] hm ? [EOS] die frau ? [EOS] wo die frau ist ? [EOS] ja die frau ist weg . [EOS] [MASK] . [EOS] [MASK] ist bumm bumm ? [EOS] vorsichtig . [EOS] langsam . [EOS] rauf [MASK] [EOS] du siehst dich da im spiegel ne ? [EOS] du [MASK] [EOS] ja ? [EOS] ein trecker [MASK] [EOS] nee das ist ein auto sören . [EOS] [MASK] ist ein auto . [EOS] was ist das ? [EOS] ente ja .
+Sample 7:
+und was ist das ? [EOS] hm . [EOS] und das ? [EOS] eine eisenbahn [MASK] das [MASK] [EOS] [MASK] das ? [EOS] nee das ist [MASK] hase jetzt . [EOS] das ist ein hase . [EOS] [MASK] eine [MASK] . [EOS] [MASK] ist ein hase . [EOS] da ist er ? [EOS] [MASK] [MASK] [EOS] so und packst den mal wieder rein ? [EOS] [MASK] . [EOS] wo ist [MASK] ente ? [EOS] nee du musst die ente erstmal richtig reinmachen . [EOS] nee so nicht . [EOS] ja so . [EOS] so . [EOS] so [MASK] gut . [EOS] ja [MASK] . [EOS] di so mit gewalt . [EOS] so . [EOS] [MASK] das ist [MASK] . [EOS] [MASK] sören das ist nicht richtig [MASK] [MASK]
+Sample 8:
+nein da auch nicht [MASK] [EOS] tu mal die ente [MASK] rein . [EOS] [MASK] da passt sie nicht . [EOS] [MASK] mal wo gehört die eisenbahn denn hin ? [EOS] ja versuch die da mal reinzu kriegen [MASK] [EOS] ja so [MASK] . [EOS] ja . [EOS] [MASK] so gehört das . [EOS] was das ? [EOS] [MASK] geh mal hin . [EOS] [MASK] meinst du [MASK] [MASK] [EOS] [MASK] . [EOS] [MASK] hund hm ? [EOS] ein fuchs ne [MASK] [EOS] [MASK] ist das denn ? [EOS] auto ? [EOS] ja ? [EOS] hm ? [EOS] bumm . [EOS] mach mal doller . [EOS] toll [MASK] [EOS] ja . [EOS] hm . [EOS] [MASK] ist das ? [EOS] was ist das sören [MASK] [PAD] [PAD] [PAD]
+Sample 9:
+was ist das ? [EOS] ein [MASK] ja [MASK] [EOS] ja ? [EOS] ein hammer ja ? [EOS] [MASK] pp . [EOS] was ist das ? [EOS] was ist das [MASK] [EOS] ein rad ? [EOS] [MASK] . [EOS] was ist das ? [EOS] foto ? [EOS] ja ? [EOS] das ist [MASK] ein laster und kein trecker . [EOS] ja da [MASK] einer . [EOS] und guck [MASK] da ist doch noch ein mülleimer guck [MASK] [EOS] das ist kein richtiger [MASK] [MASK] ist ein bagger . [EOS] sag mal bagger [MASK] [EOS] das ist [MASK] bagger . [EOS] hm . [EOS] hm ? [EOS] ein rad ja ? [EOS] und [MASK] dadurch ? [EOS] ja was ist das ? [EOS] foto [MASK] [PAD] [PAD] [PAD] [PAD]
+Sample 10:
+du kannst das ja auch aufn [MASK] packen . [EOS] und denn [MASK] du die puppe darein . [EOS] ja . [EOS] ja was ist das denn hier pflü [EOS] was hat die [MASK] [MASK] ? [EOS] hat die augen zu ne ? [EOS] was [MASK] [MASK] ? [EOS] bauchnabel ? [EOS] hat die auch einen bauchnabel wie du ? [EOS] [MASK] [MASK] [EOS] was ist [MASK] ? [EOS] schuhe ? [EOS] [MASK] ? [EOS] was meinst du [MASK] [EOS] puppe hm hm . [EOS] schon wieder ein hammer [MASK] [EOS] das ist eine zange . [EOS] sag mal zange . [EOS] was ist das ? [EOS] n zange ja ? [EOS] darein soll das ? [EOS] und jetzt runterfahren ? [EOS] hm [MASK] [EOS] gut . [PAD]
+Sample 11:
+augen ? [EOS] toll hast den mann da reingesetzt . [EOS] huch das auto haut [MASK] . [EOS] das auto haut ab . [EOS] was ist das ? [EOS] [MASK] ? [EOS] was ist das ? [EOS] ich versteh dich nicht [MASK] [MASK] [EOS] was ist das denn ? [EOS] was [MASK] das ? [EOS] was ist das ? [EOS] was [MASK] das sören [MASK] [EOS] mach mal wieder deswegen [MASK] an einer seite [MASK] [EOS] geht nicht ? [EOS] [MASK] mal was ist das denn ? [EOS] eine frau ist [MASK] ? [EOS] und [MASK] [MASK] das ? [EOS] tee [MASK] . [EOS] möchtest du auch was trinken sören grad [EOS] da ist ein mann drin ? [EOS] auto [MASK] [EOS] sören [MASK] du [MASK] trinken willst
+Sample 12:
+sören [MASK] du was puzzleteile willst ich stell es hier aufn tisch . [EOS] da [MASK] se . [EOS] was suchst du denn ? [EOS] die [MASK] ? [EOS] nee ab [MASK] das nicht . [EOS] ja hol mal das [MASK] wieder raus . [EOS] nee das kannst du [MASK] alleine . [EOS] ist da noch ein auto ? [EOS] ja [MASK] [EOS] was ist da ? [EOS] ach das [MASK] jetzt mein auto ? [EOS] [MASK] pass auf das [MASK] heiß [MASK] [EOS] [MASK] das ist heiß . [EOS] sag mal tanken [MASK] . [EOS] da [MASK] [MASK] [MASK] rein [MASK] tanken . [EOS] [MASK] [MASK] [EOS] ja ? [EOS] [MASK] schön . [EOS] nein sören holt das raus . [EOS] du hast das auch reingesteckt .
+Sample 13:
+ja musst wieder rausholen . [EOS] ja wo ist das auto jetzt ? [EOS] kommst du da jetzt ran ? [EOS] nee ? [EOS] so versuch mal [MASK] das auto rauszu [MASK] . [EOS] weg ist es ? [EOS] hui . [EOS] brumm . [EOS] hui januar [EOS] ja hier ist [MASK] . [EOS] huch [MASK] [EOS] darein . [EOS] hui . [EOS] ja . [EOS] was da . [EOS] zu soll das sein ? [EOS] ja ? [EOS] so jetzt kannst tanken . [EOS] was ist das ? [EOS] ich [MASK] [MASK] käse verstanden . [EOS] nee das kannst du selber da reinstecken . [EOS] [MASK] du eine banane sören ? [EOS] was ist das ? [EOS] nee ist das auto nicht da ? [PAD] [PAD] [PAD]
+Sample 14:
+was [MASK] du jetzt sören ? [EOS] wie macht die feuerwehr denn immer ? [EOS] gesundheit . [EOS] ja da kann man auch reinfahren [MASK] [EOS] das ist [MASK] garage ne ? [EOS] [MASK] auto suchst badet denn ? [EOS] da soll der hin ? [EOS] ach du nimmst upp anderen . [EOS] ach da soll [MASK] rein . [EOS] gut . [EOS] dann kann man wieder tanken ne ? [EOS] tanken ist da bauarbeiter [EOS] musst de hier mal rum kommen . [EOS] [MASK] ja ? [EOS] ja da sind [MASK] die autos . [EOS] [MASK] jetzt fahren wir hoch . [EOS] da soll das auto wieder rein ? [EOS] [MASK] jetzt hochfahren ? [EOS] hui . [EOS] da ist er ja ? [EOS] bumm . [PAD]
+Sample 15:
+hopp machen ne ? [EOS] [MASK] jetzt ? [EOS] ja ? [EOS] nee ? [EOS] geht [MASK] durch ? [EOS] [MASK] [MASK] ja ? [EOS] ja [MASK] ist da unglaub [MASK] [EOS] was ist das [MASK] [EOS] [MASK] foto macht [MASK] ? [EOS] ja ? [EOS] was ? [EOS] [MASK] [MASK] [EOS] ein mann war hier nicht . [EOS] eine frau ja genau . [EOS] die macht die fotos . [EOS] nun sitzt die puppe wie der sören im einkaufswagen [MASK] [EOS] ja toll . [EOS] schuhe ja . [EOS] hast du das alles eingekauft sören ? [EOS] was ist das ? [EOS] [MASK] du fährst mich über n haufen . [EOS] dadurch ? [EOS] da willst du [MASK] ? [EOS] da [MASK] du [MASK] ne ? [PAD]
+--- Validation Batch End ---
+