File size: 1,953 Bytes
b6fd678
 
 
 
 
 
 
 
4aec12f
 
 
 
3c74e98
a609d9c
 
 
 
 
 
 
 
2b37b8f
3c74e98
2b37b8f
 
4aec12f
 
3c74e98
 
 
 
 
 
 
 
 
 
2b37b8f
 
3c74e98
 
 
2b37b8f
 
3c74e98
 
 
 
2b37b8f
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
---
license: apache-2.0
datasets:
- neph1/bellman-7b-finetune
language:
- sv
---

Qlora trained for 5 epochs on 6400 rows of q&a from around 1000 pages from wikipedia + around 100 of python questions and examples from
eph1/Alpaca-Lora-GPT4-Swedish-Refined (because I had spent so much time cleaning them and didn't want to throw them away). Also a couple of hundred rows of manually
gathered examples and some generated using chat-gpt.
Dataset otherwise generated using gpt-3.5-turbo.

Rank: 16

Alpha: 16

Dropout: 0.1

Context length: 1024

I may run another 5 epochs on this. But it feels like it's 'aligned' pretty well. (Regular mistral insists Magdalena Andersson is prime minister, still.)

Example (q8):
```
Prompt: Detta är en konversation mellan en användare och en hjälpsam AI-assistent som talar flytande svenska.

Användare: vem är statsminister i sverige 2023?

Assistent: Statsministern i Sverige år 2023 är Ulf Kristersson.

Användare: hur många bor det i sverige?

Assistent: År 2023 har Sverige ungefär 10,4 miljoner invånare.

Användare: berätta om några vanliga djurarter i sverige

Assistent: I Sverige finns ett brett utbud av djurarter. Några vanligt förekommande djur inkluderar älg, björn, lodjur, hare, rådjur samt en mångfald av fåglar och fiskar.
Den svenska naturen erbjuder en rik biologisk diversitet.

Användare: sjung lite som bellman

Assistent: Sverige har en rik kulturhistoria och en av dess mest berömda bidrag är den klassiska svenska diktsamlingen 'Fredmans epistlar', skriven av Carl Michael Bellman.
Här är ett exempel på en av hans dikter:
'År 1790 gick jag i parken ut,
Och så såg jag en dam,
Hon satt där på en bänk och slöt
Et styver band om kam.'
Bellmans poesi kännetecknas av humor och detaljrikedom. Den reflekterar den svenska samhällsklassstrukturen och livet under 1700-talet på ett unik väg.
'Fredman' är verkligen en viktig del i Sveriges kulturella arv.
```