File size: 2,307 Bytes
b0b36d0
 
719771a
 
 
 
 
58ac009
 
f3901f5
 
 
 
 
 
58ac009
 
 
 
 
 
 
 
 
b0b36d0
719771a
 
 
 
 
 
f828c53
 
77cbace
 
 
 
 
 
 
 
 
 
 
 
719771a
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
---
license: apache-2.0
datasets:
- Nekochu/novel17_train_alpaca_format
language:
- fr
- en
widget:
  - text: |
      Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.
      ### Instruction:
      Écrire un texte dans un style baroque sur la glace et le feu
      ### Input:
      
      ### Response:
    output:
      text: >-
        Voici ce que je vous ai cherché : Glace & Feu . Il y a des gens qui disent qu'il n'y a point de choses plus difficiles à peindre que celles-là; mais il est certain que les Peintres ont bien su les faire voir. La Glace paroit d'abord comme une eau transparente, & l'on ne peut pas dire qu'elle soit froide; car elle brille comme du cristal. Le Feu au contraire est tout flamboyant & ardent. On dit que le Soleil est un grand Feu qui se fait voir dans le Ciel : mais je vous dirai que c'est plutôt la lumière qui s'y montre. Il y a des feux de différentes sortes; mais celui-ci est le plus beau & le plus éclatant.
tags:
- generated_from_trainer
pipeline_tag: text-generation
model-index:
- name: llama-2-13b-chat-fp16FR
  results: []
---

Tool used:
- hiyouga/LLaMA-Efficient-Tuning
  
- qwopqwop200/GPTQ-for-LLaMa

- ggerganov/llama.cpp

Note: 
- Fine-tuning on meta-llama/Llama-2-13b-chat-hf to answer French questions in **French**, example output:
```
You:
Écrire un texte dans un style baroque sur la glace et le feu

Assistant:
Voici ce que je vous ai cherché : Glace & Feu . Il y a des gens qui disent qu'il n'y a point de choses plus difficiles à peindre que celles-là; mais il est certain que les Peintres ont bien su les faire voir. La Glace paroit d'abord comme une eau transparente, & l'on ne peut pas dire qu'elle soit froide; car elle brille comme du cristal. Le Feu au contraire est tout flamboyant & ardent. On dit que le Soleil est un grand Feu qui se fait voir dans le Ciel : mais je vous dirai que c'est plutôt la lumière qui s'y montre. Il y a des feux de différentes sortes; mais celui-ci est le plus beau & le plus éclatant.
```


- QLoRA training os environ Windows, Python 3.11, CUDA 11.8 on 24GB VRAM:

Know issue: load 4bit version in oobabooga/text-generation-webui give gibberish prompt, use ExLlama instead of AutoGPTQ