human
Je veux rédiger un document de conception logicielle pour un nouveau produit `Chateval`, qui facilite l'évaluation des systèmes d'IA générative (par exemple, chatgpt et claude). Chateval peut (1) fournir de nombreux scénarios d'évaluation, de l'écriture de texte au code et aux mathématiques, et (2) prendre en charge de nombreuses métriques d'évaluation, par exemple, l'utilité, la pertinence et la véracité. Il fournit non seulement aux développeurs des orientations d'optimisation, mais aide également les utilisateurs à utiliser de manière plus fiable les produits d'IA générative tels que chatgpt. Veuillez m'aider à terminer le document qui suit la structure : [Aperçu], [Objectifs], [Cas d'utilisation], [Conception de l'API], [Étapes], [Questions ouvertes], [Personnes]
gpt
Bien sûr, voici un document de conception logicielle pour votre produit - Chateval.

[Aperçu]
Un défi majeur auquel sont confrontés les systèmes d'IA générative actuels est la difficulté de déterminer leur performance de manière systématique, en particulier pour les modèles de haute qualité. Par exemple, il est difficile de discriminer quantitativement entre deux chatbots célèbres : ChatGPT et Claude. Par conséquent, nous avons vraiment besoin d'un outil d'évaluation qui puisse nous aider à automatiser la caractérisation des systèmes d'IA générative.
Chateval a deux fonctions principales qui peuvent aider au développement et à l'évaluation des systèmes d'IA générative.
* Prise en charge de suites d'évaluation complètes : Chateval propose plus de 50 scénarios d'évaluation différents, allant de la rédaction de textes, à la programmation, aux mathématiques et à la détection de sécurité. Les développeurs de systèmes d'IA générative peuvent choisir librement ce qui les intéresse.
* Prise en charge de riches métriques d'évaluation : Chateval propose une multitude de métriques pouvant être utilisées pour évaluer les textes générés selon différents critères, tels que l'utilité, la pertinence, la véracité, etc.

[Objectifs]
Développer un outil d'évaluation pour l'IA générative afin que les développeurs et les utilisateurs généraux puissent en bénéficier.

[Cas d'utilisation]
Il existe plusieurs scénarios d'utilisation potentiels pour Chateval :

# Révéler les limites des systèmes d'IA générative
Chateval peut être particulièrement précieux pour les développeurs qui travaillent sur un système d'IA mais qui ne sont pas certains de ses faiblesses. Avec l'aide de Chateval, ces développeurs peuvent rapidement identifier les défauts du système et suggérer les mesures correctives appropriées.

# Fournir un score de fiabilité aux utilisateurs
Chateval peut être utilisé par des utilisateurs qui ne sont pas certains de la fiabilité (par exemple, la véracité) de la sortie générée par un produit d'IA générative. Il peut fournir des scores de confiance pour différentes fonctionnalités afin d'évaluer la crédibilité des résultats.

[Conception de l'API]
Voici une conception de base de l'API pour l'évaluation :
# Évaluer en termes de scénario d'écriture d'e-mail
```
from chateval import load
scenario = load("../scenarios/write_email")
predictions = [
    "Je m'appelle [nom], et je suis actuellement étudiant dans votre [nom du cours].",
]
print(scenario.evaluate(predictions))
```
# Évaluer un seul système avec la métrique Chateval
```
from chateval.metrics import get_metric
dataset = [{"input": "écrire une critique de film sur Titanic"}]
predictions = [
    'Le film romantique et catastrophe épique de James Cameron de 1997 "Titanic" raconte l\'histoire '
]
metric = get_metric("generic_likert/utilité")
results = metric.compute(dataset, predictions)
print(results)

```
[Étapes]
* 1 mois : Mettre en place un cadre pouvant être externalisé pour Chateval
* 1 semaine : Collecter des ensembles de données de référence pour les scénarios d'évaluation
* 2 semaines : Mettre en plac