Évaluer un Système RAG avec Ragas

Exemple :
Documents : "Python est créé par Guido van Rossum en 1991."
Réponse   : "Python est un langage créé en 1991 par Guido van Rossum,
             très populaire en data science."

Affirmation 1 : "Python créé en 1991" → Vérifiable ✓
Affirmation 2 : "Par Guido van Rossum" → Vérifiable ✓
Affirmation 3 : "Très populaire en data science" → NON dans les docs ✗

Faithfulness = 2/3 = 0.67

pip install ragas datasets agno openai lancedb tantivy pypdf

# eval_rag.py
import os
from agno.agent import Agent
from agno.knowledge.embedder.openai import OpenAIEmbedder
from agno.knowledge.knowledge import Knowledge
from agno.models.openai import OpenAIResponses
from agno.vectordb.lancedb import LanceDb, SearchType
from datasets import Dataset
from ragas import evaluate
from ragas.metrics import (
    answer_relevancy,
    context_precision,
    context_recall,
    faithfulness,
)

os.environ["OPENAI_API_KEY"] = "sk-..."

# --- 1. Construire le RAG ---
knowledge = Knowledge(
    vector_db=LanceDb(
        uri="tmp/lancedb_eval",
        table_name="docs_eval",
        search_type=SearchType.hybrid,
        embedder=OpenAIEmbedder(id="text-embedding-3-small"),
    ),
)

knowledge.insert(
    url="https://agno-public.s3.amazonaws.com/recipes/ThaiRecipes.pdf"
)

agent = Agent(
    model=OpenAIResponses(id="gpt-4o-mini"),
    knowledge=knowledge,
    instructions=[
        "Réponds uniquement avec les informations de ta base de connaissances.",
        "Si tu ne sais pas, dis-le clairement.",
    ],
    markdown=False,  # Désactiver le markdown pour l'évaluation
)

# --- 2. Dataset d'évaluation (golden dataset) ---
test_questions = [
    "Quels sont les ingrédients principaux du Pad Thai ?",
    "Comment préparer une soupe Tom Yum ?",
    "Qu'est-ce que le lait de coco apporte dans la cuisine thaï ?",
]

ground_truths = [
    "Le Pad Thai contient des nouilles de riz, des œufs, des crevettes ou du tofu, de la sauce de poisson, du tamarin, des cacahuètes et des germes de soja.",
    "La soupe Tom Yum se prépare avec un bouillon de citronnelle, galanga, feuilles de kaffir, champignons, crevettes, sauce de poisson et jus de citron vert.",
    "Le lait de coco apporte de la richesse, de la douceur et une texture crémeuse aux currys et soupes thaïs.",
]

# --- 3. Faire tourner le RAG et collecter les données ---
questions_list = []
answers_list = []
contexts_list = []

for question in test_questions:
    # Obtenir la réponse de l'agent
    response = agent.run(question)
    answer = response.content

    # Obtenir les documents récupérés
    docs = knowledge.search(question, num_documents=5)
    contexts = [doc.content for doc in docs]

    questions_list.append(question)
    answers_list.append(answer)
    contexts_list.append(contexts)

    print(f"Q: {question}")
    print(f"A: {answer[:100]}...")
    print(f"Contexts récupérés: {len(contexts)}")
    print()

# --- 4. Créer le dataset Ragas ---
data = {
    "question": questions_list,
    "answer": answers_list,
    "contexts": contexts_list,
    "ground_truth": ground_truths,
}

dataset = Dataset.from_dict(data)

# --- 5. Évaluer avec Ragas ---
result = evaluate(
    dataset,
    metrics=[
        faithfulness,
        answer_relevancy,
        context_recall,
        context_precision,
    ],
)

print("\n=== Résultats Ragas ===")
print(result)
print(f"\nFaithfulness     : {result['faithfulness']:.3f}")
print(f"Answer Relevancy : {result['answer_relevancy']:.3f}")
print(f"Context Recall   : {result['context_recall']:.3f}")
print(f"Context Precision: {result['context_precision']:.3f}")

=== Résultats Ragas ===
{'faithfulness': 0.892, 'answer_relevancy': 0.841,
 'context_recall': 0.783, 'context_precision': 0.756}

Faithfulness     : 0.892   ✓ (seuil : 0.85)
Answer Relevancy : 0.841   ✓ (seuil : 0.80)
Context Recall   : 0.783   ✓ (seuil : 0.75)
Context Precision: 0.756   ✓ (seuil : 0.70)

# golden_dataset.py
golden_dataset = [
    {
        "id": "Q001",
        "question": "Quelle est la politique de remboursement ?",
        "ground_truth": "Les remboursements sont effectués sous 5 jours ouvrés. "
                        "Les articles personnalisés ne sont pas remboursables.",
        "source_document": "politique-retours-v3.pdf",
        "category": "politique_commerciale",
    },
    {
        "id": "Q002",
        "question": "Comment contacter le support technique ?",
        "ground_truth": "Le support technique est disponible par email (support@example.com) "
                        "et par téléphone au +33 1 23 45 67 89, du lundi au vendredi de 9h à 18h.",
        "source_document": "guide-support.pdf",
        "category": "support",
    },
    # ... 50 à 100 questions couvrant tous vos cas d'usage
]

# ci_eval.py : À exécuter dans votre pipeline GitHub Actions / GitLab CI
import sys
from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_recall

# Seuils minimum acceptables
THRESHOLDS = {
    "faithfulness": 0.85,
    "answer_relevancy": 0.80,
    "context_recall": 0.75,
}

# ... (construire dataset à partir du golden dataset)

result = evaluate(dataset, metrics=[faithfulness, answer_relevancy, context_recall])

# Vérifier les seuils
failed = []
for metric, threshold in THRESHOLDS.items():
    if result[metric] < threshold:
        failed.append(f"{metric}: {result[metric]:.3f} < {threshold}")

if failed:
    print("ÉCHEC : Métriques en dessous des seuils :")
    for f in failed:
        print(f"  - {f}")
    sys.exit(1)  # Arrête le déploiement
else:
    print("SUCCÈS : Toutes les métriques sont au-dessus des seuils.")
    sys.exit(0)

# .github/workflows/rag-eval.yml
name: RAG Evaluation
on: [push, pull_request]
jobs:
  evaluate:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3
      - name: Install dependencies
        run: pip install ragas datasets agno openai lancedb
      - name: Run RAG evaluation
        env:
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
        run: python ci_eval.py

from trulens.apps.custom import TruCustomApp
from trulens.core import TruSession
from trulens.providers.openai import OpenAI as TruOpenAI

tru_session = TruSession()
tru_session.reset_database()

provider = TruOpenAI(model_engine="gpt-4o-mini")

# Définir les feedbacks
from trulens.core import Feedback
import numpy as np

f_groundedness = (
    Feedback(provider.groundedness_measure_with_cot_reasons, name="Groundedness")
    .on_input_output()
)

# Wrapper votre RAG avec TruLens
tru_rag = TruCustomApp(
    mon_agent_rag,
    app_id="RAG v1",
    feedbacks=[f_groundedness],
)

# Lancer le dashboard
tru_session.run_dashboard()  # http://localhost:8501