GraphRAG et Hybrid Search : BM25 + Vecteur

Question : "Quel est le prix du composant SKU-78421-B ?"
Recherche vectorielle : trouve des documents sur "composants électroniques",
                        "références catalogue", "prix unitaires" : mais pas
                        nécessairement le document contenant exactement SKU-78421-B.
Recherche BM25 (keyword) : trouve EXACTEMENT les documents contenant "SKU-78421-B".

Question : "Quel est le responsable du projet qui utilise la technologie
            décrite dans le brevet déposé en 2023 ?"

Pour répondre, il faut :
  Doc A → Le brevet 2023 décrit la technologie X
  Doc B → La technologie X est utilisée dans le projet Alpha
  Doc C → Le responsable du projet Alpha est Marie Dupont.

Le RAG vectoriel récupère des chunks individuels.
Il ne reconstitue pas la chaîne de raisonnement A → B → C.

Score hybride = α × score_vectoriel + (1-α) × score_BM25

Score BM25(doc, query) = Σ IDF(term) × (TF(term, doc) × (k1 + 1)) / (TF(term, doc) + k1 × (1 - b + b × |doc| / avgdl))

Où :
- IDF = importance du terme (rare = plus important)
- TF  = fréquence du terme dans le document
- k1, b = paramètres de saturation et normalisation
- avgdl = longueur moyenne des documents

pip install agno openai lancedb tantivy cohere pypdf
# tantivy est le moteur BM25 utilisé par LanceDB

# hybrid_search.py
import os
from agno.agent import Agent
from agno.knowledge.embedder.openai import OpenAIEmbedder
from agno.knowledge.knowledge import Knowledge
from agno.knowledge.reranker.cohere import CohereReranker
from agno.models.openai import OpenAIResponses
from agno.vectordb.lancedb import LanceDb, SearchType

os.environ["OPENAI_API_KEY"] = "sk-..."
os.environ["COHERE_API_KEY"] = "..."

knowledge = Knowledge(
    vector_db=LanceDb(
        uri="tmp/lancedb",
        table_name="docs_hybrid",
        search_type=SearchType.hybrid,          # BM25 + vectoriel
        embedder=OpenAIEmbedder(id="text-embedding-3-small"),
        reranker=CohereReranker(
            model="rerank-multilingual-v3.0",   # Excellent pour le français
            top_n=5,                             # Garder les 5 meilleurs après reranking
        ),
    ),
)

# Charger des documents
knowledge.insert(
    url="https://agno-public.s3.amazonaws.com/recipes/ThaiRecipes.pdf"
)

agent = Agent(
    model=OpenAIResponses(id="gpt-4o"),
    knowledge=knowledge,
    instructions=[
        "Utilise ta base de connaissances pour répondre.",
        "Sois précis et cite les informations clés.",
    ],
    markdown=True,
)

# Test avec une question nécessitant la précision keyword
agent.print_response(
    "Quels plats utilisent du lait de coco comme ingrédient principal ?",
    stream=True,
)

from agno.vectordb.lancedb import LanceDb, SearchType
from agno.knowledge.knowledge import Knowledge
from agno.knowledge.embedder.openai import OpenAIEmbedder

EMBEDDER = OpenAIEmbedder(id="text-embedding-3-small")
PDF_URL = "https://agno-public.s3.amazonaws.com/recipes/ThaiRecipes.pdf"

# Test des 3 modes
for search_type, label in [
    (SearchType.vector, "Vectoriel pur"),
    (SearchType.keyword, "BM25 pur"),
    (SearchType.hybrid, "Hybride"),
]:
    knowledge = Knowledge(
        vector_db=LanceDb(
            uri="tmp/lancedb",
            table_name=f"docs_{search_type.value}",
            search_type=search_type,
            embedder=EMBEDDER,
        ),
    )
    knowledge.insert(url=PDF_URL)

    results = knowledge.search("Tom Yum", num_documents=3)
    print(f"\n=== {label} ===")
    for doc in results:
        print(f"  → {doc.content[:150]}...")

Document A : "Marie dirige le projet Alpha qui utilise TensorFlow."
Document B : "TensorFlow est un framework créé par Google."
Document C : "Google a investi 100M€ dans DeepMind en 2023."

Graphe :
Marie ──dirige──▶ Projet Alpha
Projet Alpha ──utilise──▶ TensorFlow
TensorFlow ──créé par──▶ Google
Google ──a investi dans──▶ DeepMind

pip install graphrag

# Initialiser un projet GraphRAG
python -m graphrag init --root ./my-graphrag

# Indexer les documents
python -m graphrag index --root ./my-graphrag

# Requête locale (précise, rapide)
python -m graphrag query --root ./my-graphrag --method local "Qui dirige le projet Alpha ?"

# Requête globale (vue d'ensemble, lente)
python -m graphrag query --root ./my-graphrag --method global "Quels sont les thèmes principaux ?"

from lightrag import LightRAG, QueryParam
from lightrag.llm.openai import gpt_4o_mini_complete

rag = LightRAG(
    working_dir="./lightrag_data",
    llm_model_func=gpt_4o_mini_complete,
)

# Indexer
with open("documents.txt") as f:
    rag.insert(f.read())

# Requêtes en différents modes
print(rag.query("Qui est responsable du projet Alpha ?", param=QueryParam(mode="naive")))
print(rag.query("Qui est responsable du projet Alpha ?", param=QueryParam(mode="local")))
print(rag.query("Qui est responsable du projet Alpha ?", param=QueryParam(mode="global")))
print(rag.query("Qui est responsable du projet Alpha ?", param=QueryParam(mode="hybrid")))