Analyse de Sentiment sur des Tweets Français

import pandas as pd

# Charger un échantillon
df = pd.read_csv("french_tweets.csv", nrows=500)

print(f"Colonnes : {df.columns.tolist()}")
print(f"Taille : {len(df)}")
print(df.head())

# Distribution des sentiments
print("\nDistribution :")
print(df["label"].value_counts())

# Sélectionner 30 tweets de test (équilibrés)
positifs = df[df["label"] == 1].sample(15, random_state=42)
negatifs = df[df["label"] == 0].sample(15, random_state=42)
test_set = pd.concat([positifs, negatifs]).sample(frac=1, random_state=42)

print(f"\nDataset de test : {len(test_set)} tweets")
test_set.to_csv("test_tweets.csv", index=False)

# Charger le dataset de test
test_set = pd.read_csv("test_tweets.csv")

# Template de prompt
prompt_template = """Tu es un expert en analyse de sentiment.
Classe le sentiment du tweet suivant en EXACTEMENT un mot : "positif" ou "négatif".

Tweet : "{tweet}"

Sentiment :"""

# Générer et afficher les prompts
prompts = []
for idx, row in test_set.iterrows():
    prompt = prompt_template.format(tweet=row["text"])
    prompts.append({
        "id": idx,
        "tweet": row["text"],
        "vrai_sentiment": "positif" if row["label"] == 1 else "négatif",
        "prompt": prompt
    })

# Sauvegarder
prompts_df = pd.DataFrame(prompts)
prompts_df.to_csv("prompts_test.csv", index=False)

print(f"{len(prompts)} prompts générés.")
print("\n--- Exemple de prompt ---")
print(prompts[0]["prompt"])

import requests
import time

OPENROUTER_API_KEY = "sk-or-..."  # Votre clé

def ask_model(prompt, model_id):
    """Envoie un prompt à un modèle via OpenRouter."""
    response = requests.post(
        "https://openrouter.ai/api/v1/chat/completions",
        headers={
            "Authorization": f"Bearer {OPENROUTER_API_KEY}",
            "Content-Type": "application/json"
        },
        json={
            "model": model_id,
            "messages": [{"role": "user", "content": prompt}],
            "max_tokens": 10,
            "temperature": 0
        }
    )
    result = response.json()
    return result["choices"][0]["message"]["content"].strip().lower()

# Modèles à tester
models = {
    "GPT-4o-mini": "openai/gpt-4o-mini",
    "Claude Haiku": "anthropic/claude-3-haiku",
    "Gemini Flash": "google/gemini-flash-1.5",
}

# Tester chaque prompt sur chaque modèle
results = []
for _, row in prompts_df.iterrows():
    result = {"tweet": row["tweet"], "vrai": row["vrai_sentiment"]}
    for name, model_id in models.items():
        try:
            answer = ask_model(row["prompt"], model_id)
            # Normaliser la réponse
            if "positif" in answer:
                result[name] = "positif"
            elif "négatif" in answer or "negatif" in answer:
                result[name] = "négatif"
            else:
                result[name] = answer  # Réponse inattendue
        except Exception as e:
            result[name] = f"erreur: {e}"
        time.sleep(0.5)  # Respecter les rate limits
    results.append(result)

results_df = pd.DataFrame(results)
results_df.to_csv("resultats_sentiment.csv", index=False)
print("Tests terminés !")
print(results_df.head(10))

results_df = pd.read_csv("resultats_sentiment.csv")

print("=== Résultats de l''Analyse de Sentiment ===\n")

for model_name in ["GPT-4o-mini", "Claude Haiku", "Gemini Flash"]:
    if model_name not in results_df.columns:
        continue

    correct = (results_df[model_name] == results_df["vrai"]).sum()
    total = len(results_df)
    accuracy = correct / total * 100

    # Détail par classe
    positifs = results_df[results_df["vrai"] == "positif"]
    negatifs = results_df[results_df["vrai"] == "négatif"]

    acc_pos = (positifs[model_name] == positifs["vrai"]).mean() * 100
    acc_neg = (negatifs[model_name] == negatifs["vrai"]).mean() * 100

    print(f"--- {model_name} ---")
    print(f"  Précision globale : {accuracy:.0f}% ({correct}/{total})")
    print(f"  Précision positifs : {acc_pos:.0f}%")
    print(f"  Précision négatifs : {acc_neg:.0f}%")

    # Exemples d''erreurs
    errors = results_df[results_df[model_name] != results_df["vrai"]]
    if len(errors) > 0:
        print(f"  Erreurs ({len(errors)}) :")
        for _, err in errors.head(3).iterrows():
            print(f"    Tweet: \"{err['tweet'][:60]}...\"")
            print(f"    Attendu: {err['vrai']} → Réponse: {err[model_name]}")
    print()