Accès anticipé Inscription gratuite : tous les parcours sont ouverts jusqu'au 15 janvier 2027, sans carte bancaire ni paiement. Créer mon compte gratuit

📖 Cours Jour 17 · Analyser des textes avec un LLM · 30 min

Fiabilité, coût et sécurité

Mesurer la fiabilité : l'échantillon de contrôle

Un LLM ne se croit pas sur parole. On fait classer à la main un échantillon (40 avis chez Verdel, par Romain), puis on compare :

comp = controle.merge(classes, on="id_avis", suffixes=("_humain", "_llm"))
accord_theme = (comp["theme_humain"] == comp["theme_llm"]).mean() * 100
desaccords = comp[comp["theme_humain"] != comp["theme_llm"]]

Chez Verdel : 98 % d'accord sur le thème, 100 % sur le sentiment. Un seul désaccord : « Colis arrivé le lendemain, très bien emballé. », classé en prix par le LLM alors qu'il parle de livraison. Une vraie erreur, rare, mais qui rappelle qu'aucun classement automatique n'est parfait.

Taux d'accord Usage raisonnable
> 90 % Tendances, tableaux de bord, tri des avis à traiter
75 à 90 % Tendances seulement, avec prudence
< 75 % Revoir la consigne, ou le modèle

Même à 98 %, on ne laisse pas le LLM répondre seul à un client mécontent : on l'utilise pour trier, l'humain répond.

Cette leçon est réservée aux abonnés

Pendant l'accès anticipé, tous les cours, vidéos, ateliers, corrections et le certificat sont gratuits jusqu'au 15 janvier 2027, sans carte bancaire.

Créer mon compte gratuit J'ai déjà un compte