Benchmark TTSFR

Métriques par modèle

toutes voix confondues · triable

Cette table réunit toutes les métriques automatiques mesurées pour chaque modèle — aucune écoute humaine ici, c'est la vue « instruments » du benchmark. Elle sert à comparer les modèles sur un axe précis plutôt que sur un seul score : lequel se trompe le moins de mots (WER) ? lequel garde le mieux le timbre de la voix clonée (SIM) ? lequel est le plus rapide (RTF) ? le plus stable d'une répétition à l'autre (CV durée) ?

Comment l'utiliser — survole l'intitulé d'une colonne pour lire ce qu'elle mesure exactement ; clique dessus pour trier la table selon cette colonne (reclique pour inverser l'ordre), ou passe par le menu déroulant « Trier » ci-dessous pour les tris les plus courants. Clique n'importe où sur une ligne de modèle pour déplier son détail : le WER se recalcule alors par longueur de phrase, par registre (narration, dialogue…) et par piège testé (liaison, nombre, homographe…) — utile pour voir SUR QUOI un modèle trébuche, pas seulement s'il trébuche.

Comment chaque ligne est construite — elle agrège toutes les voix de référence et registres émotionnels du modèle en une seule moyenne, pondérée par le nombre de runs (une voix de narration à 99 runs pèse donc plus qu'un registre émotionnel à 6 runs). Les combinaisons (modèle, voix) au WER > 30 % sont écartées de cette moyenne : un échec de clonage sur une seule voix ne doit pas noyer le reste des résultats du modèle.

Deux limites à garder en tête — aucune métrique de naturalité automatique n'est incluse (UTMOS, TTSDS2 et NISQA se sont révélés peu fiables en français) : la naturalité perçue se lit sur le test d'écoute, pas ici. Et Kokoro n'a qu'une voix interne fixe (pas de clonage) : ses chiffres ne portent que sur cette voix précise, à ne pas comparer directement à ceux des autres modèles.

meilleurcorrectà surveiller↓ plus bas = mieux↑ plus haut = mieux