Benchmark TTSFR

Test d'écoute — méthode

15 auditeur·rice·s, en aveugle

Le classement automatique (WER, SIM) ne dit rien de ce qu'une oreille humaine perçoit. Ce test le complète avec 3 protocoles distincts, tous en aveugle — aucun nom de modèle n'est jamais affiché, aucun nom de voix ni de participant n'est publié : une comparaison directe entre deux modèles (Test 1), une notation isolée de chaque clip (Test 2), et une comparaison ciblée sur le rendu de l'émotion (Test 3). Panel : 220 comparaisons A/B, 200 notes MOS, 140 votes émotion.

Test 1

Comparaison A/B

Ce test met en comparaison la même phrase, dite par la même voix de référence clonée, générée par 2 modèles différents. L'auditeur·rice écoute les deux clips à l'aveugle (sans savoir quels modèles sont comparés) et choisit celui qu'il ou elle préfère globalement ; il/elle peut aussi signaler des défauts précis entendus sur chaque clip (voix qui ne ressemble pas à la référence, coupure/troncature, répétition, accent, artefact).

Win-rate par modèlevictoire = 1 point, égalité = ½ point

Matrice des duelsligne vs colonne — vert = la ligne gagne, rouge = elle perd

ElevenLabs (Eleven v4)FireRed TTS3OmniVoiceVoxCPM2CosyVoice3-0.5BElevenLabs (Eleven v3)Chatterbox v3XTTS-v2Audio8-TTS-0.6BMOSS-1.5
ElevenLabs (Eleven v4)·4/43/33/4—6/62/21/13/35/5
FireRed TTS30/4·5/1019/264/63/37/86/74/45/5
OmniVoice0/35/10·3/51/12/31/24/58/101/1
VoxCPM21/47/262/5·3/43/53/38/82/25/7
CosyVoice3-0.5B—2/60/11/4·1/41/21/21/11/1
ElevenLabs (Eleven v3)0/60/31/32/53/4·1/21/12/21/2
Chatterbox v30/21/81/20/31/21/2·2/31/22/3
XTTS-v20/11/71/50/81/20/11/3·0/23/3
Audio8-TTS-0.6B0/30/42/100/20/10/21/22/2·1/1
MOSS-1.50/50/50/12/70/11/21/30/30/1·

Défauts entendus, par typepart des duels du modèle concernés

Un graphique par défaut : chaque barre indique sur quelle part des duels de ce modèle les auditeur·rice·s ont coché ce défaut précis. Les défauts ne sont pas additionnés — un même clip peut en cumuler plusieurs, une somme n'aurait pas de sens. Le rapport à un nombre de duels rend la comparaison valable malgré des expositions inégales ; l'échelle est commune aux cinq graphiques.

coupé / tronqué
0%40%80%CosyVoice3-0.5BCosyVoice3-0.5B — coupé / tronqué : signalé sur 8% de ses duels8%MOSS-1.5MOSS-1.5 — coupé / tronqué : signalé sur 7% de ses duels7%ElevenLabs (Eleven v3)ElevenLabs (Eleven v3) — coupé / tronqué : signalé sur 3% de ses duels3%Chatterbox v3Chatterbox v3 — coupé / tronqué : signalé sur 3% de ses duels3%XTTS-v2XTTS-v2 — coupé / tronqué : signalé sur 3% de ses duels3%OmniVoiceOmniVoice — coupé / tronqué : signalé sur 2% de ses duels2%VoxCPM2VoxCPM2 — coupé / tronqué : signalé sur 1% de ses duels1%Audio8-TTS-0.6B0ElevenLabs (Eleven v4)0FireRed TTS30
répétition / manque de rythme
0%40%80%MOSS-1.5MOSS-1.5 — répétition / manque de rythme : signalé sur 10% de ses duels10%Chatterbox v3Chatterbox v3 — répétition / manque de rythme : signalé sur 5% de ses duels5%CosyVoice3-0.5BCosyVoice3-0.5B — répétition / manque de rythme : signalé sur 4% de ses duels4%VoxCPM2VoxCPM2 — répétition / manque de rythme : signalé sur 4% de ses duels4%Audio8-TTS-0.6BAudio8-TTS-0.6B — répétition / manque de rythme : signalé sur 3% de ses duels3%FireRed TTS3FireRed TTS3 — répétition / manque de rythme : signalé sur 3% de ses duels3%XTTS-v2XTTS-v2 — répétition / manque de rythme : signalé sur 3% de ses duels3%OmniVoiceOmniVoice — répétition / manque de rythme : signalé sur 2% de ses duels2%ElevenLabs (Eleven v3)0ElevenLabs (Eleven v4)0
voix ne ressemble pas à la référence
0%40%80%ElevenLabs (Eleven v3)ElevenLabs (Eleven v3) — voix ne ressemble pas à la référence : signalé sur 79% de ses duels79%XTTS-v2XTTS-v2 — voix ne ressemble pas à la référence : signalé sur 63% de ses duels63%Chatterbox v3Chatterbox v3 — voix ne ressemble pas à la référence : signalé sur 37% de ses duels37%CosyVoice3-0.5BCosyVoice3-0.5B — voix ne ressemble pas à la référence : signalé sur 35% de ses duels35%ElevenLabs (Eleven v4)ElevenLabs (Eleven v4) — voix ne ressemble pas à la référence : signalé sur 34% de ses duels34%MOSS-1.5MOSS-1.5 — voix ne ressemble pas à la référence : signalé sur 10% de ses duels10%Audio8-TTS-0.6BAudio8-TTS-0.6B — voix ne ressemble pas à la référence : signalé sur 7% de ses duels7%OmniVoiceOmniVoice — voix ne ressemble pas à la référence : signalé sur 6% de ses duels6%VoxCPM2VoxCPM2 — voix ne ressemble pas à la référence : signalé sur 4% de ses duels4%FireRed TTS30
accent / prononciation non française
0%40%80%Chatterbox v3Chatterbox v3 — accent / prononciation non française : signalé sur 26% de ses duels26%CosyVoice3-0.5BCosyVoice3-0.5B — accent / prononciation non française : signalé sur 23% de ses duels23%Audio8-TTS-0.6BAudio8-TTS-0.6B — accent / prononciation non française : signalé sur 10% de ses duels10%XTTS-v2XTTS-v2 — accent / prononciation non française : signalé sur 8% de ses duels8%FireRed TTS3FireRed TTS3 — accent / prononciation non française : signalé sur 2% de ses duels2%VoxCPM2VoxCPM2 — accent / prononciation non française : signalé sur 1% de ses duels1%ElevenLabs (Eleven v3)0ElevenLabs (Eleven v4)0MOSS-1.50OmniVoice0
artefact / bruit / robotique
0%40%80%XTTS-v2XTTS-v2 — artefact / bruit / robotique : signalé sur 32% de ses duels32%MOSS-1.5MOSS-1.5 — artefact / bruit / robotique : signalé sur 7% de ses duels7%Chatterbox v3Chatterbox v3 — artefact / bruit / robotique : signalé sur 5% de ses duels5%CosyVoice3-0.5BCosyVoice3-0.5B — artefact / bruit / robotique : signalé sur 4% de ses duels4%Audio8-TTS-0.6BAudio8-TTS-0.6B — artefact / bruit / robotique : signalé sur 3% de ses duels3%VoxCPM2VoxCPM2 — artefact / bruit / robotique : signalé sur 2% de ses duels2%FireRed TTS3FireRed TTS3 — artefact / bruit / robotique : signalé sur 1% de ses duels1%ElevenLabs (Eleven v3)0ElevenLabs (Eleven v4)0OmniVoice0
Test 2

Notes MOS

Contrairement au test 1, il n'y a pas de comparaison directe : chaque clip est écouté isolément et anonymisé, puis noté de 1 (mauvais) à 5 (excellent) sur 4 axes — Naturel / Rythme (sonne-t-il comme une vraie voix humaine, au rythme naturel ?), Intelligibilité (comprend-on tout ?), Similarité (ressemble-t-il à la voix de référence ?), Expressivité (le ton correspond-il à la phrase ?). La Naturalité du score global est la moyenne des notes Naturel / Rythme et Expressivité.

Moyenne ± IC 95 % par axeclic sur un en-tête pour trier

Corrélation avec les métriques automatiquesà titre d'info

Le coefficient de Pearson (r, de −1 à 1) mesure si la note humaine et la métrique automatique équivalente varient ensemble, clip par clip : proche de 1 = la métrique automatique est un bon indicateur du jugement humain sur cet axe ; proche de 0 = aucun lien. Sert à vérifier si WER/SIM peuvent remplacer l'oreille humaine — ici, non : voir pourquoi la naturalité reste jugée à l'écoute.

Test 3

Émotion A/B

Comme le test 1 (comparaison à l'aveugle de 2 modèles sur la même phrase), mais les deux clips clonent ici la même voix de référence émotionnelle (ex. la voix « en colère » du même intervenant) sur une phrase du registre correspondant. La question n'est plus « quel modèle est le meilleur en général ? » mais « lequel des deux rend le mieux cette émotion précise ? ».

Win-rate global par modèle

Win-rate par modèle × émotion

Matrice des duelsligne vs colonne — vert = la ligne gagne, rouge = elle perd

ElevenLabs (Eleven v4, émotion par tag)FireRed TTS3ElevenLabs (Eleven v3)OmniVoiceElevenLabs (Eleven v4)VoxCPM2ElevenLabs (Eleven v3, émotion par tag)Chatterbox v3XTTS-v2CosyVoice3-0.5BAudio8-TTS-0.6BMOSS-1.5
ElevenLabs (Eleven v4, émotion par tag)·1/1—1/13/31/1—1/12/2—2/2—
FireRed TTS30/1·1/13/50/25/82/21/1—1/14/47/7
ElevenLabs (Eleven v3)—0/1·——0/13/41/11/1—1/11/1
OmniVoice0/12/5—·0/11/1—2/22/23/35/7—
ElevenLabs (Eleven v4)0/32/2—1/1·————1/1—1/1
VoxCPM20/13/81/10/1—·1/1——5/7—1/1
ElevenLabs (Eleven v3, émotion par tag)—0/21/4——0/1·0/12/2——1/1
Chatterbox v30/10/10/10/2——1/1·1/3—1/45/8
XTTS-v20/2—0/10/2——0/22/3·1/33/30/1
CosyVoice3-0.5B—0/1—0/30/12/7——2/3·——
Audio8-TTS-0.6B0/20/40/12/7———3/40/3—·—
MOSS-1.5—0/70/1—0/10/10/13/81/1——·