Ce qui le distingue
C'est l'architecture la plus « démontable » du benchmark : un modèle de langue produit des jetons de parole, un module de flow matching les transforme en spectrogramme, un vocodeur en fait du son, et deux modèles ONNX annexes s'occupent de découper l'audio de référence et d'en extraire l'empreinte du locuteur. Chaque étage est un fichier distinct.
Choix techniques
ce que ses auteurs ont décidé, et ce que ça impliqueQuatre fichiers, quatre rôles
Mesuré dans les poids épinglés : le modèle de langue pèse 642 millions de paramètres (architecture Qwen2, 24 couches, dimension 896), le module de flow matching 332 millions, le vocodeur 21 millions. S'y ajoutent un tokenizer de parole au format ONNX (environ 970 Mo) et un extracteur d'empreinte vocale.
Piloté par instructions en langage naturel
La model card annonce le contrôle par instruction (langue, dialecte, émotion, vitesse, volume) et 9 langues dont le français, plus 18 dialectes chinois. Notre benchmark n'utilise que le mode de clonage « zero-shot » pour rester comparable.
Langues couvertes
métadonnéeslanguage: + liste explicite de la model card9 langues, dont le français — plus 18 dialectes/accents chinois
chinois, anglais, japonais, coréen, allemand, espagnol, FRANÇAIS, italien, russe
Ce qu'on peut régler
paramètres exposés par ce modèleRelevé dans la signature du code réellement installé pour nos runs (et dans la documentation officielle quand elle précise les valeurs recommandées). Chaque modèle expose des leviers différents : c'est souvent là que se joue la différence entre un résultat correct et un bon résultat.
| paramètre | défaut | ce que ça change |
|---|---|---|
mode d'inférence (inference_zero_shot, inference_instruct2, inference_cross_lingual, inference_vc…) | zero_shot | Ici le « paramètre » principal est le choix du mode d'appel : clonage classique, clonage piloté par instruction, clonage d'une langue vers une autre, ou conversion de voix. Notre benchmark n'utilise que le clonage zero-shot, pour rester comparable aux autres modèles. |
| instruct_text | — | Consigne en langage naturel (dialecte, émotion, vitesse, volume) passée avec le texte dans les modes « instruct ». |
| speed | 1.0 | Facteur de vitesse d'élocution, disponible sur tous les modes d'inférence. |
| text_frontend | True | Active la normalisation de texte maison du projet avant synthèse. |
| stream | False | Génération en flux, pour commencer à jouer l'audio avant la fin. |
Ce qu'on mesure sur ce modèle
nos runs, pas les chiffres de l'éditeurÀ l'oreilletest d'écoute en aveugle
Détail complet : table de toutes les métriques · résultats du test d'écoute.
Réglages de génération utilisés
relevés dans les métadonnées de nos runsCes valeurs sont celles réellement passées au modèle pour produire les audios mesurés — pas des réglages recommandés recopiés d'une documentation. Elles sont écrites par l'adaptateur dans le meta.json de chaque run.
À savoir avant de l'utiliser
pièges, limites, nuances de licence- Le checkpoint n'est pas un fichier unique : c'est un assemblage multi-fichiers (
llm.pt,flow.pt,hift.pt+ ONNX). La variante « -0.5B » nue est soumise à autorisation sur Hugging Face, d'où l'usage de la versionFun-CosyVoice3-0.5B-2512.
Sources & vérification
vérifié le 2026-09-12Les comptes de paramètres cités plus haut sont lus directement dans les fichiers de poids de la révision épinglée ci-dessous (en-têtes safetensors / torch), pas repris d'une annonce. Les caractéristiques annoncées proviennent de la model card officielle, liée ici. Les chiffres de performance viennent de nos propres runs.
Note de licence : apache-2.0 confirmé (métadonnée HF)