Ce qui le distingue
Là où presque tous les TTS modernes découpent l'audio en petits jetons discrets (comme des lettres d'un alphabet sonore), FireRed travaille sur des représentations continues « enrichies sémantiquement ». Concrètement, chez nous : meilleur score global du classement, et aucune anomalie détectée (ni hallucination, ni répétition, ni troncature) sur la voix de référence principale.
Choix techniques
ce que ses auteurs ont décidé, et ce que ça impliqueDeux gros modèles chargés en même temps
Le dossier de poids contient un cœur de génération de 2,12 milliards de paramètres et un auto-encodeur audio « RedAE » de 0,94 milliard (comptés directement dans les fichiers safetensors de la révision que nous faisons tourner). C'est ce cumul, pas un seul gros modèle, qui explique les ~8 Go de VRAM nécessaires.
La langue se déclare, elle ne se devine pas
La model card précise que la variante Base « s'appuie sur des balises de langue explicites pour de meilleures performances ». Notre adaptateur passe donc explicitement language="French" à chaque appel. Une détection automatique (fastText) existe en option, nous ne l'utilisons pas : on préfère dire la langue plutôt que la laisser deviner.
Une normalisation du texte qui ne couvre pas le français
L'outil de normalisation par défaut (wetext) ne gère que le chinois et l'anglais ; les autres langues ne reçoivent qu'un nettoyage basique. Les nombres, dates et heures français ne sont donc pas verbalisés par le modèle, sauf à activer une normalisation par LLM (qui exige des identifiants d'API externes — écarté ici pour rester reproductible).
Clonage avec transcription fournie
Le clonage ne prend pas seulement l'extrait audio de référence : il prend aussi sa transcription écrite. Nous stockons donc, à côté de chaque voix, le texte exact de l'extrait.
Fondations empruntées
Les remerciements de la model card citent Qwen3 et Qwen2-Audio pour la partie modèle de langue, et X-Codec pour le discriminateur utilisé à l'entraînement de RedAE.
Langues couvertes
liste explicite de la model card officielle24 langues, dont le français — plus 21 dialectes chinois
arabe, cantonais, chinois, tchèque, néerlandais, anglais, finnois, FRANÇAIS, allemand, grec, hindi, indonésien, italien, japonais, coréen, polonais, portugais, roumain, russe, espagnol, thaï, turc, ukrainien, vietnamien
Ce qu'on peut régler
paramètres exposés par ce modèleRelevé dans la signature du code réellement installé pour nos runs (et dans la documentation officielle quand elle précise les valeurs recommandées). Chaque modèle expose des leviers différents : c'est souvent là que se joue la différence entre un résultat correct et un bon résultat.
| paramètre | défaut | ce que ça change |
|---|---|---|
| language | None (détection auto) | Langue cible, déclarée explicitement ("French" chez nous). La model card précise que la variante Base fonctionne mieux avec une balise explicite qu'en détection automatique. |
| n_timesteps | 10 | Nombre d'étapes de raffinement du signal. Plus haut = plus propre mais plus lent : c'est le curseur qualité/vitesse principal. |
| inference_cfg | 2.0 | Force du guidage : à quel point le modèle colle au texte et à la voix de référence plutôt que de « partir en improvisation ». |
| seed | 1234 | Graine aléatoire propre au modèle — l'un des rares du benchmark à en exposer une, ce qui rend nos répétitions vraiment différentes. |
| do_tn / do_clean / do_split | True | Normalisation du texte, nettoyage et découpage automatique en segments (bornés par token_min_n / token_max_n). |
| prompt_text + prompt_audio | — | Le couple extrait de référence + sa transcription : c'est ce qui définit la voix clonée. |
Ce qu'on mesure sur ce modèle
nos runs, pas les chiffres de l'éditeurÀ l'oreilletest d'écoute en aveugle
Détail complet : table de toutes les métriques · résultats du test d'écoute.
Réglages de génération utilisés
relevés dans les métadonnées de nos runsCes valeurs sont celles réellement passées au modèle pour produire les audios mesurés — pas des réglages recommandés recopiés d'une documentation. Elles sont écrites par l'adaptateur dans le meta.json de chaque run.
À savoir avant de l'utiliser
pièges, limites, nuances de licence- La licence affichée est Apache-2.0, mais la model card ajoute un avertissement d'usage : la fonction de clonage de voix y est décrite comme « destinée uniquement à des fins de recherche académique ». Les deux informations viennent de la même page officielle — à arbitrer avant tout usage produit.
flash-attnest obligatoire : le code de RedAE impose en durattn_implementation="flash_attention_2", il n'y a pas de repli possible (constaté à l'installation, cf.models/firered_tts3/requirements.txt).- Pas de paquet PyPI : le code vient du dépôt GitHub, épinglé sur un commit précis dans
models.lock.
Sources & vérification
vérifié le 2026-09-12Les comptes de paramètres cités plus haut sont lus directement dans les fichiers de poids de la révision épinglée ci-dessous (en-têtes safetensors / torch), pas repris d'une annonce. Les caractéristiques annoncées proviennent de la model card officielle, liée ici. Les chiffres de performance viennent de nos propres runs.
Note de licence : apache-2.0 confirmé (métadonnée HF + LICENSE du dépôt). ATTENTION : la même model card ajoute un « Usage Disclaimer » affirmant que la fonction de clonage de voix est « intended solely for academic research purposes » — non repris dans le texte de licence Apache-2.0 lui-même, mais à arbitrer avant tout usage produit du clonage (relevé le 2026-09-12).