Ce qui le distingue
Son architecture « DualAR » travaille à deux vitesses : un transformeur « lent » prédit un jeton de sens par image audio, un transformeur « rapide » remplit ensuite les couches de codec de cette image. L'éditeur revendique s'être inspiré de Fish Audio S2 Pro. Résultat : la qualité d'un gros modèle avec une empreinte mémoire de petit modèle.
Choix techniques
ce que ses auteurs ont décidé, et ce que ça implique601 millions de paramètres — annonce et mesure concordent
La model card annonce 601 159 424 paramètres hors codec ; nous comptons 601,2 millions dans les poids épinglés. Le codec audio livré à côté pèse 337,4 millions de plus.
Un codec en 44,1 kHz, 10 couches
La configuration déclare 10 codebooks de 4 096 entrées et un codec à 44 100 Hz (environ 21,5 images par seconde). Notre socle ré-échantillonne vers 24 kHz pour que tous les modèles soient comparés sur le même format.
Le code d'inférence est DANS le dépôt de poids
Le modèle se charge via trust_remote_code : les fichiers Python d'inférence sont livrés avec les poids. Conséquence appréciable pour la reproductibilité : épingler la révision fige aussi le code, sans dépôt de code séparé à synchroniser.
Clonage avec transcription
Comme FireRed, il attend l'extrait de référence ET sa transcription exacte.
Langues couvertes
métadonnéeslanguage: + section « Supported Languages » de la model card11 langues recommandées, dont le français
cantonais, chinois, néerlandais, anglais, FRANÇAIS, allemand, italien, japonais, coréen, polonais, espagnol
Ce qu'on peut régler
paramètres exposés par ce modèleRelevé dans la signature du code réellement installé pour nos runs (et dans la documentation officielle quand elle précise les valeurs recommandées). Chaque modèle expose des leviers différents : c'est souvent là que se joue la différence entre un résultat correct et un bon résultat.
| paramètre | défaut | ce que ça change |
|---|---|---|
| max_new_tokens | 1024 (exemple de la card) | Longueur maximale générée. C'est un garde-fou anti-emballement, mais aussi un risque de troncature s'il est trop bas : nous l'avons monté à 4 096 pour nos segments les plus longs. |
| temperature | 0.8 | Aléa du décodage — plus haut = plus varié, plus risqué. |
| top_p / top_k | 0.95 / 50 | Filtrage des jetons candidats au moment du tirage. |
| do_sample | True | Bascule entre tirage aléatoire et décodage déterministe (le mode déterministe rend les répétitions identiques entre elles). |
| reference_audio + reference_text | — | Extrait de référence et sa transcription. Les omettre bascule le modèle en génération sans voix de référence. |
Ce qu'on mesure sur ce modèle
nos runs, pas les chiffres de l'éditeurÀ l'oreilletest d'écoute en aveugle
Détail complet : table de toutes les métriques · résultats du test d'écoute.
Réglages de génération utilisés
relevés dans les métadonnées de nos runsCes valeurs sont celles réellement passées au modèle pour produire les audios mesurés — pas des réglages recommandés recopiés d'une documentation. Elles sont écrites par l'adaptateur dans le meta.json de chaque run.
À savoir avant de l'utiliser
pièges, limites, nuances de licence- Statut « preview » assumé par l'éditeur : la couverture linguistique est volontairement limitée à 11 langues recommandées (dont le français) et la stabilité du clonage dépend beaucoup de la qualité de la référence.
- Nous avons relevé
max_new_tokensde 1 024 (valeur de l'exemple de la model card, calibrée pour une phrase courte) à 4 096, pour éviter de tronquer nos segments les plus longs. - Attention à la lecture du classement à l'écoute : il y arrive en dernier pour l'instant, mais sur très peu de duels — c'est un modèle ajouté récemment, ses intervalles de confiance sont encore larges.
Sources & vérification
vérifié le 2026-09-12Les comptes de paramètres cités plus haut sont lus directement dans les fichiers de poids de la révision épinglée ci-dessous (en-têtes safetensors / torch), pas repris d'une annonce. Les caractéristiques annoncées proviennent de la model card officielle, liée ici. Les chiffres de performance viennent de nos propres runs.
Note de licence : apache-2.0 confirmé (métadonnée HF)