F5R-TTS首次实现非自回归模型的GRPO优化 零样本克隆性能显著提升
鍦ㄤ汉宸ユ櫤鑳芥妧鏈�棩鏂版湀寮傜殑浠婂ぉ锛岃�闊冲悎鎴愶紙TTS锛夐�鍩熸�缁忓巻鐫€涓€鍦哄墠鎵€鏈�湁鐨勬妧鏈�潻鍛姐€傛渶鏂颁竴浠ｆ枃鏈�浆璇�煶绯荤粺涓嶄粎鑳藉�鐢熸垚濯茬編鐪熶汉闊宠川鐨勯珮淇濈湡璇�煶锛屾洿瀹炵幇浜嗐€屽彧鍚�竴娆°€嶅氨鑳藉畬缇庡�鍒荤洰鏍囬煶鑹茬殑闆舵牱鏈�厠闅嗚兘鍔涖€傝繖涓€绐佺牬鎬ц繘灞曠殑鑳屽悗锛屾槸澶ц�妯¤�闊虫暟鎹�殑绉�疮鍜屽ぇ妯″瀷鎶€鏈�殑蹇�€熷彂灞曘€�
鍚屾椂鍦ㄦ妧鏈�墠娌匡紝DeepSeek 绯诲垪鍑�€熷叾 GRPO 绠楁硶锛堢兢浣撶浉瀵圭瓥鐣ヤ紭鍖栵級锛屾�浠ュ己鍖栧�涔犲紩棰嗗ぇ璇�█妯″瀷锛圠LM锛夌爺绌剁殑鏂拌秼鍔裤€傜洰鍓嶏紝寮哄寲瀛︿範宸叉墿灞曡嚦鑷�洖褰� TTS 绯荤粺銆傜劧鑰岋紝鐢变簬闈炶嚜鍥炲綊鏋舵瀯涓庡ぇ鍨嬭�瑷€妯″瀷锛圠LMs锛夊瓨鍦ㄦ牴鏈�€х殑缁撴瀯宸�紓锛屾�鍓嶉潪鑷�洖褰� TTS 绯荤粺灏氭湭鍑虹幇鎴愬姛鐨勫己鍖栧�涔犻泦鎴愭�渚嬶紝杩欎竴鎶€鏈�毦棰樹粛鏈夊緟鍙��鐨勭爺绌惰В鍐虫柟妗堛€�
杩戞棩锛岃吘璁疨CG绀句氦绾跨殑鐮旂┒鍥㈤槦閽堝�杩欎竴鎸戞垬鎻愬嚭浜� F5R-TTS 绯荤粺锛岄�鍒涙€у湴閫氳繃灏嗘ā鍨嬭緭鍑鸿浆鍖栦负姒傜巼琛ㄥ緛锛屾墦閫氫簡闈炶嚜鍥炲綊 TTS 妯″瀷寮哄寲瀛︿範鐨勩€屼换鐫ｄ簩鑴夈€嶃€�
璁烘枃鏍囬�锛欶5R-TTS: Improving Flow-Matching based Text-to-Speech with Group Relative Policy Optimization璁烘枃閾炬帴锛歨ttps://arxiv.org/abs/2504.02407椤圭洰涓婚〉锛歨ttps://frontierlabs.github.io/F5R/
F5R-TTS 鐨勫垱鏂版灦鏋�
F5R-TTS 閫氳繃妯″瀷鏋舵瀯鍒涙柊锛屾湁鏁堣瀺鍚堜簡寮哄寲瀛︿範銆傝繖椤圭爺绌剁殑涓昏�璐＄尞浣撶幇鍦ㄤ笁涓�柟闈�細
姒傜巼鍖栬緭鍑鸿浆鎹�細鐮旂┒鍥㈤槦鍒涙柊鎬у湴灏� flow-matching 鐨� TTS 妯″瀷杈撳嚭杞�寲涓烘�鐜囪〃寰併€傝繖涓€杞�崲浣垮緱寮哄寲瀛︿範鍦ㄩ潪鑷�洖褰掓ā鍨嬩腑鐨勫簲鐢ㄦ垚涓哄彲鑳斤紝涓哄悗缁�殑浼樺寲濂犲畾浜嗗熀纭€銆侴RPO 浼樺寲鏂规硶锛氶�娆℃垚鍔熷皢 GRPO 鏂规硶搴旂敤浜庨潪鑷�洖褰� TTS 妯″瀷锛岄噰鐢ㄨ瘝閿欒�鐜囷紙WER锛夊拰璇磋瘽浜虹浉浼煎害锛圫IM锛変綔涓哄�鍔变俊鍙凤紝鏈夋晥寮曞�妯″瀷浼樺寲鏂瑰悜銆傞浂鏍锋湰璇�煶鍏嬮殕楠岃瘉锛氬湪闆舵牱鏈��闊冲厠闅嗗満鏅�腑锛孎5R-TTS 妯″瀷灞曠幇鍑烘樉钁椾紭鍔裤€傜浉杈冧簬浼犵粺闈炶嚜鍥炲綊 TTS 鍩虹嚎妯″瀷锛屽湪鍙�噦搴︼紙WER 鐩稿�闄嶄綆 29.5%锛夊拰璇磋瘽浜轰竴鑷存€э紙SIM 鐩稿�鎻愬崌 4.6%锛変袱鏂归潰鍧囧疄鐜版樉钁楁彁鍗囥€�
F5R-TTS 鐨勮�缁冩祦绋嬪垎涓轰袱涓�叧閿�樁娈碉細绗�竴闃舵�鍩轰簬 flow-matching 鎹熷け鍑芥暟杩涜�棰勮�缁冿紱绗�簩闃舵�閲囩敤 GRPO 绠楁硶瀵规ā鍨嬭繘琛岀簿缁嗕紭鍖栥€傝繖绉嶄袱闃舵�璁�粌绛栫暐鏃�繚璇佷簡妯″瀷鐨勫垵濮嬫€ц兘锛屽張閫氳繃寮哄寲瀛︿範瀹炵幇浜嗛拡瀵规€т紭鍖栥€�
姒傜巼鍖栨敼閫狅細寮哄寲瀛︿範鐨勫熀纭€
鎴戜滑閫夌敤浜嗗綋鍓嶆晥鏋滈�鍏堢殑闈炶嚜鍥炲綊 TTS鈥斺€擣5-TTS 浣滀负楠ㄦ灦銆備负浜嗕娇闈炶嚜鍥炲綊妯″瀷閫傞厤 GRPO 妗嗘灦锛孎5R-TTS 杩涜�浜嗗叧閿�殑姒傜巼鍖栨敼閫犮€傚叿浣撹€岃█锛屾ā鍨嬭�璁捐�涓洪�娴嬫瘡涓€姝ヨ緭鍑烘椂鐨勫垎甯冩�鐜囷紝鑰岄潪鐩存帴棰勬祴纭�畾鎬х殑杈撳嚭鍊笺€傝繖涓€鏀归€犱娇寰楁ā鍨嬭緭鍑哄叿鏈変簡姒傜巼鍒嗗竷鐗规€э紝涓哄己鍖栧�涔犱腑鐨勭瓥鐣ユ�搴﹁�绠楁彁渚涗簡蹇呰�鏉′欢銆�
鍦ㄧ�涓€闃舵�棰勮�缁冧腑锛岀洰鏍囧嚱鏁颁粛閲囩敤 flow-matching 鐨勫舰寮忥紝鍏舵牳蹇冩€濇兂鏄�皢鏍囧噯姝ｆ€佸垎甯� x0 鐨勬�鐜囪矾寰勫尮閰嶅埌杩戜技鐪熷疄鏁版嵁 x1 鐨勫垎甯冧笂銆傛ā鍨嬪湪鏈€鍚庝竴灞傞�娴嬮珮鏂�垎甯冪殑鍧囧€间笌鏂瑰樊锛屽苟閫氳繃浼樺寲鍙傛暟浠ユ渶澶у寲 x1 鈭抶0 鐨勫�鏁颁技鐒跺嚱鏁般€傝繖涓€杩囩▼鍙�互褰㈠紡鍖栦负浠ヤ笅鐩�爣鍑芥暟锛�
绠€鍖栧悗锛屾ā鍨嬩娇鐢ㄤ笅寮忎綔涓洪�璁�粌鐨勭洰鏍囧嚱鏁�
GRPO 寮哄寲
鍦� GRPO 闃舵�锛岄�璁�粌妯″瀷浣滀负绛栫暐妯″瀷杩涜�寰�皟锛屽悓鏃朵互棰勮�缁冨弬鏁板垵濮嬪寲鍙傝€冩ā鍨嬨€�
鍏蜂綋瀹炵幇涓婏紝绛栫暐妯″瀷鐨勫墠鍚戣繍绠楅渶瑕佹墽琛岀被浼兼帹鐞嗚繃绋嬬殑閲囨牱鎿嶄綔 鈥斺€� 浠庢爣鍑嗛珮鏂�垎甯冨垵濮嬭緭鍏ュ紑濮嬶紝閫愭�璁＄畻姣忎竴姝ョ殑杈撳嚭姒傜巼鍒嗗竷锛屽苟杩涜�閲囨牱銆傞噰鏍风粨鏋滄棦鐢ㄤ簬璁＄畻濂栧姳淇″彿锛屼篃闇€瑕佷笌鍙傝€冩ā鍨嬭緭鍑烘瘮杈冧互璁＄畻 KL 鏁ｅ害鎹熷け锛岀‘淇濅紭鍖栬繃绋嬬殑绋冲畾鎬с€�
濂栧姳鍑芥暟鐨勮�璁℃槸 GRPO 闃舵�鐨勬牳蹇冦€傜爺绌跺洟闃熼€夋嫨浜嗚瘝閿欒�鐜囷紙WER锛夊拰璇磋瘽浜虹浉浼煎害锛圫IM锛変綔涓轰富瑕佸�鍔辨寚鏍囷紝鍒嗗埆瀵瑰簲璇�煶鍏嬮殕浠诲姟涓�渶鍏抽敭鐨勪袱涓�柟闈�細璇�箟鍑嗙‘鎬у拰闊宠壊淇濈湡搴︺€�
鏈€缁堬紝GRPO 闃舵�鐨勭洰鏍囧嚱鏁板畾涔夊�涓嬶細
瀹為獙
鐮旂┒鍥㈤槦璁捐�浜嗗叏闈㈢殑瀹為獙鏉ラ獙璇� F5R-TTS 鐨勬湁鏁堟€с€傚疄楠岃�缃�寘鎷�細
棰勮�缁冮樁娈碉細閲囩敤 7226 灏忔椂寮€婧愭暟鎹�泦 WenetSpeech4TTS BasicGRPO 寰�皟锛氶殢鏈洪€夊彇 100 灏忔椂楂樿川閲忚�闊虫暟鎹�瘎浼颁綋绯伙細鍩轰簬 Seed-TTS 娴嬭瘯鏍囧噯锛屾瀯寤哄寘鍚� 2560 涓�祴璇曟牱鏈�紙鍚� 400 涓�珮闅惧害鏍锋湰銆�140 涓�甫鍣�牱鏈�級鐨勮瘎浼伴泦锛岃�绠� WER 鍜� SIM
鐮旂┒鍥㈤槦棣栧厛閲囩敤 t-SNE 鎶€鏈��璇磋瘽浜虹浉浼煎害杩涜�浜岀淮绌洪棿鍙��鍖栥€傜粨鏋滃�鍥� 4 鏄剧ず锛屽�姣斿叾浠栨柟娉曪紝F5R-TTS 妯″瀷鐨勫悎鎴愮粨鏋滆兘澶熸洿鍑嗙‘鍦版寜鐓х洰鏍囪�璇濅汉瀹炵幇鑱氱被銆傝繖涓€鍙��鍖栫粨鏋滅洿瑙傚湴璇佹槑浜� F5R-TTS 妯″瀷鍦ㄨ�璇濅汉鐩镐技搴︽柟闈㈢殑浼樿秺琛ㄧ幇銆�
鍏舵�锛岄噰鐢ㄥ叏灞€鏂瑰樊锛圙lobal Variance, GV锛夋寚鏍囪繘琛岄�璋卞垎鏋愩€傚�鍥� 5 鎵€绀猴紝F5R 妯″瀷鐨勬洸绾夸笌鐪熷疄璇�煶鐨勬洸绾垮惢鍚堝害鏈€楂橈紝鍐嶆�楠岃瘉 F5-R 妯″瀷鐨勫悎鎴愯�闊冲湪棰戣氨鐗规€т笂涓庣湡瀹炶�闊冲叿鏈夋洿楂樼殑鐩镐技鎬с€�
瀹㈣�娴嬭瘎鎸囨爣琛ㄦ槑锛岄噰鐢� WER 鍜� SIM 浣滀负濂栧姳淇″彿鐨� GRPO 鏂规硶锛屼娇 F5R-TTS 鐩歌緝浜庡熀绾垮湪璇�箟鍑嗙‘鎬у拰璇磋瘽浜虹浉浼煎害涓や釜缁村害鍧囪幏寰楁彁鍗囥€傚湪璇磋瘽浜虹浉鍏冲�鍔辩殑寮曞�涓嬶紝F5R 鑳藉�閫氳繃涓婁笅鏂囧�涔犳洿绮惧噯鍦板厠闅嗙洰鏍囪�璇濅汉鐨勫０瀛︾壒寰併€�
鍊煎緱娉ㄦ剰鐨勬槸锛屽湪鍥伴毦娴嬭瘯闆嗕笂锛孎5R 鍦� WER 鎸囨爣涓婄殑鐩稿�浼樺娍鏇翠负鏄捐憲 鈥斺€� 杩欏緱鐩婁簬 WER 鐩稿叧濂栧姳缁勪欢鏈夋晥澧炲己浜嗘ā鍨嬬殑璇�箟淇濇寔鑳藉姏銆傚彟澶栵紝涓洪獙璇佹墍鎻愭柟娉曠殑娉涘寲鑳藉姏锛屽疄楠岃繕鐢ㄥ湪鍐呴儴鏁版嵁闆嗕笂杩涜�浜嗛噸澶嶉獙璇侊紝缁撴灉琛ㄦ槑 GRPO 鏂规硶鍦ㄤ笉鍚屾暟鎹�泦涓婇兘鑳芥寔缁�彁鍗囨ā鍨嬫€ц兘銆�
鍚屾椂锛屼笁涓�ā鍨嬪湪鍥伴毦娴嬭瘯闆嗕笂鐨勬€ц兘鍧囧嚭鐜颁笅闄嶏紝杩欒〃鏄庢枃鏈��鏉傚害鐨勫�鍔犻€氬父浼氬�鑷存ā鍨嬬ǔ瀹氭€ч檷浣庛€傝�鐜拌薄灏嗘垚涓哄悗缁�紭鍖栫爺绌剁殑閲嶈�鍒囧叆鐐广€�
鏈�潵灞曟湜
F5R-TTS 棣栨�鎴愬姛灏� GRPO 鏁村悎鍒伴潪鑷�洖褰� TTS 绯荤粺涓�紝绐佺牬浜嗛潪鑷�洖褰掓ā鍨嬮毦浠ュ簲鐢ㄥ己鍖栧�涔犵殑鎶€鏈�摱棰堛€傚疄楠岃瘉鏄庤�鏂规硶鑳藉悓鏃舵彁鍗囪�涔夊噯纭�€у拰闊宠壊淇濈湡搴︼紝涓洪浂鏍锋湰璇�煶鍏嬮殕鎻愪緵浜嗘洿浼樿В鍐虫柟妗堛€傛枃绔犳彁鍑虹殑姒傜巼鍖栬緭鍑鸿浆鎹㈢瓥鐣ヤ负鍏朵粬鐢熸垚妯″瀷鐨勫己鍖栧�涔犱紭鍖栨彁渚涗簡鍙�€熼壌鐨勬€濊矾銆傝繖椤圭爺绌朵笉浠呮帹鍔ㄤ簡璇�煶鍚堟垚鎶€鏈�湰韬�殑鍙戝睍锛屼篃涓哄叾浠栫敓鎴愬紡 AI 妯″瀷鐨勪紭鍖栨彁渚涗簡鏂版€濊矾銆�
灞曟湜鏈�潵锛岀爺绌跺洟闃熻�鍒掍粠涓変釜鏂瑰悜缁х画娣卞叆鎺㈢储锛�
寮哄寲瀛︿範绠楁硶鎵╁睍锛氭帰绱㈠皢 PPO銆丏DPO 绛夊叾浠栧己鍖栧�涔犵畻娉曟暣鍚堝埌闈炶嚜鍥炲綊璇�煶鍚堟垚绯荤粺鐨勫彲琛屾€э紝瀵绘眰鏇撮珮鏁堢殑浼樺寲璺�緞銆傚�鍔卞嚱鏁颁紭鍖栵細璁捐�鏇寸簿缁嗐€佸�灞傛�鐨勫�鍔卞嚱鏁帮紝杩涗竴姝ユ彁鍗囨ā鍨嬪湪鑷�劧銆佷釜鎬у寲鍜岃〃鐜板姏绛夋柟闈㈢殑鏁堟灉銆傚ぇ瑙勬ā鏁版嵁楠岃瘉锛氬湪鏇村ぇ瑙勬ā銆佹洿澶氭牱鍖栫殑璁�粌鏁版嵁涓婇獙璇佹柟娉曠殑鎵╁睍鎬э紝鎺㈢储鏁版嵁瑙勬ā涓庢ā鍨嬫€ц兘鐨勯噺鍖栧叧绯汇€�
闅忕潃鎶€鏈�殑涓嶆柇鎴愮啛锛屾湡寰呮湭鏉ュ嚭鐜版洿鍔犺嚜鐒躲€佷釜鎬у寲鍜屽瘜鏈夎〃鐜板姏鐨勮�闊冲悎鎴愮郴缁燂紝涓烘櫤鑳戒氦浜掋€佸唴瀹瑰垱浣溿€佽緟鍔╂妧鏈�瓑棰嗗煙甯︽潵鍏ㄦ柊鍙�兘銆�