Title:
多言語発話認識フレームワークのためのシステム及び方法
Document Type and Number:
Japanese Patent JP2023544336
Kind Code:
A
Abstract:
本明細書に記載される実施形態は、モデルの一般化を改善し、ロングテール問題を緩和するために、統合されたエンド・ツー・エンド訓練として、適応及び調整の両方の方法を組み合わせる多言語発話認識モデルに対するＡ２（Ａｄａｐｔ－ａｎｄ－Ａｄｊｕｓｔ）メカニズムを提供する。具体的には、多言語言語モデルｍＢＥＲＴが利用され、自己回帰型トランスフォーマデコーダに変換される。追加的に、クロスアテンションモジュールが、テキスト空間に加えて音響空間を探索するために、ｍＢＥＲＴのセルフアテンション層の上でエンコーダに追加される。エンコーダとｍＢＥＲＴデコーダの連動した訓練が、発話とテキストの間の意味的ギャップを埋めることができる。
Inventors:
Wang, Gwansen
Hui, Chu Hong
Winata, Genta Indra
Hui, Chu Hong
Winata, Genta Indra
Application Number:
JP2023519865A
Publication Date:
October 23, 2023
Filing Date:
October 01, 2021
Export Citation:
Assignee:
Salesforce, Inc.
International Classes:
G10L15/16; G06N3/0455; G10L15/06; G10L15/065
Attorney, Agent or Firm:
Tadashige Ito
Tadahiko Ito
Osamu Miyazaki
Tadahiko Ito
Osamu Miyazaki
Previous Patent: Adaptive training system and method for machine learning models
Next Patent: Chimeric antigen receptor expression system
Next Patent: Chimeric antigen receptor expression system