Title:
タスク指向対話（ＴＯＤ）言語モデルを訓練するシステム及び方法
Document Type and Number:
Japanese Patent JP2023548851
Kind Code:
A
Abstract:
本願で説明される実施形態は、タスク指向対話（ＴＯＤ）言語モデルを訓練する方法及びシステムを提供する。いくつかの実施形態において、ＴＯＤ言語モデルは、複数の対話を含むＴＯＤデータセットを受け取ることができ、対話の各ユーザ発話に接頭辞として付けられた第１のトークンと各システム応答に接頭辞として付けられた第２のトークンとを使用して、対話からモデル入力シーケンスを生成することができる。いくつかの実施形態において、第１のトークン又は第２のトークンをマスクトークンにランダムに置き換えて、マスクされた訓練シーケンスを生成することができ、マスクされた訓練シーケンスを使用して、マスク言語モデリング（ＭＬＭ）損失を計算することができる。いくつかの実施形態において、ＭＬＭ損失に基づいて、ＴＯＤ言語モデルを更新することができる。
Inventors:
Wu, Chen-Shen
Hui, Chu Hong
Socher, richard
Option, Kaiming
Hui, Chu Hong
Socher, richard
Option, Kaiming
Application Number:
JP2023526668A
Publication Date:
November 21, 2023
Filing Date:
November 03, 2021
Export Citation:
Assignee:
Salesforce, Inc.
International Classes:
G06F40/35; G06F16/90; G06F40/216; G06N3/08
Attorney, Agent or Firm:
Tadashige Ito
Tadahiko Ito
Osamu Miyazaki
Tadahiko Ito
Osamu Miyazaki
Previous Patent: Method for preparing genetically modified cells
Next Patent: Medical device with audio output for use in sterile areas
Next Patent: Medical device with audio output for use in sterile areas