\¥0 2020/174952 1 ?01/^2020/002239

明 細 書

発明の名称 ：

情報処理方法、 情報処理装置及び情報処理プログラム

技術分野

[0001 ] 本開示は、 情報処理方法、 情報処理装置及び情報処理プログラムに関す る 背景技術

[0002] 様々な技術分野において、 機械学習を利用した情報処理が活用されてお り 、 機械学習により生成されたモデルに関する情 報をユーザに提供する技術が 提供されてきている。

先行技術文献

特許文献

[0003] 特許文献 1 :国際公開第 2 0 1 7 / 1 5 4 2 8 4号

発明の概要

発明が解決しようとする課題

[0004] 従来技術によれば、 ネッ トワークの評価結果に基づくパレート最適解 等の 情報を表示する。

[0005] しかしながら、 従来技術は、 ユーザが所望のモデルを生成することができ るとは限らない。 例えば、 従来技術では、 ネッ トワーク等のモデルの評価結 果等の情報を表示しているに過ぎず、 ユーザの選択に応じた柔軟なモデル生 成を可能にすることが難しい。

[0006] そこで、 本開示では、 ユーザの選択に応じた柔軟なモデル生成を可 能にす ることができる情報処理方法、 情報処理装置及び情報処理プログラムを提案 する。

課題を解決するための手段

[0007] 上記の課題を解決するために、 本開示に係る一形態の情報処理方法は、 機 〇 2020/174952 2 卩（：171? 2020 /002239

械学習により生成されたモデルに入カデー タが入力された場合の出力と、 前 記入カデータに対応する正解情報との関係に 基づく結果情報を取得し、 取得 した前記結果情報を、 前記機械学習時の重要度を指定する対象とし て選択可 能に表示するように制御する。

図面の簡単な説明

［0008］ ［図 1］本開示の実施形態に係る情報処理の一例� �示す図である。

［図 2］本開示の実施形態に係る情報処理システ� �の構成例を示す図である。

［図 3］本開示の実施形態に係る情報処理装置の� �成例を示す図である。

［図 4］本開示の実施形態に係るモデルタイプ情� �記憶部の一例を示す図である

［図 5］本開示の実施形態に係る誤差関数情報記� �部の一例を示す図である。

［図 6］本開示の実施形態に係る獲得モデル情報� �憶部の一例を示す図である。 ［図 7］本開示の実施形態に係る適用誤差関数情� �記憶部の一例を示す図である

［図 8］本開示の実施形態に係る重要度情報記憶� �の一例を示す図である。

［図 9］本開示の実施形態に係る学習用データ記� �部の一例を示す図である。

［図 10］本開示の実施形態に係る端末装置の構成� ��を示す図である。

［図 1 1］本開示の実施形態に係る情報処理の手順� �示すフローチヤートである

［図 12］各情報処理に対応する機能ブロツクの概� ��図の一例を示す図である。 ［図 13］情報の表示等の情報処理の一例を示す図� ��ある。

［図 14］情報の表示等の情報処理の一例を示す図� ��ある。

［図 15］情報の表示等の情報処理の一例を示す図� ��ある。

［図 16］情報の表示等の情報処理の一例を示す図� ��ある。

［図 17］情報の表示等の情報処理の一例を示す図� ��ある。

［図 18］情報の表示等の情報処理の一例を示す図� ��ある。

［図 19］本開示の変形例に係る情報処理装置の構� ��例を示す図である。

［図 20］本開示の変形例に係る獲得モデル情報記� ��部の一例を示す図である。 〇 2020/174952 卩（：171? 2020 /002239

［図 21］本開示の変形例に係る適用誤差関数情報� ��憶部の一例を示す図である

〇

［図 22］本開示の変形例に係る重要度情報記憶部� ��一例を示す図である。

［図 23］本開示の変形例に係る学習用データ記憶� ��の一例を示す図である。

［図 24］情報処理装置や端末装置の機能を実現す� ��コンピュータの一例を示す ハードウエア構成図である。

発明を実施するための形態

［0009］ 以下に、 本開示の実施形態について図面に基づいて詳 細に説明する。 なお 、 この実施形態により本願にかかる情報処理方 法、 情報処理装置及び情報処 理プログラムが限定されるものではない。 また、 以下の各実施形態において 、 同一の部位には同一の符号を付することによ り重複する説明を省略する。

［0010］ 以下に示す項目順序に従って本開示を説明す る。

1. 実施形態

1 - 1. 本開示の実施形態に係る情報処理の概要

1 -2. 実施形態に係る情報処理システムの構成

1 -3. 実施形態に係る情報処理装置の構成

1 -4. 実施形態に係る端末装置の構成

1 -5. 実施形態に係る情報処理の手順

1 -6. 機能ブロックの概念図

1 -7. 情報の表示及び選択等

1 _ 7 _ 1. 定量的表示に対する範囲選択

1 -7 -2. 定性的表示

1 -7 -3. 定性的表示に対する選択その 1

1 - 7 -4. 定性的表示に対する選択その 2

1 -7 -5. その他の表示に対する選択その 1

1 —7—6. その他の表示に対する選択その 2

2. その他の構成例

2- 1. 変形例に係る情報処理装置の構成 〇 2020/174952 4 卩（：171? 2020 /002239

3 . ハードウエア構成

[001 1 ] [ 1 . 実施形態]

[ 1 - 1 . 本開示の実施形態に係る情報処理の概要]

図 1は、 本開示の実施形態に係る情報処理の一例を示 す図である。 本開示 の実施形態に係る情報処理は、 情報処理装置 1 〇〇 （図 3参照） や端末装置 1 0 （図 1 0参照） によって実現される。

[0012] 図 1の例では、 機械学習による生成対象となる学習モデル （以下単に 「モ デル」 ともいう） が、 画像情報である入カデータに含まれる数字が 「0」 か ら 「9」 の数字を認識するモデルである場合を示す。 この場合、 モデルは、 入カデータが入力された場合、 入カデータに含まれる数字が 「〇」 から 「9 」 のいずれであるかを示す予測ラベル （以下 「出力」 ともいう） を出力する 。 また、 各入カデータには、 学習用データ記憶部 1 2 6 （図 9参照） に示す ように、 各々の正解情報 （以下 「正解ラベル」 ともいう） 対応付けられてい る。

[0013] 図 1の例では、 ユーザ II 1が 「0」 から 「9」 の数字を認識するモデル （ 以下 「数字認識モデル」 ともいう） を生成する場合を一例として説明する。

[0014] 例えば、 情報処理装置 1 0 0は、 正解ラベルが対応付けられた入カデータ を収集する。 情報処理装置 1 0 0は、 モデル生成を行うユーザから正解ラべ ルが対応付けられた入カデータを収集する。 図 1の例では、 情報処理装置 1 0 0は、 ユーザ II 1が利用する端末装置 1 0から正解ラベルが対応付けられ た入カデータを収集する。 情報処理装置 1 0 0は、 ユーザ II 1が利用する端 末装置 1 0から、 正解ラベルが対応付けられた手書き数字の入 カデータ群 （ 以下 「手書き数字認識用データセッ ト」 ともいう） を収集する。

[0015] そして、 情報処理装置 1 0 0は、 収集した正解ラベルが対応付けられた入 カデータを用いて、 設定した誤差関数を最小化するように学習処 理を行い、 数字認識モデルを生成する。 また、 例えば、 情報処理装置 1 〇〇は、 学習に 利用していないデータを用いて性能評価を行 う。 図 1の例では、 ユーザ II 1 が誤差関数として誤差関数 （3丁 2 （クロスエントロピ） を選択した場合を 一例として説明する。 情報処理装置 1 〇〇は、 ユーザ U 1が利用する端末装 置 1 〇から誤差関数 F C T 2を選択したことを示す情報を取得し、 誤差関数 F C T 2を下記の式 （1） の右辺中の 1つ目の要素である第 1誤差関数 「L 」 として用いる。 なお、 下記の式 （1） の右辺中の 2つ目の要素である第 2 誤差関数 「å <¾ i _j 丨 _N 」 についての詳細は後述する。

[0016] 例えば、 情報処理装置 1 0 0は、 第 1誤差関数 「L」 については、 平均二 乗誤差 （mean square er ror） 、 ソフトマツクス （sof tmax） 、 クロスエン トロピ （cross ent ropy） 等の一般的な関数の情報をユーザに提供し、 ユー ザに選択させる。 情報処理装置 1 〇〇は、 誤差関数情報記憶部 1 2 2 （図 5 参照） に記憶された各誤差関数の一覧情報を端末装 置 1 〇に送信し、 一覧情 報を端末装置 1 〇に表示させ、 端末装置 1 〇を利用するユーザに誤差関数を 選択させてもよい。 なお、 情報処理装置 1 0 0は、 ユーザがプログラミング 言語を利用して自分で設定可能にしてもよい 。 例えば、 情報処理装置 1 〇〇 は、 ユーザが関数を入力する画面を提供し、 ユーザに関数を入力させてもよ い。

[0017] 情報処理装置 1 0 0は、 最初の学習では、 下記の式 （1） の第 1誤差関数 「L」 のみを用いて学習を行う。 そして、 情報処理装置 1 0 0は、 学習した 数字認識モデルに入カデータを入力した場合 の出力を収集する。 例えば、 情 報処理装置 1 〇〇は、 学習した数字認識モデルに結果集計用の入カ デ _夕 （ 以下 「結果集計用データ」 ともいう） を入力した場合の出力を収集する。

[0018] 例えば、 情報処理装置 1 0 0は、 手書き数字認識用データセッ トのうち、 学習に利用していない入カデータを結果集計 用データとして数字認識モデル に入力し、 その出力を収集する。 例えば、 情報処理装置 1 0 0は、 入カデー 夕を入力した数字認識モデルからの出力を、 その入カデータに対応付けて学 習用データ記憶部 1 2 6に格納する。

[0019] そして、 情報処理装置 1 0 0は、 収集した情報を用いて、 入カデータに対 応する正解ラベルと、 入カデータが数字認識モデルに入力された場 合の出力 との組合せ （以下単に 「組合せ」 ともいう） を集計する。 情報処理装置 1 0 〇 2020/174952 6 卩（：171? 2020 /002239

0は、 正解ラベルと出力との組合せに対応する入カ データの個数を集計する 。 例えば、 情報処理装置 1 〇〇は、 正解ラベルが 「7」 であり、 数字認識モ デルに入力した際の出力が 「2」 であった入カデータの個数を、 正解ラベル 「7」 と出力 「2」 との組合せに対応する入カデータの個数とし て集計する

[0020] 図 1の例では、 情報処理装置 1 0 0は、 正解ラベル 「7」 と出力 「2」 と の組合せに対応する入カデータの個数を 「2 8」 と集計する。 この場合、 数 字認識モデルに入力した際の出力が 「2」 であった入カデータのうち、 正解 ラベルが 「7」 であった入カデータの個数が 「2 8」 であったことを示す。 すなわち、 図 1の例では、 「7」 と認識されるべきである入カデータのうち 、 2 8個のデータが 「2」 と誤認識されたことを示す。

[0021 ] また、 図 1の例では、 情報処理装置 1 0 0は、 正解ラベル 「2」 と出力 「

2」 との組合せに対応する入カデータの個数を 「9 5 9」 と集計する。 この 場合、 数字認識モデルに入力した際の出力が 「2」 であった入カデータのう ち、 正解ラベルが 「2」 であった入カデータの個数が 「9 5 9」 であったこ とを示す。 すなわち、 図 1の例では、 「2」 と認識されるべきである入カデ —夕のうち、 9 5 9個のデータが 「2」 と正しく認識されたことを示す。

[0022] 例えば、 情報処理装置 1 0 0は、 出力が 「2」 であった全入カデータのう ち、 正解ラベルが 「2」 である入カデータの割合を数字 「2」 の適合率 （ r 6〇 I 3 I 〇 n） を算出する。 情報処理装置 1 0 0は、 結果集計用データ 群のうち、 正解ラベルが 「2」 である入カデータの個数を、 出力が 「2」 で あった全入カデータの個数で除した値を数字 「2」 の適合率として算出する 。 図 1の例では、 情報処理装置 1 0 0は、 数字 「2」 の適合率を 「0 . 9 2 5 6」 として算出する。 また、 情報処理装置 1 0 0は、 同様に他の数字 「1 」 、 「3」 _ 「9」 の適合率を算出する。

[0023] また、 図 1の例では、 情報処理装置 1 0 0は、 正解ラベル 「7」 と出力 「

7」 との組合せに対応する入カデータの個数を 「9 5 8」 と集計する。 この 場合、 数字認識モデルに入力した際の出力が 「7」 であった入カデータのう 〇 2020/174952 7 卩（：171? 2020 /002239

ち、 正解ラベルが 「7」 であった入カデータの個数が 「9 5 8」 であったこ とを示す。 すなわち、 図 1の例では、 「7」 と認識されるべきである入カデ —夕のうち、 9 5 8個のデータが 「7」 と正しく認識されたことを示す。

［0024］ 例えば、 情報処理装置 1 0 0は、 正解ラベルが 「7」 であった全入カデー 夕のうち、 出力が 「7」 である入カデータの割合を数字 「7」 の再現率 （［¾ 6 0 3 1 I） を算出する。 情報処理装置 1 0 0は、 結果集計用データ群のう ち、 出力が 「7」 である入カデータの個数を、 正解ラベルが 「7」 であった 全入カデータの個数で除した値を数字 「7」 の再現率として算出する。 図 1 の例では、 情報処理装置 1 〇〇は、 数字 「7」 の再現率を 「〇. 9 3 1 9」 として算出する。 また、 情報処理装置 1 〇〇は、 同様に他の数字 「1」 _ 「 6」 、 「8」 、 「9」 の再現率を算出する。

［0025］ 情報処理装置 1 0 0は、 各数字の適合率や再現率を用いて、 各数字の 値 を算出する。 例えば、 情報処理装置 1 0 0は、 値 の算出式 「 （ 2 X適合率 X再現率） / （適合率十再現率） 」 に各数字の適合 率や再現率の各数値を割り当てることにより 、 各数字の 値を算出する。 情 報処理装置 1 〇〇は、 数字 「7」 の適合率 「〇. 9 4 8 5」 と数字 「7」 の 再現率 「〇. 9 3 1 9」 とを用いて、 数字 「7」 の 値を算出する。 情報処 理装置 1 0 0は、 上記 値の算出式に数字 「7」 の適合率や再現率の各数値 を割り当てることにより、 数字 「7」 の 値を算出する。 図 1の例では、 情 報処理装置 1 〇〇は、 数字 「7」 の 値を 「〇. 9 4 0 1」 として算出する 。 また、 情報処理装置 1 0 0は、 同様に他の数字 「1」 _ 「6」 、 「8」 、 「9」 の 値を算出する。

［0026］ そして、 情報処理装置 1 0 0は、 上記のような正解ラベルと出力 （予測ラ ベル） との組合せに対応する入カデータの個数や各 数字の適合率、 再現率、 値の情報を用いて、 端末装置 1 0に表示させる画像丨 IV! 1 を生成する。 情 報処理装置 1 〇〇は、 正解ラベルと出力 （予測ラベル） との組合せに対応す る入カデータの個数や各数字の適合率、 再現率、 値を含む画像 I IV! 1 を生 成する。 情報処理装置 1 〇〇は、 縦の行 （単に 「行」 ともいう） に各正解ラ ベル 「0」 〜 「9」 を、 横の列 （単に 「列」 ともいう） に各出力 「0」 〜 「 9」 を配置したマトリックス表を含む画像丨 M 1 を生成する。 図 1の例では 、 「P r e d i c t e d L a b e l」 と表記された列 「 0」 〜 「 9」 が出 力 （予測ラベル） に対応する。

[0027] また、 情報処理装置 1 00は、 各正解ラベルと各出力との組合せの各々に 対応する各項目に、 各正解フベルと各出力との組合せの各々に対 応する入力 データの個数を配置したマトリックス表を含 む画像丨 M 1 を生成する。 情報 処理装置 1 00は、 行の配置された各正解ラベル 「0」 〜 「9」 と、 列に配 置された各出力 「0」 〜 「9」 との各々が交わるマス目 （項目） に、 その組 合せの各々に対応する入カデータの個数を配 置したマトリックス表を含む画 像丨 M 1 を生成する。

[0028] 例えば、 情報処理装置 1 00は、 画像丨 M 1中のマトリックス表のうち、 行 「7」 と列 「2」 とが交わる項目に、 正解ラベル 「7」 と出力 「2」 との 組合せに対応する入カデータの個数 「28」 を配置したマトリックス表を含 む画像丨 M 1 を生成する。 例えば、 情報処理装置 1 00は、 画像丨 M 1中の マトリックス表のうち、 行 「7」 と列 「7」 とが交わる項目に、 正解ラベル 「7」 と出力 「7」 との組合せに対応する入カデータの個数 「958」 を配 置したマトリックス表を含む画像丨 M 1 を生成する。 このように、 情報処理 装置 1 00は、 数字認識に関する混同行列 （Co n f u s i o n Ma t r i x） であるマトリックス表を含む画像丨 M 1 を生成する。

[0029] マトリックス表中の各項目 「 i , j」 （ i、 jは各々任意の数） は、 正解 ラベル 「」」 のデータに対して 「 i」 と予測した、 すなわち出力 （予測ラべ ル） が 「 i」 であった結果の数を表している。 なお、 「 i」 は、 横軸 X （横 の列） に対応し、 「 i」 が 「2」 である場合、 予測ラベル 「2」 に対応する 。 また、 「 j」 は、 縦軸 y （縦の行） に対応し、 「」」 が 「7」 である場合 、 正解ラベル 「7」 に対応する。 したがって、 上述のように、 対角成分 「 i =」」 の場合に正解となり、 それ以外は不正解であることを意味する。 例え ば、 図 1の例で、 （ i， j） = （2, 7） のマス目 （項目） の 「28」 とい う数字は、 「7」 と書かれた手書き数字のうち 2 8個の入カデータ （画像） に対して過って 「2」 と予測してしまったことを示す。

[0030] ここで、 情報処理装置 1 0 0は、 各組合せに対応する入カデータの個数を 、 機械学習時の重要度を指定する対象として選 択可能に表示する画像丨 M 1 を生成する。 図 1の例では、 情報処理装置 1 0 0は、 入カデータの個数が配 置された各項目を機械学習時の重要度を指定 する対象として選択可能に表示 する画像丨 M 1 を生成する。 例えば、 情報処理装置 1 0 0は、 行 「7」 と列 「2」 とが交わる項目に配置された数字 「2 8」 を選択可能な画像丨 M 1 を 生成する。 情報処理装置 1 〇〇は、 行 「7」 と列 「2」 との組合せ以外の他 の組合せの項目に配置された数字についても 同様に選択可能な画像丨 M 1 を 生成する。 このように、 情報処理装置 1 0 0は、 各行と各列とが交わる項目 に配置された数字を選択可能な画像丨 M 1 を生成する。

[0031 ] 情報処理装置 1 0 0は、 入カデータの個数や項目等が選択可能な画像 （画 像情報） 等が生成可能であれば、 どのような処理により画像 （画像情報） 等 を生成してもよい。 例えば、 情報処理装置 1 〇〇は、 画像生成や画像処理等 に関する種々の技術を適宜用いて、 端末装置 1 〇へ提供する画像 （画像情報 ） を生成する。 例えば、 情報処理装置 1 0 0は、 C S S （Cascad i ng Sty le Sheets） や J a v a S c r i p t （登録商標） や H T M L （HyperText Ma rkup Language） の形式に基づいて、 端末装置 1 0へ提供する画像 （画像情 報） を生成してもよい。

[0032] また、 情報処理装置 1 0 0は、 正解ラベル 「7」 と出力 「7」 との組合せ に対応する項目のように、 正解ラベルと出力 （予測ラベル） が一致する項目 （以下 「_致項目」 ともいう） を他の項目とは異なる表示態様で表示する画 像丨 M 1 を生成する。 図 1の例では、 正解ラベル及び出力 （予測ラベル） が 「0」 の一致項目や正解ラベル及び出力 （予測ラベル） が 「1」 の一致項目 のように、 正解ラベルと出力 （予測ラベル） が一致する項目にハッチングを 付して図示するが、 例えば、 一致項目は他の項目とは異なる色で表示され る 。 また、 情報処理装置 1 0 0は、 一致項目を選択不可能な画面丨 M 1 1 を生 成してもよい。

[0033] なお、 情報処理装置 1 0 0は、 上記に限らず、 種々の態様により各項目を 表示してもよい。 例えば、 情報処理装置 1 0 0は、 各項目の数字の大小に応 じて、 各項目を異なる表示態様で表示する画像を生 成してもよい。 情報処理 装置 1 0 0は、 各項目の数字が大きい程、 色の濃く した、 いわゆるヒートマ ップのように各項目を異なる表示態様で表示 する画像を生成してもよい。

[0034] また、 情報処理装置 1 0 0は、 「R e c a l l」 を記載した行に各数字の 再現率を配置した画像 I M 1 を生成する。 情報処理装置 1 0 0は、 「 P r e c i s i 〇 n」 を記載した列に各数字の適合率を配置した画 像 I M 1 を生成 する。 情報処理装置 1 0 0は、 「F— m e a s u r e」 を記載した列に各数 字の F値を配置した画像 I M 1 を生成する。

[0035] そして、 情報処理装置 1 0 0は、 生成した画像丨 M 1 を端末装置 1 0に表 示させる。 情報処理装置 1 〇〇は、 生成した画像丨 M 1 を端末装置 1 0に送 信することにより、 端末装置 1 0に画像丨 M 1 を表示させる。 情報処理装置 1 0 0は、 生成した画像丨 M 1 を端末装置 1 0に送信する。

[0036] 情報処理装置 1 0 0から画像丨 M 1 を受信した端末装置 1 0は、 画像丨 M

1 を表示部 1 6に表示する （ステップ S 1 1） 。 このように、 端末装置 1 0 は、 数字認識に関する混同行列であるマトリック ス表を含む画像丨 M 1 を表 〆」、する。

[0037] 端末装置 1 0は、 画像丨 M 1 に含まれるマトリクス表中の各項目のうち、 機械学習時の重要度を指定する対象の選択を ユーザ U 1から受け付ける （ス テップ S 1 2） 。 端末装置 1 0を利用するユーザ U 1は、 画像丨 M 1 に含ま れるマトリクス表中の各項目のうち、 機械学習時の重要度を指定する対象を 選択する。 例えば、 ユーザ U 1は、 マトリクス表中の各項目の数字を確認し 、 数字認識モデルの認識精度を向上させたい対 象を指定する。 ユーザ U 1は 、 数字認識モデルが誤認識している組合せのう ち、 その誤認識を減少させた い対象を、 機械学習時の重要度を指定する対象として選 択する。 図 1の例で は、 ユーザ U 1は、 正解ラベル 「9」 と出力 「4」 との組合せに対応する入 〇 2020/174952 1 1 卩（：171? 2020 /002239

カデータの個数 「5 4」 が配置された項目を選択する。 すなわち、 ユーザ II 1は、 正解ラベルが 「9」 であり、 出力 （予測ラベル） が 「4」 である組合 せを、 機械学習時の重要度を指定する対象として選 択する。 このように、 ユ _ザリ 1は、 数字認識モデルの誤認識の組合せのうち、 対応する入カデータ の個数が最も大きい 「5 4」 であり、 正解ラベル 「9」 と出力 「4」 との組 合せを選択する。 端末装置 1 〇は、 ユーザ II 1の操作に応じて、 ユーザ II 1 による正解ラベル 「9」 、 予測ラベル 「4」 の組合せの選択を受け付ける。

[0038] そして、 端末装置 1 0は、 ユーザ II 1が選択した対象に対する重要度の指 定をユーザ II 1から受け付ける （ステップ 3 1 3） 。 ユーザ II 1は、 選択し た正解ラベル 「9」 、 予測ラベル 「4」 の組合せに対する重要度を指定する 。 図 1の例では、 ユーザ II 1は、 選択指定情報口 I 1 に示すように、 正 解ラベル 「9」 、 予測ラベル 「4」 の組合せに対する重要度を 「2」 と指定 する。 これにより、 端末装置 1 0は、 正解ラベル 「9」 、 予測ラベル 「4」 の重要度 「2」 の指定をユーザ II 1から受け付ける。 例えば、 端末装置 1 0 は、 ユーザ II 1 による正解ラベル 「9」 、 予測ラベル 「4」 の組合せの選択 に応じて、 正解ラベル 「9」 、 予測ラベル 「4」 の組合せの重要度を入力す る入力画面 （ポップアップ画面） を表示してもよい。 そして、 端末装置 1 0 は、 表示した入力画面により、 ユーザ II 1 による正解ラベル 「9」 、 予測ラ ベル 「4」 の組合せの重要度の指定をユーザ II 1から受け付けてもよい。

[0039] そして、 端末装置 1 0は、 ユーザ II 1が正解ラベル 「9」 と出力 「4」 と の組合せを選択したことを示す選択情報を情 報処理装置 1 0〇へ送信する。 また、 端末装置 1 〇は、 ユーザ II 1が正解ラベル 「9」 と出力 「4」 との組 合せの重要度を 「2」 を指定したことを示す指定情報を情報処理装 置 1 0 0 へ送信する。 端末装置 1 〇は、 選択指定情報口 I 1 に示す情報を情報処 理装置 1 0 0へ送信する。

[0040] 端末装置 1 0から指定情報を取得した情報処理装置 1 0 0は、 指定情報が 示す重要度に基づいて、 誤差関数を更新する （ステップ 3 1 4） 。

[0041 ] 例えば、 情報処理装置 1 0 0は、 下記の式 （1） を更新する。 情報処理装 〇 2020/174952 12 卩（：171? 2020 /002239

置 1 0 0は、 下記の式 （ 1） に対応する誤差関数八 〇 1 _ 1 を更新する。

[0042] [数 1 ]

[0043] 上記の式 （ 1） の左辺に示す 「丨 〇 3 3」 は、 第 1誤差関数 「I -」 及び第

2誤差関数 「å « ,』 ！ ，』」 を合算した値 （以下 「ロス」 ともいう） を示す。 上記の式 （1） の右辺中の 1つ目の要素である第 1誤差関数 「I -」 は、 誤差 関数のうちユーザの重要度の指定の影響を受 けない誤差関数である。 例えば 、 第 1誤差関数 「I -」 は、 ユーザのフィードバックとは無関係に、 上述した 最初の学習から一貫して利用される誤差関数 である。 図 1の例では、 第 1誤 差関数 「I -」 は、 ユーザ II 1 により選択されたクロスエントロピに関する 誤 差関数 （3丁 2に対応する。

[0044] また、 上記の式 （1） の右辺中の 2つ目の要素である第 2誤差関数 「å « ,

』 丨 は、 誤差関数のうちユーザの重要度の指定の影響 を受ける誤差関数で ある。 すなわち、 は、 ユーザの重要度の指定に 応じて更新される誤差関数である。 例えば、 第 2誤差関数 「å « ,』 I ,』」 は 、 ユーザフィードバック結果によって自動で誤 差関数を更新する際に利用す るための誤差関数である。

[0045] ここで、 第 2誤差関数 「å « ,』 丨 ，』」 中の 「《」 は、 ユーザ指定した重要 度に基づいて算出される重みである。 例えば、 「《」 は、 ユーザ指定した重 要度の値であってもよい。 なお、 「《」 は、 所定の関数によりユーザの指定 した重要度から算出される値であってもよい 。 このように、 情報処理装置 1 0 0は、 種々の方法により導出された 「《」 を用いてもよい。

[0046] ここでは、 説明を簡単にするために、 「《」 がユーザ指定した重要度の値 である場合を一例に説明する。 「《 _{4 9} 」 は、 予測ラベル 「4」 と正解ラベル 「9」 との組合せに対応し、 図 1の例では、 「《 _{4 9} 」 には、 ユーザ II 1が指 定した重要度 「2」 の値 「2」 が割り当てられる。 図 1の例では、 「《 _{4 9} 」 以外の他の 「《」 には、 「0」 が割り当てられる。 例えば、 重要度が指定さ 〇 2020/174952 13 卩（：171? 2020 /002239

れていない予測ラベル 「2」 と正解ラベル 「7」 との組合せに対応する 「《

₇ 」 には、 「0」 が割り当てられる。

[0047] 第 2誤差関数 「å « ,』 I ,』」 中の 「 I」 （小文字のエル） は、 「し 」」 が示す組合せに対応する変数や関数が割り当 てられる。 「丨 _{4 9} 」 は、 予測ラ ベル 「4」 と正解ラベル 「9」 との組合せに対応する。 例えば、 「丨 _{4 9} 」 は 、 正解ラベル 「9」 であり 「4」 と予測された入カデータが入力された場合 は、 「1」 に設定される変数であってもよい。 例えば、 「丨 _{4 9} 」 は、 正解ラ ベル 「9」 であり 「4」 と予測した入カデータ以外の入カデータが入 力され た場合は、 「0」 に設定される変数であってもよい。

[0048] このように、 各 「丨 は、 対応する組合せの入カデータが入力された場 合のみ、 「1」 に設定される変数であってもよい。 すなわち、 各 「丨 は 、 対応する組合せの入カデータが入力された場 合のみ、 ロスを上昇させるた めの変数であってもよい。 また、 各 「丨 は、 対応する組合せ以外の入力 データが入力された場合は、 ロスに影響を与えない変数であってもよい。

[0049] 図 1の例では、 情報処理装置 1 0 0は、 誤差関数 （3 1 _ 1 を更新する 。 図 1の例では、 情報処理装置 1 0 0は、 誤差関数 （3 1 _ 1中の 「《 _{4 9} 」 にユーザ II 1が指定した重要度 「2」 の値 「2」 を割り当てることにより 、 誤差関数 （3 1 _ 1 を更新する。 情報処理装置 1 0 0は、 誤差関数八 〇 1 - 1中の 「《 _{4 9} 」 以外の 「《」 には、 値 「0」 を割り当てることにより 、 誤差関数八 （3 1 _ 1 を更新する。

[0050] また、 情報処理装置 1 0 0は、 正解ラベル 「9」 であり 「4」 と予測され た入カデータが入力された場合は、 「丨 _{4 9} 」 を 「1」 に設定し、 他の 「 I」 を 「〇」 に設定する。 また、 情報処理装置 1 0 0は、 正解ラベル 「9」 であ り 「4」 と予測された入カデータ以外の入カデータが 入力された場合は、 「

I _{4 9} 」 を 「〇」 に設定する。 例えば、 情報処理装置 1 〇〇は、 正解ラベル 「 1」 であり 「7」 と予測された入カデータ以外の入カデータが 入力された場 合は、 「丨 _{7 1} 」 を 「1」 に設定し、 「丨 _{4 9} 」 を含む他の 「丨」 を 「〇」 に設 定する。 〇 2020/174952 14 卩（：171? 2020 /002239

[0051 ] そして、 情報処理装置 1 0 0は、 更新した誤差関数 （3 1 _ 1 を用いて 学習を行う （ステップ 3 1 5） 。 情報処理装置 1 0 0は、 更新した誤差関数 八 （3 1 _ 1 に基づくロスを用いて学習処理を行う。 情報処理装置 1 0 0は 、 更新した誤差関数八 〇 1 _ 1 に基づくロスをバックプロパゲーションす ることにより、 学習を行う。 情報処理装置 1 0 0は、 更新した誤差関数八 0 1 - 1 を用いて数字認識モデルを更新する。 これにより、 情報処理装置 1 0 0は、 重要度 「2」 が指定された正解ラベル 「9」 と出力 「4」 との組合 せに対応する認識の性能をより向上させるよ うに数字認識モデルを更新する

[0052] 上述したように、 情報処理装置 1 0 0は、 各組合せに対応する入カデータ の個数を、 機械学習時の重要度を指定する対象として選 択可能に端末装置 1 0に表示させる。 そして、 情報処理装置 1 0 0は、 端末装置 1 0を利用する ユーザが選択した対象に対する重要度を指定 する指定情報を端末装置 1 0か ら取得する。 そして、 情報処理装置 1 〇〇は、 ユーザが指定した重要度に応 じて更新した誤差関数を用いて、 学習処理を行う。 これにより、 情報処理装 置 1 0 0は、 ユーザの選択に応じた柔軟なモデル生成を可 能にすることがで きる。

[0053] 例えば、 モデルを生成するユーザは、 収集したデータと正解ラベルに対し て、 設定した誤差関数を最小化するようにモデル を最適化し、 学習に利用し ていないデータを用いて性能評価する。 例えば、 モデルを生成するユーザは 、 上記処理を同じデータに対しても、 モデルのシステム構成 （ネッ トワーク 構成等） や誤差関数の変更等を行い、 より精度が高いモデル （ 「識別器」 と もいう） を獲得できるように試行錯誤を繰り返す。

[0054] 情報処理装置 1 0 0は、 上記のユーザによる試行錯誤を支援するため のも のである。 情報処理装置 1 0 0は、 得られた評価結果の可視化した情報や、 次の試行時 （学習時） に用いる誤差関数の自動設計を行うための情 報をユー ザに提供することにより、 ユーザに効率的に高性能な識別器の獲得を可 能に する。 例えば、 情報処理装置 1 〇〇が得られた評価結果の可視化と、 次の試 〇 2020/174952 15 卩（：171? 2020 /002239

行時 （学習時） に用いる誤差関数の自動設計を II I （ユーザインターフェイ ス） によって組み合わせてユーザに提供すること によって、 ユーザは効率的 に高性能な識別器を獲得するための試行錯誤 を繰り返すことができる。

[0055] 上述のような処理により、 情報処理装置 1 0 0は、 ラベル全体に対する平 均的な性能ではなく、 ある特定のラベルに対する識別性能がより重 要である 際に、 ユーザの直観的な操作によって望ましい識別 器を効率的に獲得するこ とができる。 また、 情報処理装置 1 0 0は、 利用できるデータが限られてい る場合であっても、 同じデータセッ トに対して異なる特徴や効果を持った識 別器を学習させることができる。

[0056] 従来のニユーラルネッ トワークの設計を II Iのみで可能にする従来製品に ついては、 ユーザは視覚的フイードバックを手掛かりと して、 ニユーラルネ ッ トワークの設計を行うことができる。 一方で、 従来製品は、 識別結果から 特定の性能を達成するために自動で誤差関数 を設計することはできない。 そ のため、 従来製品は、 学習できるネッ トワークはブラックボックス性が高い 。 一方で、 上述のような処理により、 情報処理装置 1 0 0は、 機械学習によ る学習のブラックボックス性を緩和して、 学習させる識別器の挙動をユーザ の望むものに近づけることができる。

[0057] [ 1 - 2 . 実施形態に係る情報処理システムの構成]

図 2に示す情報処理システム 1 について説明する。 図 2に示すように、 情 報処理システム 1は、 端末装置 1 0と、 情報処理装置 1 0 0とが含まれる。 端末装置 1 〇と、 情報処理装置 1 〇〇とは所定の通信網 （ネッ トワーク 1\〇 を介して、 有線または無線により通信可能に接続される 。 図 2は、 実施形態 に係る情報処理システムの構成例を示す図で ある。 なお、 図 2に示した情報 処理システム 1 には、 複数台の端末装置 1 0や、 複数台の情報処理装置 1 〇 0が含まれてもよい。

[0058] 端末装置 1 0は、 ユーザによって利用される情報処理装置であ る。 端末装 置 1 0は、 モデルの生成に関するサービスの提供に用い られる。 端末装置 1 〇は、 実施形態における処理を実現可能であれば、 どのような装置であって もよい。 端末装置 1 〇は、 ユーザにモデル生成に関するサービスを提供 し、 情報を表示するディスプレイ (表示部 1 6 ) を有する構成であれば、 どのよ うな装置であってもよい。 また、 端末装置 1 0は、 例えば、 スマートフォン や、 タブレッ ト型端末や、 ノート型 P C (Persona l Computer) や、 デスク トップ P Cや、 携帯電話機や、 P D A (Persona l D i g i ta l Ass i stant) 等 の装置であってもよい。 図 1の例では、 端末装置 1 0は、 ユーザ U 1が利用 するノート型 P Cである。

[0059] 例えば、 端末装置 1 0は、 音、 画像、 加速度、 温度、 湿度、 位置、 圧力、 光、 ジャイロ、 距離等、 種々の情報を検知するセンサを有してもよい 。 この ように、 端末装置 1 0は、 音を検知する音センサ、 画像を検知する画像セン サ (カメラ) 、 加速度センサ、 温度センサ、 湿度センサ、 G P Sセンサ等の 位置センサ、 圧カセンサ、 光センサ、 ジャイロセンサ、 測距センサ等の種々 のセンサを有してもよい。 また、 端末装置 1 0は、 上記のセンサに限らず、 照度センサ、 近接センサ、 ニオイや汗や心拍や脈拍や脳波等の生体情報 の取 得のためのセンサ等の種々のセンサを有して もよい。 そして、 端末装置 1 0 は、 各種センサにより検知された種々のセンサ情 報を情報処理装置 1 0 0に 送信してもよい。

[0060] 情報処理装置 1 0 0は、 ユーザにモデル生成に関するサービスを提供 する ために用いられる。 情報処理装置 1 0 0は、 機械学習により生成されたモデ ルに入カデータが入力された場合の出力と、 入カデータに対応する正解情報 との関係に基づく結果情報を、 機械学習時の重要度を指定する対象として選 択可能に表示するように制御する情報処理装 置である。 情報処理装置 1 〇〇 は、 結果情報を、 機械学習時の重要度を指定する対象として選 択可能に表示 する画像を生成し、 画像を端末装置 1 〇へ提供する。

[0061 ] 情報処理装置 1 0 0は、 端末装置 1 0の表示を制御する。 情報処理装置 1

0 0は、 端末装置 1 〇に表示する情報を提供するサーバ装置であ る。 なお、 情報処理装置 1 〇〇は、 提供する画像等を表示するアプリケーション を端末 装置 1 〇に提供してもよい。 情報処理装置 1 〇〇は、 端末装置 1 〇に制御情 報を含む画像を送信することにより、 端末装置 1 0の表示を制御する。 ここ で、 制御情報は、 例えば、 J a v a S c r i p t （登録商標） 等のスクリプ 卜言語や C S S等により記述される。 なお、 情報処理装置 1 0 0から端末装 置 1 〇に提供されるアプリケーションそのものを 制御情報とみなしてもよい

[0062] [ 1 - 3 . 実施形態に係る情報処理装置の構成]

次に、 実施形態に係る情報処理を実行する情報処理 装置の一例である情報 処理装置 1 0 0の構成について説明する。 図 3は、 本開示の実施形態に係る 情報処理装置 1 〇〇の構成例を示す図である。

[0063] 図 3に示すように、 情報処理装置 1 0 0は、 通信部 1 1 0と、 記憶部 1 2

0と、 制御部 1 3 0とを有する。 なお、 情報処理装置 1 0 0は、 情報処理装 置 1 0 0の管理者等から各種操作を受け付ける入力� � （例えば、 キーボード やマウス等） や、 各種情報を表示するための表示部 （例えば、 液晶ディスプ レイ等） を有してもよい。

[0064] 通信部 1 1 0は、 例えば、 N I C （Network Interface Card） 等によっ て実現される。 そして、 通信部 1 1 〇は、 ネッ トワーク N （図 2参照） と有 線または無線で接続され、 端末装置 1 〇や音声認識サーバ等の他の情報処理 装置との間で情報の送受信を行う。 また、 通信部 1 1 〇は、 ユーザが利用す るユーザ端末 （図示省略） との間で情報の送受信を行ってもよい。

[0065] 記憶部 1 2 0は、 例えば、 R A M （Random Access Memory） 、 フラツシ ユメモリ （F lash Memory） 等の半導体メモリ素子、 または、 ハードディスク 、 光ディスク等の記憶装置によって実現される 。 実施形態に係る記憶部 1 2 0は、 図 3に示すように、 モデルタイプ情報記憶部 1 2 1 と、 誤差関数情報 記憶部 1 2 2と、 獲得モデル情報記憶部 1 2 3と、 適用誤差関数情報記憶部 1 2 4と、 重要度情報記憶部 1 2 5と、 学習用データ記憶部 1 2 6とを有す る。 なお、 図示を省略するが、 記憶部 1 2 0は、 端末装置 1 0に提供する画 像の基となる画像等の種々の情報を記憶して もよい。

[0066] 実施形態に係るモデルタイプ情報記憶部 1 2 1は、 学習 （生成） するモデ ルの各タイプ （種別） に対応する各種情報 （モデルタイプ情報） を記憶する 。 例えば、 モデルタイプ情報記憶部 1 2 1は、 ユーザが選択可能なモデルの タイプ （種別） に対応する各種情報を記憶する。 図 4は、 本開示の実施形態 に係るモデルタイプ情報記憶部の一例を示す 図である。 図 4に示した例では 、 モデルタイプ情報記憶部 1 2 1は、 「モデルタイプ丨 D」 、 「種別」 、 「 モデルタイプデータ」 といった項目が含まれる。

[0067] 「モデルタイプ丨 D」 は、 各モデルのタイプ （種別） を識別するための識 別情報を示す。 「種別」 は、 各モデルのタイプ （種別） を示す。 例えば、 「 種別」 は、 各モデルのタイプ （種別） の名称等を示す。 「モデルタイプデー 夕」 は、 各タイプ （種別） のモデルのデータを示す。 例えば、 「モデルタイ プデータ」 は、 学習のベースとなる各タイプ （種別） のモデルのデータを示 す。 図 4では 「モデルタイプデータ」 に 「M T D 1 」 といった概念的な情報 が格納される例を示したが、 実際には、 対応するタイプ （種別） のモデルの 初期設定等や、 そのモデルに含まれるネッ トワークや関数等を構成する種々 の情報、 または、 その格納場所を示すファイルパス名などが格 納される。

[0068] 図 4の例では、 モデルタイプ丨 D 「M T 1」 により識別されるモデルタイ プ （モデルタイプ M T 1） は、 サボートべクターマシン （Support Vector Mach i ne : S V M） に対応することを示す。 モデルタイプ M T 1のデータは、 モデルタイプデータ M T D 1であることを示す。 また、 モデルタイプ I D 「 M T 2」 により識別されるモデルタイプ （モデルタイプ M T 2） は、 多層パ —セプトロン （Mu lt i -Layer Percept ron : M L P） に対応することを示す。 モデルタイプ M T 2のデータは、 モデルタイプデータ M T D 2であることを 示す。 このように、 モデルタイプ情報記憶部 1 2 1 には、 複数のタイプに対 応するモデルタイプ情報が記憶される。

[0069] なお、 モデルタイプ情報記憶部 1 2 1は、 上記に限らず、 目的に応じて種 々の情報を記憶してもよい。 モデルタイプ情報記憶部 1 2 1 には、 各ユーザ が指定したタイプに対応するモデルタイプ情 報を記憶してもよい。

[0070] 実施形態に係る誤差関数情報記憶部 1 2 2は、 学習に用いる誤差関数 （損 〇 2020/174952 19 卩（：171? 2020 /002239

失関数、 ロス関数） の各タイプ （種別） に対応する各種情報 （誤差関数情報 ） を記憶する。 例えば、 誤差関数情報記憶部 1 2 2は、 ユーザが選択可能な 誤差関数のタイプ （種別） に対応する各種情報を記憶する。 図 5は、 本開示 の実施形態に係る誤差関数情報記憶部の一例 を示す図である。 図 5に示した 例では、 誤差関数情報記憶部 1 2 2は、 「誤差関数 I 口」 、 「種別」 、 「関 数データ」 といった項目が含まれる。

[0071 ] 「誤差関数丨 口」 は、 各誤差関数のタイプ （種別） を識別するための識別 情報を示す。 「種別」 は、 各誤差関数のタイプ （種別） を示す。 例えば、 「 種別」 は、 各誤差関数のタイプ （種別） の名称等を示す。 「関数データ」 は 、 各タイプ （種別） の誤差関数のデータを示す。 例えば、 「関数データ」 は 、 各タイプ （種別） の誤差関数の基本部分のデータ （上記式 （1） の場合 「 !_」 に対応） を示す。 図 5では 「関数データ」 に 「 〇0 1」 といった概念 的な情報が格納される例を示したが、 実際には、 対応するタイプ （種別） の 誤差関数の種々の情報、 または、 その格納場所を示すファイルパス名などが 格納される。

[0072] 図 5の例では、 誤差関数丨 口 「 〇丁 1」 により識別される誤差関数 （誤 差関数 （3丁 1） は、 二乗誤差に対応することを示す。 誤差関数 （3丁 1の 関数データは、 関数データ 〇〇 1であることを示す。 誤差関数丨 0 「 〇 丁 2」 により識別される誤差関数 （誤差関数 〇丁 2） は、 クロスエントロ ピに対応することを示す。 誤差関数 （3丁 2の関数データは、 関数データ であることを示す。 このように、 誤差関数情報記憶部 1 2 2には、 複 数のタイプに対応する誤差関数情報が記憶さ れる。

[0073] なお、 誤差関数情報記憶部 1 2 2は、 上記に限らず、 目的に応じて種々の 情報を記憶してもよい。 誤差関数情報記憶部 1 2 2には、 各ユーザが指定し たタイプに対応する誤差関数情報を記憶して もよい。

[0074] 実施形態に係る獲得モデル情報記憶部 1 2 3は、 学習により獲得したモデ ルに関する情報 （獲得モデル情報） を記憶する。 例えば、 獲得モデル情報記 憶部 1 2 3は、 学習処理により学習 （生成） されたモデル情報 （モデルデー 〇 2020/174952 20 卩（：171? 2020 /002239

夕） を記憶する。 図 6は、 本開示の実施形態に係る獲得モデル情報記憶 部の 一例を示す図である。 図 6に示した例では、 獲得モデル情報記憶部 1 2 3は 、 「ユーザ丨 口」 、 「獲得モデル丨 〇」 、 「対象」 、 「モデルデータ」 とい った項目が含まれる。

[0075] 「ユーザ I 0」 は、 ユーザを識別するための識別情報を示す。 例えば、 「 ユーザ丨 口」 は、 各モデルを生成する処理を指示したユーザを 識別するため の識別情報を示す。 「獲得モデル丨 口」 は、 モデルを識別するための識別情 報を示す。 例えば、 獲得モデル丨 口 「八1\/1 1 _ 1」 により識別されるモデル （モデル八1\/1 1 - 1） は、 図 1で処理対象となったユーザ II 1が生成中のモ デルに対応する。 「対象」 は、 対応するモデルの対象を示す。 例えば、 「対 象」 は、 対応するモデルの用途を示す。 「モデルデータ」 は、 モデルのデー 夕を示す。 図 6では 「モデルデータ」 に 「八1\/1 0 1 — 1」 といった概念的な 情報が格納される例を示したが、 実際には、 モデルに含まれるネッ トワーク に関する情報や関数等、 そのモデルを構成する種々の情報、 または、 その格 納場所を示すファイルパス名などが格納され る。

[0076] 図 6の例では、 ユーザ丨 0 「11 1」 により識別されるユーザ （図 1 に示す 「ユ ^_ ザリ 1」 に対応） が獲得したモデルは、 獲得モデル丨 口 「 !^ 1 _ 1 」 により識別されるモデル （モデル八 IV! 1 — 1） 等であることを示す。 また 、 モデル八1\/1 1 _ 1は、 対象が 「数字 （0— 9） 認識」 であることを示す。 すなわち、 モデル八1\/1 1 - 1は、 0から 9までの数字を認識 （識別） するた めの用いるモデルであることを示す。 モデル八1\/1 1 _ 1のデータは、 モデル データ八1\/1 0 1 — 1であることを示す。

[0077] なお、 獲得モデル情報記憶部 1 2 3は、 上記に限らず、 目的に応じて種々 の情報を記憶してもよい。 獲得モデル情報記憶部 1 2 3は、 各モデルに対応 付けて、 各モデルが受け付ける入力を示す情報や各モ デルの出力を示す情報 を記憶してもよい。 例えば、 獲得モデル丨 口 「八1\/1 1 - 1」 には、 入力が 「 画像」 であることを示す情報が対応付けられてもよ い。 また、 図 6の例では 、 獲得モデル情報記憶部 1 2 3は、 ユーザ I 口に対応付けて各獲得モデル情 〇 2020/174952 21 卩（：171? 2020 /002239

報を記憶したが、 対象ごとに獲得モデルを対応付けて記憶して もよい。

[0078] 実施形態に係る適用誤差関数情報記憶部 1 2 4は、 各モデルの学習に適用 した誤差関数に関する情報 （適用誤差関数情報） を記憶する。 例えば、 適用 誤差関数情報記憶部 1 2 4は、 学習時に用いた誤差関数を記憶する。 図 7は 、 本開示の実施形態に係る適用誤差関数情報記 憶部の一例を示す図である。 図 7に示した例では、 適用誤差関数情報記憶部 1 2 4は、 「ユーザ I 0」 、 「獲得モデル丨 口」 、 「適用誤差関数丨 口」 、 「適用関数データ」 といった 項目が含まれる。

[0079] 「ユーザ I 0」 は、 ユーザを識別するための識別情報を示す。 「獲得モデ ル丨 口」 は、 モデルを識別するための識別情報を示す。 例えば、 獲得モデル I 0 「八1\/1 1 — 1」 により識別されるモデル （モデル八1\/1 1 — 1） は、 図 1 で処理対象となったユーザ II 1が生成中のモデルに対応する。 「適用誤差関 数丨 口」 は、 対応するモデル学習時に適用した誤差関数を 識別するための識 別情報を示す。 例えば、 「適用誤差関数丨 口」 は、 対応するモデルの学習に 用いた誤差関数を識別するための識別情報を 示す。 例えば、 適用誤差関数丨 〇 「八 〇 1 _ 1」 により識別される誤差関数 （誤差関数八 〇 1 _ 1） は 、 上記の式 （1） に示す誤差関数に対応する。 「適用関数データ」 は、 対応 する誤差関数のデータを示す。 例えば、 「適用関数データ」 は、 適用誤差関 数丨 口により識別される誤差関数のデータ （上記式 （1） に対応） を示す。 図 7では 「適用関数データ」 に 「八 0 1 _ 1」 といった概念的な情報が格 納される例を示したが、 実際には、 対応する誤差関数の種々の情報、 または 、 その格納場所を示すファイルパス名などが格 納される。

[0080] 図 7の例では、 ユーザ丨 0 「11 1」 により識別されるユーザ （図 1 に示す 「ユーザ II 1」 に対応） が獲得モデル丨 口 「八1\/1 1 _ 1」 により識別される モデル （モデル 1\/1 1 - 1） 等の学習時に適用した誤差関数は、 適用誤差関 数丨 0 「八 （3 1 _ 1」 により識別される誤差関数 （誤差関数八 （3 1 _ 1 ） であることを示す。 誤差関数八 〇 1 - 1のデータは、 適用関数データ八 0 1 — 1であることを示す。 〇 2020/174952 22 卩（：171? 2020 /002239

[0081 ] なお、 適用誤差関数情報記憶部 1 2 4は、 上記に限らず、 目的に応じて種 々の情報を記憶してもよい。 適用誤差関数情報記憶部 1 2 4は、 誤差関数の 更新ごとに 丨 口に対応付けて誤差関数を記憶してもよい。

[0082] 実施形態に係る重要度情報記憶部 1 2 5は、 所定の対象に対する重要度に 関する各種情報 （重要度情報） を記憶する。 重要度情報記憶部 1 2 5は、 入 力に対応する正解情報と出力との組合せごと の重要度を示す重要度情報を記 憶する。 図 8は、 本開示の実施形態に係る重要度情報記憶部の 一例を示す図 である。

[0083] 図 8の例では、 重要度情報記憶部 1 2 5は、 重要度テーブル 1 2 5 _ 1や 重要度テーブル 1 2 5— 2等のようにユーザごとに情報 （テーブル） を記憶 する。 例えば、 重要度テーブル 1 2 5— 1は、 ユーザ丨 0 「11 1」 により識 別されるユーザ （図 1 に示す 「ユーザ II 1」 に対応） が指定した重要度に関 する情報を示す。 また、 例えば、 重要度テーブル 1 2 5— 2は、 ユーザ I 0 「 II 2」 により識別されるユーザが指定した重要度に 関する情報を示す。

[0084] 図 8に示す重要度テーブル 1 2 5 _ 1や重要度テーブル 1 2 5— 2等は、 「ユーザ I 0」 、 「獲得モデル丨 口」 、 「適用誤差関数丨 口」 、 「更新履歴 」 、 「重要度情報」 といった項目が含まれる。

[0085] 「ユーザ I 0」 は、 ユーザを識別するための識別情報を示す。 「獲得モデ ル丨 口」 は、 モデルを識別するための識別情報を示す。 例えば、 獲得モデル I 0 「八1\/1 1 — 1」 により識別されるモデル （モデル八1\/1 1 — 1） は、 図 1 で処理対象となったユーザ II 1が生成中のモデルに対応する。 「適用誤差関 数丨 口」 は、 対応するモデル学習時に適用した誤差関数を 識別するための識 別情報を示す。 例えば、 「適用誤差関数丨 口」 は、 対応するモデルの学習に 用いた誤差関数を識別するための識別情報を 示す。 「更新履歴」 は、 重要度 の更新履歴を示す。 例えば、 「更新履歴」 は、 対応する適用誤差関数につい て重要度が更新された回数を示す。

[0086] 「重要度情報」 は、 正解情報と出力との組合せごとの重要度を示 す情報が 格納される。 例えば 「重要度情報」 は、 各 「正解ラベル」 と各 「出力」 との 〇 2020/174952 23 卩（：171? 2020 /002239

組合せの各々に対応する重要度が格納され る。 このように、 「重要度情報」 は、 行を 「正解ラベル」 とし、 列を 「出力」 とする各要素 （項目） に対応す る重要度を示す情報 （値） が格納される。 図 8の例では、 ユーザが重要度を 指定した項目には、 ユーザが指定した重要度を示す数値を図示し 、 それ以外 の項目、 すなわちユーザが重要度を指定していない項 目は、 「一 （ハイフン ） 」 で示す。

[0087] 図 8の例では、 ユーザ II 1 による誤差関数八 〇 1 — 1 を用いたモデル八 IV! 1 _ 1の学習時の最初の更新時 （ 「更新履歴# 1 に対応」 ） に指定した重 要度を す。 この場合、 正解フベル 「7」 及び出力 「 1」 の組合せの重要度 を 「2」 を指定されたことを示す。 また、 正解ラベル 「7」 及び出力 「2」 の組合せの重要度を 「2」 を指定されたことを示す。 このように、 正解ラべ ル 「7」 及び出力 「1」 、 「2」 の組合せについては、 最も重要度が高いと 指定する。 すなわち、 図 8の例では、 正解が 「7」 である入力について 「 1 」 や 「2」 と誤認識 （誤出力） ことを回避する重要度が、 最も高いと指定す る。 すなわち、 「7」 について、 「1」 、 「2」 に対する識別性能を優先し て向上させるように指定する。

[0088] また、 正解ラベル 「2」 及び出力 「6」 、 「7」 、 「8」 の組合せの重要 度を 「 1」 を指定されたことを示す。 正解ラベル 「3」 及び出力 「6」 、 「 7」 、 「8」 の組合せの重要度を 「1」 を指定されたことを示す。 すなわち 、 図 8の例では、 正解ラベル 「2」 、 「3」 についても 「6」 、 「7」 、 「 8」 と誤認識 （誤出力） ことを回避する重要度が、 正解ラベル 「7」 を 「1 」 、 「2」 と誤認識 （誤出力） ことに次に高いと指定する。 このように、 正 解ラベル 「2」 、 「3」 についても 「6」 、 「7」 、 「8」 と誤認識 （誤出 力） ことを回避する重要度が、 正解ラベル 「7」 及び出力 「1」 や 「2」 の 組合せ以外の他の組合せに比べて高いと指定 する。

[0089] なお、 重要度情報記憶部 1 2 5は、 上記に限らず、 目的に応じて種々の情 報を記憶してもよい。

[0090] 実施形態に係る学習用データ記憶部 1 2 6は、 学習に用いるデータに関す 〇 2020/174952 24 卩（：171? 2020 /002239

る各種情報 （学習用データ情報） を記憶する。 学習用データ記憶部 1 2 6は 、 入力に用いるデータやそのデータに対応する 正解情報 （正解ラベル） や出 力 （予測ラベル） といった情報を含む学習用データ情報を記憶 する。 図 9は 、 本開示の実施形態に係る学習用データ記憶部 の一例を示す図である。

[0091 ] 図 9の例では、 学習用データ記憶部 1 2 6は、 学習用データテーブル 1 2

6 _ 1や学習用データテーブル 1 2 6— 2等のようにユーザごとに情報 （テ —ブル） を記憶する。 例えば、 学習用データテーブル 1 2 6 - 1は、 ユーザ I 0 「11 1」 により識別されるユーザ （図 1 に示す 「ユーザ II 1」 に対応） が入力 （登録） した学習用データに関する情報を示す。 また、 例えば、 学習 用データテーブル 1 2 6— 2は、 ユーザ丨 口 「リ 2」 により識別されるユー ザが入力 （登録） した学習用データに関する情報を示す。

[0092] 図 9に示す学習用データテーブル 1 2 6 _ 1や学習用データテーブル 1 2

6— 2等は、 「ユーザ丨 0」 、 「獲得モデル丨 口」 、 「学習用データ情報」 といった項目が含まれる。 「学習用データ情報」 には、 「データ 丨 口」 、 「 データ」 、 「正解情報」 、 「予測情報」 といった項目が含まれる。

[0093] 「ユーザ I 0」 は、 ユーザを識別するための識別情報を示す。 「獲得モデ ル丨 口」 は、 モデルを識別するための識別情報を示す。 例えば、 獲得モデル I 0 「八1\/1 1 — 1」 により識別されるモデル （モデル八1\/1 1 — 1） は、 図 1 で処理対象となったユーザリ 1が生成中のモデルに対応する。

[0094] 「学習用データ情報」 は、 各モデルの学習に用いられるデータやそのデ ー 夕に対応する出力等の各種情報が格納される 。 「データ 丨 口」 は、 各データ を識別するための識別情報を示す。 「データ」 は、 データを示す。 図 9では 「データ」 に 「〇丁 1 _ 1」 といった概念的な情報が格納される例を示し た が、 実際には、 データ、 または、 その格納場所を示すファイルパス名などが 格納される。 例えば、 モデル八1\/1 1 _ 1 に対応するデータ 0丁 1 _ 1等は、 画像データである。

[0095] 「正解情報」 は、 データ 丨 口により識別されるデータに対応する正解情 報 を示す。 例えば、 「正解情報」 には、 データ 丨 口により識別されるデータが 〇 2020/174952 25 卩（：171? 2020 /002239

対応するモデルに入力された場合に正しい とされる出力を示す情報が記憶さ れる。 例えば、 モデル八1\/1 1 _ 1 に対応する各データの正解情報には、 〇〜

9のいずれかの数字を示す情報が格納され� �。

[0096] 「予測情報」 は、 対応するデータが入力として用いられた場合 の実際の予 測 （出力） を示す。 「予測情報」 には、 「出力# 1」 や 「出力# 2」 といっ た項目が含まれる。 「出力# 1」 や 「出力# 2」 には、 対応するデータを入 力した場合の各出力を示す。 例えば、 「出力# 1」 や 「出力# 2」 には、 学 習の各繰返しでの対応するデータが入力とし て用いられた場合の実際の予測 （出力） を示す。 なお、 図 9の例では、 「出力# 1」 、 「出力# 2」 のみを 図示するが、 「出力# 3」 や 「出力# 4」 等、 対応するデータが入力に用い られた回数に応じた項目が含まれるものとす る。

[0097] 「出力# 1」 や 「出力# 2」 には、 対応するデータが入力された場合のモ デルの出力を示す。 例えば、 モデル八1\/1 1 _ 1 に対応する各データの 「出力 # 1」 や 「出力# 2」 には、 〇〜 9のいずれかの数字を示す情報が格納され る。

[0098] 図 9の例では、 ユーザ II 1 によるモデル八1\/1 1 _ 1の学習に用いられるデ —夕は、 データ 丨 口 「0 丨 0 1 - 1」 ~ 「0 丨 0 1 - 4」 等により識別され るデータ （データ D J ] 〜データ〇丁 1 _ 4等） であることを示す。 デ —夕〇丁 1 _ 1 に対応する正解情報は、 正解情報！- 6 1 - 1であることを示 す。 また、 データロ丁 1 - 1がモデル八1\/1 1 - 1 に入力された場合の出力は 、 出力〇 1 — 1 — 1等であることを示す。

[0099] なお、 学習用データ記憶部 1 2 6は、 上記に限らず、 目的に応じて種々の 情報を記憶してもよい。 学習用データ記憶部 1 2 6には、 「画像」 や 「テキ スト」 や 「音声」 といった各データの形式を示す情報がデータ 丨 口に対応付 けて記憶されてもよい。

[0100] 図 3に戻り、 説明を続ける。 制御部 1 3 0は、 例えば、

「〇〇㊀ 丨叩 11门丨1;） や1\/1 ? 11 卩「〇〇633丨叩 11门丨1;） 等によって、 情報 処理装置 1 0 0内部に記憶されたプログラム （例えば、 本開示に係る情報処 理プログラム等の決定プログラム) が RAM等を作業領域として実行される ことにより実現される。 また、 制御部 1 30は、 コントローラ (controUer ) であり、 例えば、 AS I C (Application Specific Integrated Circui t) や F PGA (Field Programmable Gate Array) 等の集積回路により実 現される。

[0101] 図 3に示すように、 制御部 1 30は、 取得部 1 3 1 と、 選択部 1 32と、 学習部 1 33と、 決定部 1 34と、 表示制御部 1 35と、 送信部 1 36とを 有し、 以下に説明する情報処理の機能や作用を実現 または実行する。 なお、 制御部 1 30の内部構成は、 図 3に示した構成に限られず、 後述する情報処 理を行う構成であれば他の構成であってもよ い。 また、 制御部 1 30が有す る各処理部の接続関係は、 図 3に示した接続関係に限られず、 他の接続関係 であつてもよい。

[0102] 取得部 1 3 1は、 各種情報を取得する。 取得部 1 3 1は、 外部の情報処理 装置から各種情報を取得する。 取得部 1 3 1は、 端末装置 1 0等の他の情報 処理装置から各種情報を取得する。

[0103] 取得部 1 3 1は、 記憶部 1 20から各種情報を取得する。 取得部 1 3 1は 、 モデルタイプ情報記憶部 1 2 1や誤差関数情報記憶部 1 22や獲得モデル 情報記憶部 1 23や適用誤差関数情報記憶部 1 24や重要度情報記憶部 1 2 5や学習用データ記憶部 1 26から各種情報を取得する。

[0104] 取得部 1 3 1は、 選択部 1 32が解析した各種情報を取得する。 取得部 1

3 1は、 表示制御部 1 35が生成した各種情報を取得する。 取得部 1 3 1は 、 学習部 1 33が算出した各種情報を取得する。 取得部 1 3 1は、 決定部 1 34が決定した各種情報を取得する。 取得部 1 3 1は、 表示制御部 1 35が 生成した各種情報を取得する。

[0105] 取得部 1 3 1は、 機械学習により生成されたモデルに入カデー タが入力さ れた場合の出力と、 入カデータに対応する正解情報との関係に基 づく結果情 報を取得する。 取得部 1 3 1は、 結果情報を選択したユーザによる重要度を 指定する指定情報を取得する。 取得部 1 3 1は、 重要度を示す数値である指 〇 2020/174952 27 卩（：171? 2020 /002239

定情報を取得する。

[0106] 取得部 1 3 1は、 各正解情報と各出力との組合せの各々に対応 する複数の 結果情報を取得する。 取得部 1 3 1は、 各正解情報と各出力との組合せの各 々に対応する入カデータの個数を示す複数の 結果情報を取得する。 取得部 1 3 1は、 モデルに複数の入カデータの各々が入力され た場合の各出力と、 複 数の入カデータの各々に対応する各正解情報 との関係を示す複数の結果情報 を取得する。 取得部 1 3 1は、 各々が対応する入カデータを示す入カデータ 情報を含む複数の結果情報を取得する。 取得部 1 3 1は、 各々が対応する出 力と正解情報とが一致または不一致であるか を示す正誤情報を含む複数の結 果情報を取得する。

[0107] 図 1の例では、 取得部 1 3 1は、 ユーザ II 1が正解ラベル 「9」 と出力 「 4」 との組合せを選択したことを示す選択情報を 取得する。 取得部 1 3 1は 、 ユーザ II 1が正解ラベル 「9」 と出力 「4」 との組合せの重要度を 「2」 を指定したことを示す指定情報を取得する。 取得部 1 3 1は、 選択指定情報 口 丨 1 に示す情報を取得する。

[0108] 選択部 1 3 2は、 各種情報を選択する。 選択部 1 3 2は、 外部の情報処理 装置からの情報や記憶部 1 2 0に記憶された情報に基づいて、 各種情報を選 択する。 選択部 1 3 2は、 記憶部 1 2 0から、 各種情報を選択する。 選択部 1 3 2は、 モデルタイプ情報記憶部 1 2 1や誤差関数情報記憶部 1 2 2や獲 得モデル情報記憶部 1 2 3や適用誤差関数情報記憶部 1 2 4や重要度情報記 憶部 1 2 5や学習用データ記憶部 1 2 6に記憶された情報に基づいて、 各種 情報を選択する。 選択部 1 3 2は、 各種情報を特定する。 選択部 1 3 2は、 各種情報を推定する。

[0109] 選択部 1 3 2は、 各種情報を抽出する。 選択部 1 3 2は、 外部の情報処理 装置からの情報や記憶部 1 2 0に記憶された情報に基づいて、 各種情報を抽 出する。 選択部 1 3 2は、 記憶部 1 2 0から、 各種情報を抽出する。 選択部 1 3 2は、 モデルタイプ情報記憶部 1 2 1や誤差関数情報記憶部 1 2 2や獲 得モデル情報記憶部 1 2 3や適用誤差関数情報記憶部 1 2 4や重要度情報記 〇 2020/174952 28 卩（：171? 2020 /002239

憶部 1 2 5や学習用データ記憶部 1 2 6から、 各種情報を抽出する。

[01 10] 選択部 1 3 2は、 取得部 1 3 1 により取得された各種情報に基づいて、 各 種情報を抽出する。 選択部 1 3 2は、 学習部 1 3 3により学習された各種情 報に基づいて、 各種情報を抽出する。 また、 選択部 1 3 2は、 決定部 1 3 4 により決定された各種情報に基づいて、 各種情報を抽出する。

[01 1 1 ] 選択部 1 3 2は、 取得部 1 3 1 により取得された情報に基づいて、 モデル タイプを選択する。 選択部 1 3 2は、 ユーザの選択に応じて、 生成するモデ ルのひな形となるモデルタイプを選択する。 選択部 1 3 2は、 モデルタイプ 情報記憶部 1 2 1から生成するモデルのひな形となるモデル� �イプを選択す る。

[01 12] 選択部 1 3 2は、 取得部 1 3 1 により取得された情報に基づいて、 誤差関 数を選択する。 選択部 1 3 2は、 ユーザの選択に応じて、 第 1誤差関数に対 応する関数を選択する。 選択部 1 3 2は、 誤差関数情報記憶部 1 2 2から第 1誤差関数に対応する関数を選択する。

[01 13] 学習部 1 3 3は、 学習処理を行う。 学習部 1 3 3は、 各種学習を行う。 学 習部 1 3 3は、 モデルを学習 （生成） する。 学習部 1 3 3は、 モデル等の各 種情報を学習する。 学習部 1 3 3は、 学習によりモデルを生成する。 学習部 1 3 3は、 種々の機械学習に関する技術を用いて、 モデルを学習する。 学習 部 1 3 3は、 学習によりモデルを更新する。 例えば、 学習部 1 3 3は、 ネツ トワークのパラメータを学習する。

[01 14] 例えば、 学習部 1 3 3は、 外部の情報処理装置からの情報や記憶部 1 2 0 に記憶された情報に基づいて、 各種情報を学習する。 学習部 1 3 3は、 端末 装置 1 0等の他の情報処理装置からの情報に基づい� �、 各種情報を学習する 。 学習部 1 3 3は、 モデルタイプ情報記憶部 1 2 1や誤差関数情報記憶部 1 2 2や獲得モデル情報記憶部 1 2 3や適用誤差関数情報記憶部 1 2 4や重要 度情報記憶部 1 2 5や学習用データ記憶部 1 2 6に記憶された情報に基づい て、 各種情報を学習する。

[01 15] 学習部 1 3 3は、 取得部 1 3 1 により取得された各種情報に基づいて、 各 〇 2020/174952 29 卩（：171? 2020 /002239

種情報を学習する。 学習部 1 3 3は、 選択部 1 3 2により選択された各種情 報に基づいて、 各種情報を学習する。 学習部 1 3 3は、 決定部 1 3 4により 決定された各種情報に基づいて、 各種情報を学習する。

[01 16] 学習部 1 3 3は、 取得部 1 3 1 により取得された指定情報が示す正解情報 及び出力の組合せの重要度に応じて、 機械学習を実行する。 学習部 1 3 3は 、 重要度に応じて更新された誤差関数を用いた 機械学習により、 モデルを更 新する。

[01 17] 図 1の例では、 学習部 1 3 3は、 収集した正解ラベルが対応付けられた入 カデータを用いて、 設定した誤差関数を最小化するように学習処 理を行い、 数字認識モデルを生成する。

[01 18] 学習部 1 3 3は、 上記の式 （1） を更新する。 学習部 1 3 3は、 上記の式 （ 1） に対応する誤差関数 （3 1 _ 1 を更新する。 学習部 1 3 3は、 誤差 関数八 〇 1 - 1中の 「《 _{4 9} 」 にユーザ II 1が指定した重要度 「2」 の値 「 2」 を割り当てることにより、 誤差関数八 〇 1 _ 1 を更新する。 学習部 1 3 3は、 誤差関数八 〇 1 - 1中の 「《 _{4 9} 」 以外の 「《」 には、 値 「0」 を 割り当てることにより、 誤差関数八 〇 1 — 1 を更新する。

[01 19] また、 学習部 1 3 3は、 正解ラベル 「9」 であり 「4」 と予測された入力 データが入力された場合は、 「丨 _{4 9} 」 を 「1」 に設定し、 他の 「丨」 を 「0 」 に設定する。 また、 学習部 1 3 3は、 正解ラベル 「9」 であり 「4」 と予 測された入カデータ以外の入カデータが入力 された場合は、 「丨 _{4 9} 」 を 「0 」 に設定する。 例えば、 学習部 1 3 3は、 正解ラベル 「 1」 であり 「7」 と 予測された入カデータ以外の入カデータが入 力された場合は、 「丨 _{7 1} 」 を 「 1」 に設定し、 「丨 _{4 9} 」 を含む他の 「丨」 を 「0」 に設定する。

[0120] 学習部 1 3 3は、 更新した誤差関数八 〇 1 _ 1 を用いて学習を行う。 学 習部 1 3 3は、 更新した誤差関数八 （3 1 _ 1 に基づくロスを用いて学習処 理を行う。 学習部 1 3 3は、 更新した誤差関数八 （3 1 _ 1 に基づくロスを バックプロパゲーションすることにより、 学習を行う。 学習部 1 3 3は、 更 新した誤差関数 （3 1 _ 1 を用いて数字認識モデルを更新する。 [0121 ] 決定部 1 3 4は、 各種情報を決定する。 例えば、 決定部 1 3 4は、 外部の 情報処理装置からの情報や記憶部 1 2 0に記憶された情報に基づいて、 各種 情報を決定する。 決定部 1 3 4は、 端末装置 1 0等の他の情報処理装置から の情報に基づいて、 各種情報を決定する。 決定部 1 3 4は、 モデルタイプ情 報記憶部 1 2 1や誤差関数情報記憶部 1 2 2や獲得モデル情報記憶部 1 2 3 や適用誤差関数情報記憶部 1 2 4や重要度情報記憶部 1 2 5や学習用データ 記憶部 1 2 6に記憶された情報に基づいて、 各種情報を決定する。

[0122] 決定部 1 3 4は、 取得部 1 3 1 により取得された各種情報に基づいて、 各 種情報を決定する。 決定部 1 3 4は、 選択部 1 3 2により選択された各種情 報に基づいて、 各種情報を決定する。 決定部 1 3 4は、 学習部 1 3 3により 学習された各種情報に基づいて、 各種情報を決定する。 決定部 1 3 4は、 決 定に基づいて、 各種情報を変更する。 決定部 1 3 4は、 取得部 1 3 1 により 取得された情報に基づいて、 各種情報を更新する。

[0123] 決定部 1 3 4は、 端末装置 1 0に表示させる情報を決定する。 決定部 1 3 4は、 各種情報を算出する。 例えば、 決定部 1 3 4は、 外部の情報処理装置 からの情報や記憶部 1 2 0に記憶された情報に基づいて、 各種情報を算出す る。 決定部 1 3 4は、 端末装置 1 0等の他の情報処理装置からの情報に基づ いて、 各種情報を算出する。 決定部 1 3 4は、 モデルタイプ情報記憶部 1 2 1や誤差関数情報記憶部 1 2 2や獲得モデル情報記憶部 1 2 3や適用誤差関 数情報記憶部 1 2 4や重要度情報記憶部 1 2 5や学習用データ記憶部 1 2 6 に記憶された情報に基づいて、 各種情報を算出する。

[0124] 決定部 1 3 4は、 各種情報を集計する。 決定部 1 3 4は、 学習用データ記 憶部 1 2 6に記憶されたデータを用いて、 正解データと出力との各組合せに 対応する入カデータの数を集計する。 決定部 1 3 4は、 集計した正解データ と出力との各組合せに対応する入カデータの 数に基づいて、 適合率を算出す る。 決定部 1 3 4は、 集計した正解データと出力との各組合せに対 応する入 カデータの数に基づいて、 再現率 （R e c a l l） を算出する。 決定部 1 3 4は、 算出した適合率と再現率 （R e c a l l） とに基づいて、 より算出さ れた F値を算出する。

[0125] 図 1の例では、 決定部 1 3 4は、 数字 「2」 の適合率を 「0 . 9 2 5 6」 として算出する。 また、 決定部 1 3 4は、 同様に他の数字 「1」 、 「3」 一 「9」 の適合率を算出する。 決定部 1 3 4は、 数字 「7」 の再現率を 「0 . 9 3 1 9」 として算出する。 また、 決定部 1 3 4は、 同様に他の数字 「1」 _ 「6」 、 「8」 、 「9」 の再現率を算出する。 決定部 1 3 4は、 数字 「7 」 0 F値を 「0 . 9 4 0 1」 として算出する。 また、 決定部 1 3 4は、 同様 に他の数字 「 1」 一 「6」 、 「8」 、 「9」 の F値を算出する。

[0126] 表示制御部 1 3 5は、 各種情報の表示を制御する。 表示制御部 1 3 5は、 端末装置 1 〇における各種情報の表示を制御する。 表示制御部 1 3 5は、 表 示態様を制御する制御情報を含む画像を生成 する。 この制御情報は、 例えば 、 J a v a S c r i p t （登録商標） や C S S等のスクリプト言語により記 述される。 表示制御部 1 3 5は、 上記のような制御情報を含む画像を端末装 置 1 〇に提供することにより、 端末装置 1 〇に制御情報に従って上述した表 示処理を行わせる。 なお、 表示制御部 1 3 5は、 上記に限らず、 種々の従来 技術を適宜用いて、 端末装置 1 〇の表示を制御してもよい。

[0127] 表示制御部 1 3 5は、 外部の情報処理装置からの情報や記憶部 1 2 0に記 憶された情報に基づいて、 各種情報の表示を制御する。 表示制御部 1 3 5は 、 端末装置 1 〇等の他の情報処理装置からの情報に基づい て、 各種情報の表 示を制御する。 表示制御部 1 3 5は、 モデルタイプ情報記憶部 1 2 1や誤差 関数情報記憶部 1 2 2や獲得モデル情報記憶部 1 2 3や適用誤差関数情報記 憶部 1 2 4や重要度情報記憶部 1 2 5や学習用データ記憶部 1 2 6に記憶さ れた情報に基づいて、 各種情報の表示を制御する。

[0128] 表示制御部 1 3 5は、 取得部 1 3 1 により取得された各種情報に基づいて 、 各種情報の表示を制御する。 表示制御部 1 3 5は、 選択部 1 3 2により選 択された各種情報に基づいて、 各種情報の表示を制御する。 表示制御部 1 3 5は、 学習部 1 3 3により学習された各種情報に基づいて、 各種情報の表示 を制御する。 表示制御部 1 3 5は、 決定部 1 3 4により決定された各種情報 〇 2020/174952 32 卩（：171? 2020 /002239

に基づいて、 各種情報の表示を制御する。

[0129] 表示制御部 1 3 5は、 取得部 1 3 1 により取得された結果情報を、 機械学 習時の重要度を指定する対象として選択可能 に表示するように制御する。 表 示制御部 1 3 5は、 正解情報と出力との組合せの重要度を指定す る対象とし て結果情報を表示するように制御する。 表示制御部 1 3 5は、 取得部 1 3 1 により取得された複数の結果情報を、 機械学習時の重要度を指定する対象と して選択可能に表示するように制御する。

[0130] 表示制御部 1 3 5は、 取得部 1 3 1 により取得された複数の結果情報に対 応する入カデータの個数を表示するように制 御する。 表示制御部 1 3 5は、 第 1方向に沿って各正解情報を並べて表示し、 第 1方向に交差する第 2方向 に沿って各出力を並べて表示し、 各正解情報と各出力との組合せの各々に対 応する位置に、 各正解情報と各出力との組合せの各々に対応 する入カデータ の個数を表示するように制御する。 表示制御部 1 3 5は、 行及び列のうち一 方に各正解情報を、 他方に各出力を配置し、 各正解情報と各出力との組合せ の各々に対応する各項目に、 各正解情報と各出力との組合せの各々に対応 す る入カデータの個数を配置したマトリックス 表を表示するように制御する。

[0131 ] 表示制御部 1 3 5は、 マトリックス表の各項目のうち、 複数の項目を選択 可能に表示するように制御する。 表示制御部 1 3 5は、 マトリックス表の各 項目を範囲選択可能に表示するように制御す る。 表示制御部 1 3 5は、 マト リックス表の各項目のうち、 正解情報と出力とが一致する組合せに項目を 他 の項目と異なる表示態様で表示するように制 御する。

[0132] 表示制御部 1 3 5は、 取得部 1 3 1 により取得された複数の結果情報を、 機械学習時の重要度を指定する対象として選 択可能に表示するように制御す る。 表示制御部 1 3 5は、 複数の結果情報を、 所定の方向に並べて一覧表示 するように制御する。 表示制御部 1 3 5は、 所定の方向に並べて一覧表示さ れた複数の結果情報を範囲選択可能に表示す るように制御する。 表示制御部 1 3 5は、 対応する入カデータを識別可能に複数の結果 情報を表示するよう に制御する。 表示制御部 1 3 5は、 対応する正誤情報を識別可能に複数の結 〇 2020/174952 33 卩（：171? 2020 /002239

果情報を表示するように制御する。

[0133] 表示制御部 1 3 5は、 各種情報を生成する。 表示制御部 1 3 5は、 上記の ような制御情報を含む画像を生成する。 表示制御部 1 3 5は、 外部の情報処 理装置からの情報や記憶部 1 2 0に記憶された情報に基づいて、 各種情報を 生成する。 表示制御部 1 3 5は、 端末装置 1 0等の他の情報処理装置からの 情報に基づいて、 各種情報を生成する。 表示制御部 1 3 5は、 モデルタイプ 情報記憶部 1 2 1や誤差関数情報記憶部 1 2 2や獲得モデル情報記憶部 1 2 3や適用誤差関数情報記憶部 1 2 4や重要度情報記憶部 1 2 5や学習用デー 夕記憶部 1 2 6に記憶された情報に基づいて、 各種情報を生成する。

[0134] 表示制御部 1 3 5は、 取得部 1 3 1 により取得された各種情報に基づいて 、 各種情報を生成する。 表示制御部 1 3 5は、 選択部 1 3 2により選択され た各種情報に基づいて、 各種情報を生成する。 表示制御部 1 3 5は、 学習部 1 3 3により学習された各種情報に基づいて、 各種情報を生成する。 表示制 御部 1 3 5は、 決定部 1 3 4により決定された各種情報に基づいて、 各種情 報を生成する。

[0135] 表示制御部 1 3 5は、 決定部 1 3 4により集計された正解データと出力と の各組合せに対応する入カデータの数を含む 画像を生成する。 表示制御部 1 3 5は、 決定部 1 3 4により集計された正解データと出力との各� �合せに対 応する入カデータの数を各組合せに対応する 位置に配置したマトリックス表 を生成する。 表示制御部 1 3 5は、 決定部 1 3 4により算出された適合率を 示す情報を表示する。 表示制御部 1 3 5は、 決定部 1 3 4により算出された 再現率 丨） を示す情報を表示する。 表示制御部 1 3 5は、 決定 部 1 3 4により算出された 値を示す情報を表示する。

[0136] 表示制御部 1 3 5は、 種々の技術を適宜用いて、 外部の情報処理装置へ提 供する画像 （画像情報） 等の種々の情報を生成する。 表示制御部 1 3 5は、 端末装置 1 〇へ提供する画像 （画像情報） 等を生成する。 例えば、 表示制御 部 1 3 5は、 記憶部 1 2 0に記憶された情報に基づいて、 端末装置 1 〇へ提 供する画像 （画像情報） 等を生成する。 〇 2020/174952 34 卩（：171? 2020 /002239

[0137] 表示制御部 1 3 5は、 取得部 1 3 1 により取得された結果情報を、 機械学 習時の重要度を指定する対象として選択可能 に表示する画像を生成する。 表 示制御部 1 3 5は、 正解情報と出力との組合せの重要度を指定す る対象とし て結果情報を表示する画像を生成する。 表示制御部 1 3 5は、 取得部 1 3 1 により取得された複数の結果情報を、 機械学習時の重要度を指定する対象と して選択可能に表示する画像を生成する。

[0138] 表示制御部 1 3 5は、 取得部 1 3 1 により取得された複数の結果情報に対 応する入カデータの個数を表示する画像を生 成する。 表示制御部 1 3 5は、 第 1方向に沿って各正解情報を並べて表示し、 第 1方向に交差する第 2方向 に沿って各出力を並べて表示し、 各正解情報と各出力との組合せの各々に対 応する位置に、 各正解情報と各出力との組合せの各々に対応 する入カデータ の個数を表示する画像を生成する。 表示制御部 1 3 5は、 行及び列のうち一 方に各正解情報を、 他方に各出力を配置し、 各正解情報と各出力との組合せ の各々に対応する各項目に、 各正解情報と各出力との組合せの各々に対応 す る入カデータの個数を配置したマトリックス 表を表示する画像を生成する。

[0139] 表示制御部 1 3 5は、 マトリックス表の各項目のうち、 複数の項目を選択 可能に表示する画像を生成する。 表示制御部 1 3 5は、 マトリックス表の各 項目を範囲選択可能に表示する画像を生成す る。 表示制御部 1 3 5は、 マト リックス表の各項目のうち、 正解情報と出力とが一致する組合せに項目を 他 の項目と異なる表示態様で表示する画像を生 成する。

[0140] 表示制御部 1 3 5は、 取得部 1 3 1 により取得された複数の結果情報を、 機械学習時の重要度を指定する対象として選 択可能に表示する画像を生成す る。 表示制御部 1 3 5は、 複数の結果情報を、 所定の方向に並べて一覧表示 する画像を生成する。 表示制御部 1 3 5は、 所定の方向に並べて一覧表示さ れた複数の結果情報を範囲選択可能に表示す る画像を生成する。 表示制御部 1 3 5は、 対応する入カデータを識別可能に複数の結果 情報を表示する画像 を生成する。 表示制御部 1 3 5は、 対応する正誤情報を識別可能に複数の結 果情報を表示する画像を生成する。 [0141] 表示制御部 1 35は、 外部の情報処理装置へ提供する画像 （画像情報） 等 が生成可能であれば、 どのような処理により画像 （画像情報） 等を生成して もよい。 例えば、 表示制御部 1 35は、 画像生成や画像処理等に関する種々 の技術を適宜用いて、 端末装置 1 〇へ提供する画像 （画像情報） を生成する 。 例えば、 表示制御部 1 35は、 J a v a （登録商標） 等の種々の技術を適 宜用いて、 端末装置 1 〇へ提供する画像 （画像情報） を生成する。 なお、 表 示制御部 1 35は、 CSSや J a v a S c r i p t （登録商標） や H T M L の形式に基づいて、 端末装置 1 〇へ提供する画像 （画像情報） を生成しても よい。 また、 例えば、 表示制御部 1 35は、 J P EG （Joint Photographic Experts Group） や G I F （Graphics Interchange Format） や P NG （ Portable Network Graphics） など様々な形式で画像 （画像情報） を生成し てもよい。

[0142] 図 1の例では、 表示制御部 1 35は、 正解ラベルと出力 （予測ラベル） と の組合せに対応する入カデータの個数や各数 字の適合率、 再現率、 F値の情 報を用いて、 端末装置 1 〇に表示させる画像丨 M 1 を生成する。 表示制御部 1 35は、 行の配置された各正解ラベル 「0」 〜 「9」 と、 列に配置された 各出力 「0」 〜 「9」 との各々が交わるマス目 （項目） に、 その組合せの各 々に対応する入カデータの個数を配置したマ トリックス表を含む画像丨 M 1 を生成する。

[0143] 表示制御部 1 35は、 各組合せに対応する入カデータの個数を、 機械学習 時の重要度を指定する対象として選択可能に 表示する画像丨 M 1 を生成する 。 表示制御部 1 35は、 入カデータの個数が配置された各項目を機械 学習時 の重要度を指定する対象として選択可能に表 示する画像丨 M 1 を生成する。 例えば、 表示制御部 1 35は、 行 「7」 と列 「2」 とが交わる項目に配置さ れた数字 「28」 を選択可能な画像丨 M 1 を生成する。 表示制御部 1 35は 、 行 「7」 と列 「2」 との組合せ以外の他の組合せの項目に配置さ れた数字 についても同様に選択可能な画像丨 M 1 を生成する。 表示制御部 1 35は、 画像生成や画像処理等に関する種々の技術を 適宜用いて、 各行と各列とが交 〇 2020/174952 36 卩（：171? 2020 /002239

わる項目に配置された数字を選択可能な画 像丨 IV! 1 を生成する。

[0144] 送信部 1 3 6は、 外部の情報処理装置へ各種情報を提供する。 送信部 1 3

6は、 外部の情報処理装置へ各種情報を送信する。 例えば、 送信部 1 3 6は 、 端末装置 1 〇等の他の情報処理装置へ各種情報を送信す る。 送信部 1 3 6 は、 記憶部 1 2 0に記憶された情報を提供する。 送信部 1 3 6は、 記憶部 1 2 0に記憶された情報を送信する。

[0145] 送信部 1 3 6は、 端末装置 1 0等の他の情報処理装置からの情報に基づい て、 各種情報を提供する。 送信部 1 3 6は、 記憶部 1 2 0に記憶された情報 に基づいて、 各種情報を提供する。 送信部 1 3 6は、 モデルタイプ情報記憶 部 1 2 1や誤差関数情報記憶部 1 2 2や獲得モデル情報記憶部 1 2 3や適用 誤差関数情報記憶部 1 2 4や重要度情報記憶部 1 2 5や学習用データ記憶部 1 2 6に記憶された情報に基づいて、 各種情報を提供する。

[0146] 送信部 1 3 6は、 取得部 1 3 1 により取得された各種情報を端末装置 1 0 に送信する。 送信部 1 3 6は、 選択部 1 3 2により選択された各種情報を端 末装置 1 〇に送信する。 送信部 1 3 6は、 学習部 1 3 3により学習された各 種情報を端末装置 1 〇に送信する。 送信部 1 3 6は、 決定部 1 3 4により決 定された各種情報を端末装置 1 〇に送信する。

[0147] 送信部 1 3 6は、 表示制御部 1 3 5による端末装置 1 0を制御する情報を 端末装置 1 〇に送信する。 送信部 1 3 6は、 表示制御部 1 3 5により生成さ れた情報を端末装置 1 〇に送信する。 送信部 1 3 6は、 制御情報を含む画像 を端末装置 1 〇に送信する。 図 1の例では、 送信部 1 3 6は、 画像 I IV! 1 を 端末装置 1 〇に送信する。 送信部 1 3 6は、 誤差関数に関する情報を端末装 置 1 〇に送信する。 送信部 1 3 6は、 更新された誤差関数を示す情報を端末 装置 1 〇に送信する。

[0148] [ 1 - 4 . 実施形態に係る端末装置の構成]

次に、 実施形態に係る情報処理を実行する情報処理 装置の一例である端末 装置 1 0の構成について説明する。 図 1 0は、 本開示の実施形態に係る端末 装置の構成例を示す図である。 〇 2020/174952 37 卩（：171? 2020 /002239

[0149] 図 1 0に示すように、 端末装置 1 0は、 通信部 1 1 と、 入力部 1 2と、 出 力部 1 3と、 記憶部 1 4と、 制御部 1 5と、 表示部 1 6とを有する。

[0150] 通信部 1 1は、 例えば、 1\1 I <3や通信回路等によって実現される。 通信部

1 1は、 ネッ トワーク （インターネッ ト等） と有線又は無線で接続され、 ネッ トワーク 1\]を介して、 情報処理装置 1 0 0等の他の装置等との間で情報 の送受信を行う。

[0151 ] 入力部 1 2は、 ユーザから各種操作が入力される。 入力部 1 2は、 ユーザ による入力を受け付ける。 入力部 1 2は、 キーボードやマウスによるユーザ の入力を受け付ける。 入力部 1 2は、 ユーザによるモデルタイプの選択を受 け付ける。 入力部 1 2は、 ユーザによる誤差関数の選択を受け付ける。 入力 部 1 2は、 ユーザによる重要度を指定する指定情報を受 け付ける。 入力部 1 2は、 表示部 1 6に表示された結果情報に対するユーザによ� �重要度を指定 する指定情報を受け付ける。

[0152] 入力部 1 2は、 画像丨 IV! 1 に含まれるマトリクス表中の各項目のうち、 機 械学習時の重要度を指定する対象の選択をユ ーザ II 1から受け付ける。 入力 部 1 2は、 ユーザ II 1の操作に応じて、 ユーザ II 1 による正解ラベル 「9」

、 予測ラベル 「4」 の組合せの選択を受け付ける。 入力部 1 2は、 ユーザ II 1が選択した対象に対する重要度の指定をユ� �ザ II 1から受け付ける。 入力 部 1 2は、 正解ラベル 「9」 、 予測ラベル 「4」 の重要度 「2」 の指定をユ _ザ1） 1から受け付ける。

[0153] 入力部 1 2は、 音声を検知する機能を有してもよい。 例えば、 入力部 1 2 は、 音声を検知するマイクを有する。 入力部 1 2は、 ユーザによる発話を入 力として受け付けてもよい。 例えば、 入力部 1 2は、 各種センサにより実現 されるタッチパネルの機能により、 表示画面を介してユーザから各種操作を 受け付けてもよい。 すなわち、 入力部 1 2は、 端末装置 1 0の表示部 1 6を 介してユーザから各種操作を受け付けてもよ い。

[0154] この場合、 入力部 1 2は、 端末装置 1 0の表示部 1 6を介してユーザの指 定操作等の操作を受け付ける。 言い換えると、 入力部 1 2は、 タッチパネル 〇 2020/174952 38 卩（：171? 2020 /002239

の機能によりユーザの操作を受け付ける受 付部として機能する。 なお、 入力 部 1 2によるユーザの操作の検知方式には、 タブレッ ト端末では主に静電容 量方式が採用されるが、 他の検知方式である抵抗膜方式、 表面弾性波方式、 赤外線方式、 電磁誘導方式など、 ユーザの操作を検知できタッチパネルの機 能が実現できればどのような方式を採用して もよい。 また、 端末装置 1 〇は 、 端末装置 1 〇にボタン等が設けられる場合、 ボタン等による操作も受け付 ける入力部を有してもよい。

[0155] 出力部 1 3は、 各種情報を出力する。 出力部 1 3は、 音声を出力する機能 を有する。 例えば、 出力部 1 3は、 音声を出力するスピーカーを有する。 な お、 音声出力を行わない場合、 端末装置 1 〇は、 出力部 1 3を有しなくても よい。

[0156] 記憶部 1 4は、 例えば、 [¾八1\/1、 フラッシュメモリ等の半導体メモリ素子 、 または、 ハードディスク、 光ディスク等の記憶装置によって実現される 。 記憶部 1 4は、 情報の表示に用いる各種情報を記憶する。

[0157] 図 1 0に戻り、 説明を続ける。 制御部 1 5は、 例えば、

によって、 端末装置 1 0内部に記憶されたプログラム （例えば、 本開示に係 る情報処理プログラム等の表示プログラム） が IV!等を作業領域として実 行されることにより実現される。 また、 制御部 1 5は、 コントローラであり 、 例えば、 八3 丨 〇や 〇八等の集積回路により実現されてもよい。

[0158] 図 1 0に示すように、 制御部 1 5は、 受信部 1 5 1 と、 表示制御部 1 5 2 と、 決定部 1 5 3と、 送信部 1 5 4とを有し、 以下に説明する情報処理の機 能や作用を実現または実行する。 なお、 制御部 1 5の内部構成は、 図 1 0に 示した構成に限られず、 後述する情報処理を行う構成であれば他の構 成であ ってもよい。

[0159] 受信部 1 5 1は、 各種情報を受信する。 受信部 1 5 1は、 外部の情報処理 装置から各種情報を受信する。 受信部 1 5 1は、 情報処理装置 1 0 0等の他 の情報処理装置から各種情報を受信する。

[0160] 受信部 1 5 1は、 情報処理装置 1 〇〇から制御情報を受信する。 受信部 1 〇 2020/174952 39 卩（：171? 2020 /002239

5 1は、 情報処理装置 1 〇〇から画像を受信する。 受信部 1 5 1は、 情報処 理装置 1 0 0から制御情報を含む画像を受信する。 受信部 1 5 1は、 情報処 理装置 1 0 0から画像 I IV! 1 を受信する。 受信部 1 5 1は、 情報処理装置 1 0 0から制御情報を含む画像丨 IV! 1 を受信する。 受信部 1 5 1は、 誤差関数 に関する情報を情報処理装置 1 〇〇から受信する。 受信部 1 5 1は、 更新さ れた誤差関数を示す情報を情報処理装置 1 〇〇から受信する。

[0161 ] 表示制御部 1 5 2は、 各種表示を制御する。 表示制御部 1 5 2は、 表示部

1 6の表示を制御する。 表示制御部 1 5 2は、 受信部 1 5 1 による受信に応 じて、 表示部 1 6の表示を制御する。 表示制御部 1 5 2は、 受信部 1 5 1 に より受信された情報に基づいて、 表示部 1 6の表示を制御する。 表示制御部 1 5 2は、 決定部 1 5 3により決定された情報に基づいて、 表示部 1 6の表 示を制御する。 表示制御部 1 5 2は、 決定部 1 5 3による決定に応じて、 表 示部 1 6の表示を制御する。 表示制御部 1 5 2は、 表示部 1 6に情報処理装 置 1 0 0から受信した画像 1が表示されるように表示部 1 6の表示を制御す る。

[0162] 決定部 1 5 3は、 各種情報を決定する。 例えば、 決定部 1 5 3は、 外部の 情報処理装置からの情報や記憶部 1 4に記憶された情報に基づいて、 各種情 報を決定する。 決定部 1 5 3は、 情報処理装置 1 0 0等の他の情報処理装置 からの情報に基づいて、 各種情報を決定する。 決定部 1 5 3は、 受信部 1 5 1 により受信された情報に基づいて、 各種情報を決定する。 決定部 1 5 3は 、 受信部 1 5 1 による画像の受信に応じて、 表示部 1 6に受信部 1 5 1 に画 像を表示すると決定する。

[0163] 送信部 1 5 4は、 外部の情報処理装置へ各種情報を送信する。 例えば、 送 信部 1 5 4は、 端末装置 1 〇等の他の情報処理装置へ各種情報を送信す る。 送信部 1 5 4は、 記憶部 1 4に記憶された情報を送信する。

[0164] 送信部 1 5 4は、 情報処理装置 1 〇〇等の他の情報処理装置からの情報に 基づいて、 各種情報を送信する。 送信部 1 5 4は、 記憶部 1 4に記憶された 情報に基づいて、 各種情報を送信する。 〇 2020/174952 40 卩（：171? 2020 /002239

[0165] 送信部 1 5 4は、 ユーザの指定に基づく各種情報を情報処理装 置 1 0 0に 送信する。 送信部 1 5 4は、 入力部 1 2により受け付けられたユーザの操作 に関する各種情報を情報処理装置 1 〇〇に送信する。 送信部 1 5 4は、 ユー ザによるモデルタイプの選択を示す情報を情 報処理装置 1 0 0に送信する。 送信部 1 5 4は、 ユーザによる誤差関数の選択を示す情報を情 報処理装置 1 0 0に送信する。 送信部 1 5 4は、 ユーザによる重要度を指定する指定情報 を情報処理装置 1 0 0に送信する。

[0166] 図 1の例では、 送信部 1 5 4は、 ユーザ II 1が正解ラベル 「9」 と予測ラ ベル 「4」 との組合せを指定したことを示す情報を情報 処理装置 1 0 0に送 信する。 送信部 1 5 4は、 ユーザ II 1が正解ラベル 「9」 と予測ラベル 「4 」 との組合せの重要度を 「2」 に指定したことを示す情報を情報処理装置 1 0〇に送信する。

[0167] 送信部 1 5 4は、 ユーザ II 1が正解ラベル 「9」 と出力 「4」 との組合せ を選択したことを示す選択情報を情報処理装 置 1 〇〇へ送信する。 送信部 1 5 4は、 ユーザ II 1が正解ラベル 「9」 と出力 「4」 との組合せの重要度を 「2」 を指定したことを示す指定情報を情報処理装 置 1 0 0へ送信する。 送 信部 1 5 4は、 選択指定情報口 I 1 に示す情報を情報処理装置 1 0 0へ 送信する。

[0168] 表示部 1 6は、 端末装置 1 0に設けられ各種情報を表示する。 表示部 1 6 は、 例えば液晶ディスプレイや有機巳 !_ 1601；「0-1_11111 _1 306 6） ディスプ レイ等によって実現される。 表示部 1 6は、 情報処理装置 1 0 0から提供さ れる情報を表示可能であれば、 どのような手段により実現されてもよい。 表 示部 1 6は、 情報処理装置 1 0 0による制御に応じて、 各種情報を表示する 。 表示部 1 6は、 情報処理装置 1 0 0から受信部 1 5 1 により受信された制 御情報に応じて、 各種情報を表示する。 表示部 1 6は、 表示制御部 1 5 2に よる制御に応じて、 各種情報を表示する。 表示部 1 6は、 情報処理装置 1 0 〇から提供された画像を表示する。

[0169] 表示部 1 6は、 取得部 1 3 1 により取得された結果情報を、 機械学習時の 〇 2020/174952 41 卩（：171? 2020 /002239

重要度を指定する対象として選択可能に表 示する。 表示部 1 6は、 正解情報 と出力との組合せの重要度を指定する対象と して結果情報を表示する。 表示 部 1 6は、 取得部 1 3 1 により取得された複数の結果情報を、 機械学習時の 重要度を指定する対象として選択可能に表示 する。

[0170] 表示部 1 6は、 取得部 1 3 1 により取得された複数の結果情報に対応する 入カデータの個数を表示する。 表示部 1 6は、 第 1方向に沿って各正解情報 を並べて表示し、 第 1方向に交差する第 2方向に沿って各出力を並べて表示 し、 各正解情報と各出力との組合せの各々に対応 する位置に、 各正解情報と 各出力との組合せの各々に対応する入カデー タの個数を表示する。 表示部 1 6は、 行及び列のうち一方に各正解情報を、 他方に各出力を配置し、 各正解 情報と各出力との組合せの各々に対応する各 項目に、 各正解情報と各出力と の組合せの各々に対応する入カデータの個数 を配置したマトリックス表を表 」、する。

[0171 ] 表示部 1 6は、 マトリックス表の各項目のうち、 複数の項目を選択可能に 表示する。 表示部 1 6は、 マトリックス表の各項目を範囲選択可能に表 示す る。 表示部 1 6は、 マトリックス表の各項目のうち、 正解情報と出力とが一 致する組合せに項目を他の項目と異なる表示 態様で表示する。

[0172] 表示部 1 6は、 取得部 1 3 1 により取得された複数の結果情報を、 機械学 習時の重要度を指定する対象として選択可能 に表示する。 表示部 1 6は、 複 数の結果情報を、 所定の方向に並べて一覧表示する。 表示部 1 6は、 所定の 方向に並べて一覧表示された複数の結果情報 を範囲選択可能に表示する。 表 示部 1 6は、 対応する入カデータを識別可能に複数の結果 情報を表示する。 表示部 1 6は、 対応する正誤情報を識別可能に複数の結果情 報を表示する。

[0173] 表示部 1 6は、 取得部 1 3 1 により取得された結果情報を、 機械学習時の 重要度を指定する対象として選択可能な画像 を表示する。 表示部 1 6は、 正 解情報と出力との組合せの重要度を指定する 対象として結果情報を含む画像 を表示する。 表示部 1 6は、 取得部 1 3 1 により取得された複数の結果情報 を含む画像を、 機械学習時の重要度を指定する対象として選 択可能な画像を 表 する ₀

[0174] 表示部 1 6は、 取得部 1 3 1 により取得された複数の結果情報に対応する 入カデータの個数を示す画像を表示する。 表示部 1 6は、 第 1方向に沿って 各正解情報を並べて表示し、 第 1方向に交差する第 2方向に沿って各出力を 並べて表示し、 各正解情報と各出力との組合せの各々に対応 する位置に、 各 正解情報と各出力との組合せの各々に対応す る入カデータの個数を示す画像 を表示する。 表示部 1 6は、 行及び列のうち一方に各正解情報を、 他方に各 出力を配置し、 各正解情報と各出力との組合せの各々に対応 する各項目に、 各正解情報と各出力との組合せの各々に対応 する入カデータの個数を配置し たマトリックス表を含む画像を表示する。

[0175] 表示部 1 6は、 マトリックス表の各項目のうち、 複数の項目を選択可能な 画像を表示する。 表示部 1 6は、 マトリックス表の各項目を範囲選択可能な 画像を表示する。 表示部 1 6は、 マトリックス表の各項目のうち、 正解情報 と出力とが一致する組合せに項目を他の項目 と異なる表示態様で含む画像を 表 する ₀

[0176] 表示部 1 6は、 取得部 1 3 1 により取得された複数の結果情報を、 機械学 習時の重要度を指定する対象として選択可能 な画像を表示する。 表示部 1 6 は、 複数の結果情報を、 所定の方向に並べて一覧表示する画像を表示 する。 表示部 1 6は、 所定の方向に並べて一覧表示された複数の結 果情報を範囲選 択可能な画像を表示する。 表示部 1 6は、 対応する入カデータを識別可能に 複数の結果情報を含む画像を表示する。 表示部 1 6は、 対応する正誤情報を 識別可能に複数の結果情報を含む画像を表示 する。

[0177] 図 1の例では、 表示部 1 6は、 画像丨 M 1 を表示する (ステップ S 1 1 )

。 表示部 1 6は、 数字認識に関する混同行列 ( C o n f u s i o n M a t r i x ) であるマトリックス表を含む画像丨 M 1 を表示する。

[0178] 表示部 1 6は、 誤差関数に関する情報を表示する。 表示部 1 6は、 更新さ れた誤差関数を示す情報を表示する。

[0179] [ 1 - 5 . 実施形態に係る情報処理の手順] 〇 2020/174952 43 卩（：171? 2020 /002239

次に、 図 1 1 を用いて、 実施形態に係る各種情報処理の手順について 説明 する。 図 1 1は、 本開示の実施形態に係る情報処理の手順を示 すフローチャ —卜である。

[0180] 図 1 1 に示すように、 情報処理装置 1 0 0は、 モデルに入カデータが入力 された場合の出力と、 入カデータに対応する正解情報との関係に基 づく結果 情報を取得する （ステップ 3 1 0 1） 。 情報処理装置 1 0 0は、 学習用デー 夕記憶部 1 2 6 （図 9参照） からモデルに入カデータが入力された場合の 出 力と、 入カデータに対応する正解情報との関係に基 づく結果情報を取得する

[0181 ] 情報処理装置 1 0 0は、 結果情報を、 機械学習時の重要度を指定する対象 として選択可能に表示するように制御する （ステップ 3 1 0 2） 。 例えば、 情報処理装置 1 〇〇は、 出力と正解情報との組合せが選択可能な画像 を端末 装置 1 〇に提供する。 例えば、 情報処理装置 1 〇〇は、 制御情報を含む画像 を端末装置 1 〇に提供する。

[0182] [ 1 - 6 . 機能ブロックの概念図]

ここで、 図 1 2を用いて、 情報処理システム 1 における各機能を概念的に 示す。 図 1 2は、 各情報処理に対応する機能ブロックの概念図 の一例を示す 図である。 なお、 図 1 2では、 各機能ブロックと情報処理装置 1 0 0や端末 装置 1 0との対応付けは一例であり、 図 1 2に示す各機能ブロックに対応す る機能は、 情報処理装置 1 〇〇や端末装置 1 〇のいずれが行ってもよい。 図 1 2に示す機能ブロック群 〇巳 1は、 データ入力部、 誤差関数入力 ·選択 部、 教師あり学習部、 定量評価可視化部、 定性評価可視化部、 テスト結果フ ィードバック部、 更新後誤差関数表示部、 識別器出力部等が含まれる。

[0183] 図 1 2に示すデータ入力部は、 識別器の学習及びテストに利用するデータ とラベルをユーザが入力 （アップロードまたはパスの指定） するモジュール である。 そして、 データ入力部は、 受け取ったデータをメモリ上に展開し、 必要なら加工してから後段の教師あり学習部 にデータを渡す。 例えば、 ユー ザによるデータ入力を受け付けるデータ入力 部の機能は、 端末装置 1 〇の入 力部 1 2や情報処理装置 1 0 0の取得部 1 3 1の機能等に対応する。 また、 例えば、 データをメモリ上に展開し、 必要なら加工してから後段の教師あり 学習部にデータを渡すデータ入力部の機能は 、 情報処理装置 1 0 0の取得部 1 3 1の機能等に対応する。

[0184] 図 1 2に示す誤差関数入力 ·選択部は、 ユーザが学習に利用する誤差関数 を選択するモジュールである。 例えば、 情報処理システム 1 を利用するユー ザは二つの誤差関数を選択する。 一つは、 システムの学習に主として利用す る誤差関数であり、 ユーザのフィードバックとは無関係に一貫し て利用され る誤差関数 （上記の第 1誤差関数に対応） である。 もう ^_ つは、 ユーザフィ -ドバック結果によって自動で誤差関数を更� �する際に利用するための誤差 関数 （上記の第 2誤差関数に対応） である。 これらの誤差関数の設定には、 情報処理システム 1は、 上述したような既存の一般的な関数はあらか じめ用 意しておき、 その関数からユーザに選択させてもよい。 一方で、 情報処理シ ステム 1は、 ユーザがプログラミング言語を利用して自分 で設定可能にして もよい。 例えば、 ューザが誤差関数を選択する誤差関数入力 ·選択部の機能 は、 端末装置 1 〇の入力部 1 2や情報処理装置 1 0 0の選択部 1 3 2の機能 等に対応する。

[0185] 図 1 2に示す教師あり学習部では、 ユーザによって与えられたデータと誤 差関数を用いて、 誤差関数を最小化するように最適化を行う。 情報処理シス テム 1が学習対象とするモデルは、 最適化可能なモデルであれば、 どのよう なモデルであってもよい。 例えば、 モデルがニューラルネッ トワークである 場合、 情報処理システム 1は、 誤差勾配法によって更新することによって識 別器を獲得する。 なお、 モデルはニューラルネッ トワークに限らず、 機械学 習が適用可能な任意のモデルを利用すること ができる。 例えば、 情報処理シ ステム 1は、 サポートべクターマシン、 多層パーセプトロンや畳:み込みニュ —ラルネツ トワーク （Convo lut i ona l Neura l Network : C N N） 等、 種々 のタイプのモデルを学習してもよい。

[0186] 教師あり学習部での学習は、 ユーザフィードバックを元に繰り返し実行さ れる。 最初の学習では、 情報処理システム 1は、 誤差関数のうち第 1誤差関 数のみを利用して学習を行う。 情報処理システム 1は、 後述する定量評価可 視化部や定性評価可視化部により、 その結果を可視化し、 ユーザはその結果 をもとにフィードバックを行う。 このフィードバック結果を加味して第 2誤 差関数を含めた誤差関数を自動で設計し、 再び学習を実行する。 情報処理シ ステム 1は、 このような学習、 評価、 フィードバックのサイクルを U 丨上で 回すことで、 ユーザは望む識別器を獲得する。 例えば、 教師あり学習部の機 能は、 情報処理装置 1 0 0の学習部 1 3 3の機能等に対応する。

[0187] 定量評価可視化部は、 識別器の性能を混同行列 ( C o n f u s i o n M a t r i X ) によって可視化する。 例えば、 図 1中の画像丨 M 1 に示すよう に、 情報処理システム 1は、 手書き数字認識データセッ トによって学習した 認識器に対するマトリックス表を可視化する 。 情報処理システム 1 を利用す るユーザは、 この可視化された結果をもとに、 特に許容できないような間違 いを把握しフィードバックする。 例えば、 定量評価可視化部の機能は、 端末 装置 1 0の表示制御部 1 5 2、 表示部 1 6や情報処理装置 1 0 0の決定部 1 3 4、 表示制御部 1 3 5の機能等に対応する。

[0188] 表示方法については、 混同行列に限らず、 データの種類に応じて自由度が ある。 例えば、 定量評価可視化部は、 混同行列に限らず、 データの種類に応 じて種々の態様による表示を行ってもよい。 例えば、 回帰問題を対象とする 場合、 情報処理システム 1は、 回帰結果を示したグラフを表示してもよい。 この場合、 例えば、 情報処理システム 1は、 グラフの任意区間に対して重要 度をユーザに指定させる。

[0189] また、 情報処理システム 1は、 t— S N E (t-D i st r i buted Stochast i c Ne i ghbor Embedd i ng) などを利用して、 特徴量空間上に正解ラベルごとに色 分けしてプロッ トしてもよい。 この場合、 例えば、 情報処理システム 1は、 プロッ トした点群を領域選択して重要度をユーザに 指定させる。

[0190] 定性評価可視化部は、 識別器の性能を入力した画像、 正解ラベルそして予 測ラベルを並べることによって可視化する。 この点の詳細は図 1 4を用いて 〇 2020/174952 46 卩（：171? 2020 /002239

後述する。 情報処理システム 1 を利用するユーザは、 この画面 （図 1 4中の 画像 1 1\/1 2 1等） を通じても、 選択的に許容できない誤りをフィードバック することができる。 正解ラベル 「9」 の入カデータ （画像） を 0と予測して しまっていることを改善したい場合には、 その入カデータ （画像） を選択す ることによって、 情報処理システム 1は、 自動で更新する誤差関数に反映す る。 例えば、 定性評価可視化部の機能は、 端末装置 1 0の表示制御部 1 5 2 、 表示部 1 6や情報処理装置 1 0 0の決定部 1 3 4、 表示制御部 1 3 5の機 能等に対応する。

[0191 ] 定性評価可視化部は、 対象とするデータが画像以外の場合、 データの種類 に対して表示方法を変更する。 例えば、 情報処理システム 1は、 音声認識に 応用する場合、 再生ボタンを表示し、 表示した再生ボタンをユーザが選択し た場合、 その再生ボタンに対応する音声を出力しても よい。

[0192] テスト結果フィードバック部は、 ユーザによる結果のフィードバックを受 け付ける。 フィードバック結果は、 次の学習時に利用する誤差関数を情報処 理システム 1が自動で設計する際に利用される。 例えば、 ユーザのフィード バックは、 定量評価可視化部により可視化された情報 （マトリックス表等） をベースに行う。 ユーザはマトリックス表の中で、 任意の領域を矩形選択す ることで、 その領域の重要度を入力する。 例えば、 重要度は、 その選択され た組合せに対応する入カデータについてどの くらい正解してほしいかを示す 。 なお、 領域選択の詳細については図 1 3を用いて後述する。

[0193] 例えば、 ユーザは、 結果をもとにマトリックス表に対する矩形選 択によっ て重要な領域を選定する。 ユーザは、 選んだ領域に対して、 数値によって重 要度を定める。 情報処理システム 1は、 この重要度を誤差関数の設計の際に 利用する。 例えば、 情報処理システム 1は、 定性評価可視化部で可視化した 情報に基づいて、 視覚的にフィードバックする仕組みをユーザ に提供する。 例えば、 情報処理システム 1は、 ユーザが選択した誤識別結果をもとにして 、 図 1 3中の画像丨 1\/1 1 1のような重要度マップのサンプルを自動に� �成す る。 例えば、 情報処理システム 1は、 ユーザが選んだ画像に対応した領域の 〇 2020/174952 47 卩（：171? 2020 /002239

重要度をあげることにより、 定性評価可視化部で可視化した情報に基づい て 、 視覚的にフィードバックする仕組みをユーザ に提供する。 例えば、 テスト 結果フィードバック部の機能は、 端末装置 1 0の入力部 1 2や情報処理装置 1 〇〇の取得部 1 3 1、 学習部 1 3 3の機能等に対応する。

[0194] テスト結果フィードバック部は、 混同行列上でユーザ操作を受け付ける部 分であるが、 種々の対象によりフィードバックを行っても よい。 情報処理シ ステム 1は、 ユーザの入力を動的に監視して、 ユーザが入力を確定する前に 、 入力されたと同時に学習処理を数ステップ実 行することによって、 その重 要度の指定の場合どのような性能になるかを 予測して表示してもよい。 この 場合、 情報処理システム 1 を利用するユーザは予測結果をもとにして、 重要 度の大きさや選択範囲をアレンジすることが 可能となる。

[0195] 更新後誤差関数表示部は、 自動で更新 ·設計した誤差関数をユーザに提示 する。 例えば、 誤差関数の自動設計は上記の式 （1） のように設計される。 上記の式 （ 1） の右辺中の第 _項 「し」 （大文字のエル） は第 1誤差関数で あり、 ユーザのフィードバックとは無関係に一貫し て利用される誤差関数で ある。 上記の式 （1） の右辺中の第二項がフィードバックをもとに した第 2 誤差関数であり、 誤差関数入力 ·選択部で入力した第 2誤差関数は 「 I」 （ 小文字のエル） に対応する。 また、 上記の式 （1） の右辺中の 「《」 は、 テ スト結果フィードバック部でユーザが設定し た重要度に基づいて算出される 重みである。 利用できる誤差関数や重要度から 「《」 の算出方法に自由度が あり、 種々の情報を適宜用いた任意の方法が利用可 能である。 例えば、 更新 後誤差関数表示部の機能は、 端末装置 1 〇の表示制御部 1 5 2、 表示部 1 6 や情報処理装置 1 〇〇の表示制御部 1 3 5の機能等に対応する。

[0196] 識別器出力部は、 学習によって得られた認識器を出力する部分 である。 上 述した学習、 評価、 フィードバックのサイクルを繰り返して得ら れたモデル の構造やパラメータ、 学習状況をメモリやファイルなどに記録する 。 例えば 、 識別器出力部の機能は、 情報処理装置 1 0 0の学習部 1 3 3の機能等に対 応する。 上述のように、 識別器出力部は、 設計の部分であり、 誤差関数の種 類と重要度の算出方法について無数に自由度 が存在する。

[0197] [1 -7. 情報の表示及び選択等]

上述したように、 情報の可視化 (表示) や重要度の指定対象の選択等につ いて種々の態様を採用することができる。 そこで、 以下では、 情報の表示及 び選択等に関する処理について、 図 1 3〜図 1 8を用いて詳述する。 なお、 図 1 と同様の点については適宜説明を主略する。 なお、 図 1 3〜図 1 8に示 す各処理は、 情報処理装置 1 00や端末装置 1 0等、 情報処理システム 1 に 含まれるいずれの装置が行ってもよい。

[0198] [1 -7 - 1. 定量的表示に対する範囲選択]

まず、 図 1 3を用いて、 定量的表示に対する範囲選択について説明す る。 図 1 3は、 情報の表示等の情報処理の一例を示す図であ る。 具体的には、 図 1 3は、 混同行列 (Co n f u s i o n Ma t r i x) に対する範囲選択 の処理の一例を示す図である。

[0199] 図 1 3の例では、 混同行列 (Co n f u s i o n Ma t r i x) である マトリックス表を含む画像丨 M 1 と、 マトリックス表中の各組合せに対応す る重要度を示す画像丨 M 1 1 とが端末装置 1 0の表示部 1 6に表示される場 合を示す。 図 1 3中の画像丨 M 1は、 図 1中の画像丨 M 1 と同様であるため 、 説明を省略する。

[0200] 画像丨 M 1 1は、 1 0行 1 0列の各要素の各々に重要度を示す値が配置� � れた表である。 上記のように 1 0行 1 0列の各要素は、 画像 I M 1のマトリ ックス表中の各組合せに対応する。 画像丨 M 1 1中の 1行 2列目の要素は、 マトリックス表中の正解ラベル 「0」 と予測ラベル 「1」 との組合せ (項目 ) に対応する。 図 1 3の例では、 正解ラベル 「0」 と予測ラベル 「1」 との 組合せの重要度は、 「〇」 であることを示す。

[0201] 情報処理システム 1は、 画像丨 M 1のマトリックス表に対するユーザによ る範囲選択を受け付ける。 例えば、 情報処理システム 1は、 画像丨 M 1 に含 まれるマトリクス表中の複数の項目に対して 、 重要度を指定する対象の選択 をユーザから受け付ける。 情報処理システム 1 を利用するユーザは、 画像丨 〇 2020/174952 49 卩（：171? 2020 /002239

IV! 1 に含まれるマトリクス表中に対して、 機械学習時の重要度を指定する対 象を含む範囲を選択する。

[0202] 図 1 3の例では、 ユーザは、 画像丨 IV! 1 に含まれるマトリクス表中に対し て、 正解ラベル 「7」 と予測ラベル 「1」 との組合せ （項目） 及び正解ラべ ル 「7」 と予測ラベル 「2」 との組合せ （項目） の 2つの組合せ （項目） を 含む範囲 1 を選択する。

[0203] そして、 情報処理システム 1は、 ユーザが選択した範囲に含まれる組合せ に対する重要度の指定をユーザから受け付け る。 ユーザは、 範囲選択した正 解ラベル 「7」 と予測ラベル 「1」 との組合せ及び正解ラベル 「7」 と予測 ラベル 「2」 との組合せに対する重要度を指定する。 図 1 3の例では、 ユー ザは、 正解ラベル 「7」 と予測ラベル 「1」 との組合せ及び正解ラベル 「7 」 と予測ラベル 「2」 との組合せの 2つの組合せに対する重要度を 「2」 と 指定する。 これにより、 情報処理システム 1は、 正解ラベル 「7」 と予測ラ ベル 「1」 との組合せ及び正解ラベル 「7」 と予測ラベル 「2」 との組合せ の 2つの組合せの重要度 「2」 の指定をユーザから受け付ける。 例えば、 情 報処理システム 1は、 ユーザによる範囲 1の選択に応じて、 範囲八 1 に対応する組合せの重要度を入力する入力画 面 （ポップアップ画面） を表示 してもよい。 そして、 情報処理システム 1は、 表示した入力画面により、 正 解ラベル 「7」 と予測ラベル 「1」 との組合せ及び正解ラベル 「7」 と予測 ラベル 「2」 との組合せの 2つの組合せの重要度 「2」 の指定をユーザから 受け付けてもよい。

[0204] 重要度の指定を受け付けた情報処理システム 1は、 画像丨 IV! 1中の範囲八

1 1 に含まれる要素に配置された 重要度を示す値を変更する。 情報処理システム 1は、 正解ラベル 「7」 と予 測ラベル 「1」 との組合せ及び正解ラベル 「7」 と予測ラベル 「2」 との組 合せの 2つの組合せの各々に対応する画像 I IV! 1 1中の要素の値を 「2」 に 変更する。 情報処理システム 1は、 画像丨 IV! 1 1 に含まれ る要素の値を 「2」 に変更する。 具体的には、 情報処理システム 1は、 正解 〇 2020/174952 50 卩（：171? 2020 /002239

ラベル 「7」 と予測ラベル 「 1」 との組合せに対応する画像丨 IV! 1 1中の 8 行 2列目の要素の値を 「2」 に変更する。 また、 情報処理システム 1は、 正 解ラベル 「7」 と予測ラベル 「2」 との組合せに対応する画像丨 IV! 1 1中の 8行 3列目の要素の値を 「2」 に変更する。

［0205］ また、 図 1 3の例では、 ユーザは、 正解ラベル 「1」 と予測ラベル 「6」

、 「7」 、 「8」 との組合せ （項目） 及び正解ラベル 「2」 と予測ラベル 「 6」 、 「7」 、 「8」 との組合せ （項目） の 6つの組合せ （項目） を含む範 囲八 2を選択する。

［0206］ そして、 情報処理システム 1は、 ユーザが選択した範囲 2に含まれる 組合せに対する重要度の指定をユーザから受 け付ける。 ユーザは、 範囲選択 した正解ラベル 「 1」 、 「2」 と予測ラベル 「6」 、 「7」 、 「8」 との各 々の組合せの 6つの組合せに対する重要度を指定する。 図 1 3の例では、 ユ —ザは、 正解ラベル 「 1」 、 「2」 と予測ラベル 「6」 、 「7」 、 「8」 と の各々の組合せの 6つの組合せに対する重要度を 「1」 と指定する。 これに より、 情報処理システム 1は、 正解ラベル 「1」 、 「2」 と予測ラベル 「6 」 、 「7」 、 「8」 との各々の組合せの 6つの組合せの重要度 「1」 の指定 をユーザから受け付ける。

［0207］ 重要度の指定を受け付けた情報処理システム 1は、 画像丨 IV! 1中の範囲八

8 2に対応する画像丨 1\/1 1 1中の範囲 ［¾ 1 2に含まれる要素に配置された 重要度を示す値を変更する。 情報処理システム 1は、 正解ラベル 「1」 、 「 2」 と予測ラベル 「6」 、 「7」 、 「8」 との各々の組合せの 6つの組合せ の各々に対応する画像丨 IV! 1 1中の要素の値を 「 1」 に変更する。 情報処理 システム 1は、 画像丨 IV! 1 に含まれる要素の値を 「 1」 に変更する。 具体的には、 情報処理システム 1は、 正解ラベル 「1」 と予測 ラベル 「6」 、 「7」 、 「8」 との組合せに対応する画像丨 IV! 1 1中の 2行

7〜 9列目の要素の値を 「1」 に変更する。 また、 情報処理システム 1は、 正解ラベル 「2」 と予測ラベル 「6」 、 「7」 、 「8」 との組合せに対応す る画像丨 IV! 1 1中の 3行 7〜 9列目の要素の値を 「 1」 に変更する。 [0208] そして、 情報処理システム 1は、 取得した重要度を指定する情報に基づい て、 誤差関数を更新し、 更新した誤差関数を用いて、 学習を行う。

[0209] このように、 情報処理装置 1 00は、 学習した識別器のテスト結果から混 同行列を提示して、 選択的に性能を向上させたいラベル対をユー ザに領域を 選択させる。 また、 情報処理装置 1 00は、 選択された領域に応じて、 その 領域の識別性能を向上させ得るような誤差関 数を自動で設計して再学習を行 う。

[0210] [1 -7 -2. 定性的表示]

まず、 図 1 4を用いて、 定性的表示に対する重要度の指定について説 明す る。 図 1 4は、 情報の表示等の情報処理の一例を示す図であ る。 具体的には 、 図 1 4は、 各入カデータに対応する結果情報が一覧表示 された場合の重要 度の指定の処理の一例を示す図である。

[0211] 図 1 4の例では、 情報処理システム 1は、 複数の結果情報を所定の方向に 並べて一覧表示する画像丨 M2 1 を表示する。 例えば、 情報処理システム 1 の情報処理装置 1 〇〇は、 複数の入カデータの各々が入力された場合の 各出 力と、 複数の入カデータの各々に対応する各正解情 報との関係を示す複数の 結果情報を、 機械学習時の重要度を指定する対象として選 択可能に表示する ように制御する。 例えば、 情報処理システム 1の情報処理装置 1 〇〇は、 複 数の結果情報を含む画像丨 M2 1 を生成する。 情報処理システム 1は、 各結 果に対応する入カデータを示す情報を 「P a t h」 の欄に配置した画像丨 M 2 1 を表示する。 「P a t h」 には、 入カデータが格納された格納場所を示 すファイルパスが配置される。 図 1 4の例では、 P NG形式の入カデータ （ 画像） が所定のフォルダに格納されている場合を示 す。 図 1 4の例では、 「 /m n i s t」 は以下のフォルダ 「t e s t」 内に格納された 「 i m a g e— 4393. p n g」 や 「 i m a g e— 5638. p n g」 や 「 i m a g e— 5869. p n g」 といった複数の入カデータの各々に対応する 結果情 報が表示された場合を示す。 このように、 情報処理システム 1の情報処理装 置 1 00は、 「 i m a g e— 4393. p n g」 や 「 i m a g e— 5638 . p n g」 や 「 i m a g e— 5869. p n g」 の各々に対応する複数の結 果情報を、 所定の方向に並べて一覧表示するように制御 する。

[0212] 情報処理システム 1は、 各結果に対応する予測ラベル （出力） を示す情報 を 「P r e d_ l a b e 丨」 の欄に配置した画像丨 M2 1 を表示する。 例え ば、 「P r e d l a b e l」 の欄が 「3」 である場合、 その結果に対応す る予測ラベルが 「3」 であることを示す。

[0213] また、 情報処理システム 1は、 各結果に対応する正解ラベルを示す情報を 「L a b e l」 の欄に配置した画像丨 M2 1 を表示する。 例えば、 「L a b e l」 の欄が「3」 である場合、 その結果に対応する正解ラベルが「3」 で あることを示す。

[0214] 情報処理システム 1は、 各結果に対応する予測ラベルと正解ラベルと の比 較結果を示す正誤情報を 「Co r r e c t n e s s」 の欄に配置した画像丨 M2 1 を表示する。 例えば、 「Co r r e c t n e s s」 の欄が 「〇」 であ る場合、 その結果に対応する予測ラベル （出力） と正解ラベルとが一致して いる、 すなわち入カデータが正しく認識されたこと を示す。 例えば、 「Co r r e c t n e s s」 の欄が 「X」 である場合、 その結果に対応する予測ラ ベル （出力） と正解ラベルとが不一致である、 すなわち入カデータが正しく 認識されなかったことを示す。

[0215] データ D 丨 D 1 _4に対応する結果情報は、 r i m a g e— 6 1 72. p n g」 の結果情報であることを示す。 例えば、 「 i m a g e— 6 1 72. p n g」 は、 出力項目〇 P 1 - 1 -4に示すように、 予測ラベルが 「0」 であ ることを示す。 また、 「 i m a g e— 6 1 72 p n g」 は、 正解項目 L B 1 _ 4に示すように、 正解ラベルが 「9」 であることを示す。 「 i m a g e — 6 1 72. p n g」 は、 正誤項目に示すように、 「 i m a g e— 6 1 72 . p n g」 の入カデータが正しく認識されなかったこと を示す。 このように 、 図 1 4の例では、 「 i m a g e— 6 1 72. p n g」 のみ 「Co r r e c t n e s s」 の欄が 「X」 であり、 「 i m a g e— 6 1 72. p n g」 の入 カデータのみが正しく認識されなかったこと を示す。 [0216] また、 情報処理システム 1は、 ユーザの指定に応じて、 指定された入カデ —夕の詳細を表示してもよい。 情報処理システム 1は、 ユーザがマウスカー ソル P T （図 1 5参照） 等を重畳させた行の入カデータの詳細を表示 しても よい。 図 1 4の例では、 情報処理システム 1は、 ユーザが指定した 「 i m a g e— 6 1 7 2 . p n g」 の入カデータ D T 1 — 4 （画像） そのものを表示 する。

[0217] そして、 ユーザは、 表示された入カデータ （画像） と識別器の結果を見比 ベながら性能評価を行う。 図 1 4の例では、 ユーザは、 表示された入カデー 夕 D T 1 _ 4とモデルが出力した予測ラベル 「0」 とを比較しながら、 性能 評価を行う。

[0218] 以下、 定性的表示に対するユーザの選択について図 1 5、 図 1 6を用いて 説明する。 図 1 5、 図 1 6は、 定性評価可視化での結果情報のフィルタリン グやソートを利用した結果情報の選択につい て説明する。

[0219] [ 1 - 7 - 3 . 定性的表示に対する選択その 1 ]

まず、 図 1 5を用いて、 定性的表示に対する選択の一例を説明する。 図 1 5は、 情報の表示等の情報処理の一例を示す図であ る。 具体的には、 図 1 5 は、 結果情報のフィルタリングを利用した結果情 報の選択の一例を示す図で ある。 なお、 図 1 4と同様の点については適宜説明を省略する� �

[0220] 図 1 5の例では、 情報処理システム 1は、 複数の結果情報を所定の方向に 並べて一覧表示する画像丨 M 3 1 を表示する。 図 1 5に示す画像丨 M 3 1は 、 図 1 4に示す画像丨 M 2 1 と同様である。

[0221 ] 図 1 5の例では、 ユーザは、 検索条件を 「L a b e 丨 = “9” 」 とするフ ィルタリングを情報処理システム 1 に要求する。 すなわち、 ユーザは、 正解 ラベルが 「9」 であることを検索条件とするフィルタリング を情報処理シス テム 1 に要求する。 例えば、 ユーザは、 検索条件 「L a b e I = “9” 」 を 示す情報を、 検索条件入力欄に入力することにより、 フィルタリングを情報 処理システム 1 に要求してもよい。 例えば、 ユーザは、 情報処理システム 1 が提供する検索条件の一覧から 「L a b e I = “9” 」 を示す情報を選択す 〇 2020/174952 54 卩（：171? 2020 /002239

ることにより、 フィルタリングを情報処理システム 1 に要求してもよい。

[0222] 情報処理システム 1は、 上記のユーザの検索条件 「!_ 3匕 6 I = “9” 」 の指定に基づいて、 検索を行う （ステップ 3 3 1） 。 情報処理システム 1は 、 検索条件 「1- 3 I = “9” 」 に該当する結果情報を抽出し、 抽出した 結果情報のみを一覧表示する。

[0223] 図 1 5の例では、 情報処理システム 1は、 データ 0 丨 0 1 _ 4に対応する 結果情報等、 正解ラベルが 「9」 である結果情報を抽出し、 一覧表示する。 情報処理システム 1は、 正解ラベルが 「9」 である結果情報を一覧表示する 画像丨 1\/1 3 2を表示する。

[0224] そして、 ユーザは、 画像丨 1\/1 3 2に一覧表示された結果情報のうち、 「〇 の欄が 「X」 である結果情報を、 重要度を指定する 対象として選択する （ステップ 3 3 2） 。 例えば、 ユーザは、 マウスカーソ ル 丁を操作し、 データ 0 I 0 1 _ 4に対応する結果情報をクリックするこ とにより、 データロ I 0 1 _ 4に対応する結果情報を、 重要度を指定する対 象として選択する。

[0225] これにより、 情報処理システム 1は、 データロ I 0 1 _ 4を、 重要度を指 定する対象に決定する （ステップ 3 3 3） 。 そして、 情報処理システム 1は 、 ユーザに選択されたデータロ I 0 1 _ 4に対応する結果情報を表示する範 囲八 3 1 を強調表示する画像丨 IV! 3 3を表示する。 例えば、 情報処理シス テム 1は、 範囲八 3 1 を赤枠で選択表示する。

[0226] また、 情報処理システム 1は、 データ 0 I 0 1 _ 4に対応する結果情報に 対する重要度を示す情報をユーザに入力させ る。 情報処理システム 1は、 重 要度の値を入力させる入力画面 （ポップアップ画面） を表示してもよい。 そ して、 情報処理システム 1は、 表示した入力画面により、 ユーザによるデー 夕 0 丨 0 1 _ 4の正解ラベル及び予測ラベルの組合せの重� �度の指定をユー ザから受け付けてもよい。

[0227] [ 1 - 7 - 4 . 定性的表示に対する選択その 2 ]

次に、 図 1 6を用いて、 定性的表示に対する選択の一例を説明する。 図 1 6は、 情報の表示等の情報処理の一例を示す図であ る。 具体的には、 図 1 6 は、 結果情報のフィルタリングを利用した結果情 報の選択の一例を示す図で ある。

[0228] 図 1 6の例では、 情報処理システム 1は、 複数の結果情報を所定の方向に 並べて一覧表示する画像丨 M3 1 を表示する。 図 1 6に示す画像丨 M3 1は 、 図 1 4に示す画像丨 M 2 1 と同様である。

[0229] 図 1 6の例では、 ユーザは、 検索条件を 「Co r r e c t n e s s ^: “X ” 」 とするフィルタリングを情報処理システム 1 に要求する。 すなわち、 ユ —ザは、 入カデータが正しく認識されなかったことを 検索条件とするフィル タリングを情報処理システム 1 に要求する。 例えば、 ユーザは、 検索条件 「 Co r r e c t n e s s = “X” 」 を示す情報を、 検索条件入力欄に入力す ることにより、 フィルタリングを情報処理システム 1 に要求してもよい。 例 えば、 ユーザは、 情報処理システム 1が提供する検索条件の一覧から 「Co r r e c t n e s s = “X” 」 を示す情報を選択することにより、 フィルタ リングを情報処理システム 1 に要求してもよい。

[0230] 情報処理システム 1は、 上記のユーザの検索条件 「C〇 r r e c t n e s s = “X” 」 の指定に基づいて、 検索を行う （ステップ S4 1） 。 情報処理 システム 1は、 検索条件 「Co r r e c t n e s s = “X” 」 に該当する結 果情報を抽出し、 抽出した結果情報のみを一覧表示する。

[0231] 図 1 6の例では、 情報処理システム 1は、 データ D 丨 D 1 _4やデータ D

I D 1 -4 1 に対応する結果情報等、 入カデータが正しく認識されなかった 結果情報を抽出し、 一覧表示する。 情報処理システム 1は、 入カデータが正 しく認識されなかった結果情報を一覧表示す る画像丨 M42を表示する。 図 1 6の例では、 情報処理システム 1は、 各結果情報を、 重要度を指定する対 象として選択するためのチェックボックスを 含む画像丨 M42を表示する。 情報処理システム 1は、 重要度を指定する対象として選択するための チェッ クボックスを各結果情報に対応する位置に配 置した画像丨 M42を表示する 。 例えば、 データ D I D 1 _ 4に対応する結果情報に対応する位置にチェ� � 〇 2020/174952 56 卩（：171? 2020 /002239

クボックス 0巳 1が配置される。 また、 データ〇 丨 01 -4 1 に対応する結 果情報に対応する位置にチェックボックス〇 巳 2が配置される。

[0232] そして、 ユーザは、 画像丨 1\/142に一覧表示された結果情報から、 重要度 を指定する対象として選択する （ステップ 342） 。 例えば、 ユーザは、 デ —夕 0 丨 01 —4 1 に対応するチェックボックス〇巳 2をクリックすること により、 データロ 1 01 -4 1 に対応する結果情報を、 重要度を指定する対 象として選択する。

[0233] これにより、 情報処理システム 1は、 データロ 丨 01 _4 1 を、 重要度を 指定する対象に決定する （ステップ 343） 。 そして、 情報処理システム 1 は、 これにより、 データロ 丨 01 —4 1 に対応するチェックボックス〇巳 2 にチェックマーク〇 IV!が表示される画像丨 IV! 43を表示する。

[0234] また、 情報処理システム 1は、 データロ 1 01 -4 1 に対応する結果情報 に対する重要度を示す情報をユーザに入力さ せる。 情報処理システム 1は、 所定の決定ボタン等をユーザがクリックする ことにより、 重要度の値を入力 させる入力画面 （ポップアップ画面） を表示してもよい。 そして、 情報処理 システム 1は、 表示した入力画面により、 ユーザによるデータロ 1 01 -4 1の正解ラベル及び予測ラベルの組合せの重� �度の指定をユーザから受け付 けてもよい。

[0235] また、 図 1 4〜図 1 6に示す例において、 情報処理システム 1は、 表示し た一覧情報に対するユーザによる範囲選択を 受け付けてもよい。 そして、 情 報処理システム 1は、 ユーザによる範囲選択が行われた場合、 図 1 3中の画 像丨 IV! 1 1 に示すような重要度マップのサンプルを自動 に生成してもよい。 例えば、 情報処理システム 1は、 ユーザが選んだ画像に対応した領域の重要 度の値が 「1」 以上に設定された重要度マップを生成し、 表示してもよい。 例えば、 情報処理システム 1の情報処理装置 1 〇〇は、 所定の方向に並べて 一覧表示された複数の結果情報を範囲選択可 能に表示するように制御する。 例えば、 情報処理システム 1の情報処理装置 1 00は、 「丨 〇13 _{9 6} — 43 93. 门 9」 や 「 1 111396— 5638. 门 9」 や 「 1 111396— 58 〇 2020/174952 57 卩（：171? 2020 /002239

69. _n 9」 の各々に対応する複数の結果情報を範囲選択 可能に表示する ように制御する。 この場合、 情報処理システム 1の情報処理装置 1 〇〇は、 4393. 门 9」 や 「 1 111396— 5638. 门 9」 や 「 1 01396— 5869. 1^ 9」 の各々に対応する複数の結果情報を範囲 選択可能な画像 （範囲選択可能画像） を生成する。 情報処理システム 1の端 末装置 1 0は、 範囲選択可能画像を表示し、 ユーザによる範囲選択を受け付 ける。

[0236] このように、 情報処理システム 1 を利用するユーザはテストに利用したデ —夕のうち、 識別に誤った画像と予測されたラベルを一覧 として閲覧するこ とができ、 その一覧の中から特に許容できない誤りであ ると考える画像を選 択することで、 選択領域を自動で生成する。 なお、 情報処理システム 1は、 上記に限らず、 例えば、 上記図 1 5及び図 1 6の 2つを組み合わせた任意の バリエーシヨンでの表示を行ってもよい。 情報処理システム 1は、 図 1 5の 例でも、 図 1 6のように、 チェックボックス選択の II I を提供してもよい。 なお、 情報処理システム 1は、 図 1や図 1 3に示すような定量的表示、 及び 図 1 4〜図 1 6に示すような定性的表示の 2つを行って、 ユーザによる重要 度の指定を受け付けてもよいし、 定量的表示または定性的表示のいずれか 1 つを行って、 ユーザによる重要度の指定を受け付けてもよ い。

[0237] なお、 情報処理システム 1は、 上記に限らず、 種々のモデルに対応する結 果情報を可視化して表示してもよい。 この点について、 図 1 7及び図 1 8を 用いて説明する。 図 1 7及び図 1 8は、 回帰分析結果の出力とデータの選択 に関する例を示す。

[0238] [1 —7— 5. その他の表示に対する選択その 1 ]

まず、 図 1 7を用いて、 回帰分析結果の表示に対する選択の一例を示 す。 図 1 7は、 情報の表示等の情報処理の一例を示す図であ る。 具体的には、 図 1 7は、 回帰分析結果の表示に対する範囲選択の情報 処理の一例を示す図で ある。

[0239] 図 1 7に示す画像丨 IV! 5 1は、 白丸で示すデータ 0 1 05 1 - 1やデータ 〇 2020/174952 58 卩（：171? 2020 /002239

0 1 05 1 -5やデータ 0 1 05 1 - 1 5やデータ 0 1 05 1 -25やデー 夕 0 丨 05 1 _ 30に対応する結果情報を含む画像である。 また、 画像丨 IV! 5 1は、 モデル八1\/15 1 _ 1 に対応する線を含む画像である。

［0240］ 情報処理システム 1は、 画像 I 1\/15 1中の結果情報に対するユーザによる 範囲選択を受け付ける。 例えば、 情報処理システム 1は、 画像丨 1\/15 1中の 複数の結果情報に対して、 重要度を指定する対象の選択をユーザから受 け付 ける。 情報処理システム 1 を利用するユーザは、 画像丨 1\/15 1中の複数の結 果情報に対して、 機械学習時の重要度を指定する対象を含む範 囲を選択する

［0241］ ユーザは、 画像丨 1\/15 1中の所定の範囲を選択する （ステップ 35 1） 。

図 1 7の例では、 ユーザは、 画像丨 IV! 5 1中のデータ 0 1 05 1 -5やデー 夕 0 丨 05 1 _ 25やデータ 0 1 05 1 -30の 3つのデータを含む範囲八 85 1 を選択する。 情報処理システム 1は、 範囲 5 1 を示す画像丨 IV! 5 2を表示する。 画像丨 1\/152中の範囲八［¾ 5 1は、 データ〇 丨 05 1 —5や データ 0 1 05 1 -25やデータ 0 1 05 1 -30の 3つのデータが含まれ ることを示す。

［0242］ そして、 情報処理システム 1は、 ユーザが選択した範囲に含まれるデータ に対する重要度の指定をユーザから受け付け る。 ユーザは、 範囲選択したデ —夕 0 丨 05 1 _ 5やデータ 0 1 05 1 -25やデータ 0 丨 05 1 _ 30の 3つのデータの各々に対する重要度を指定す� �。 そして、 情報処理システム 1は、 データ 0 1 05 1 -5やデータ 0 1 05 1 -25やデータ 0 1 05 1 -30の 3つのデータの各々に対する重要度の指定を� �ーザから受け付ける 。 例えば、 情報処理システム 1は、 ユーザによる範囲八［¾ 5 1の選択に応じ て、 範囲 ［¾ 5 1 に含まれる各データの組合せの重要度を入力 する入力画面 （ポップアップ画面） を表示してもよい。 そして、 情報処理システム 1は、 表示した入力画面により、 データ 0 1 05 1 — 5やデータ 0 1 05 1 -25 やデ—夕〇 1 05 1 —30の重要度 「2」 の指定をユーザから受け付けても よい。 〇 2020/174952 59 卩（：171? 2020 /002239

[0243] そして、 情報処理システム 1は、 取得した重要度を指定する情報に基づい て、 誤差関数を更新し、 更新した誤差関数を用いて、 学習を行う。

[0244] [1 -7 -6. その他の表示に対する選択その 2]

次に、 図 1 8を用いて、 回帰分析結果の表示に対する選択の一例を示 す。 図 1 8は、 情報の表示等の情報処理の一例を示す図であ る。 具体的には、 図 1 8は、 回帰分析結果の表示での 1つのデータの選択の情報処理の一例を示 す図である。 図 1 8は、 例えば、 回帰分析結果のデータの 1つ 1つをユーザ がクリックにより選択する場合を示す。

[0245] 図 1 8に示す画像丨 IV! 5 1は、 図 1 7に示す画像丨 IV! 5 1 と同様であるた め、 説明を省略する。 情報処理システム 1は、 画像丨 1\/15 1中の結果情報に 対するユーザによる選択を受け付ける。 例えば、 情報処理システム 1は、 画 像 I 1\/15 1中の 1つの結果情報に対して、 重要度を指定する対象の選択をユ —ザから受け付ける。 情報処理システム 1 を利用するユーザは、 画像丨 1\/15 1中の結果情報のうち 1つの結果情報に対応するデータをクリック� �ること により、 機械学習時の重要度を指定する対象を選択す る。

[0246] ユーザは、 画像丨 1\/15 1中の 1つのデータを選択する （ステップ 355） 。 図 1 8の例では、 ユーザは、 画像丨 IV! 5 1中のデータ 0 丨 05 1 — 1 5を 選択する。 情報処理システム 1は、 データロ 丨 05 1 _ 1 5が選択されたこ とを示す画像丨 IV! 55を表示する。 情報処理システム 1は、 データ 0 1 05 1 - 1 5を他のデータと異なる表示に変更した画像� � IV! 55を表示する。

[0247] そして、 情報処理システム 1は、 ユーザが選択したデータに対する重要度 の指定をユーザから受け付ける。 ユーザは、 選択したデータロ 1 05 1 - 1 5に対する重要度を指定する。 そして、 情報処理システム 1は、 データロ I 05 1 - 1 5に対する重要度の指定をユーザから受け付� �る。 例えば、 情報 処理システム 1は、 ユーザによるデータロ 1 05 1 - 1 5の選択に応じて、 データ〇 1 05 1 - 1 5の重要度を入力する入力画面 （ポップアップ画面） を表示してもよい。 そして、 情報処理システム 1は、 表示した入力画面によ り、 データロ 1 05 1 - 1 5の重要度 「3」 の指定をユーザから受け付けて 〇 2020/174952 60 卩（：171? 2020 /002239

もよい。

[0248] そして、 情報処理システム 1は、 取得した重要度を指定する情報に基づい て、 誤差関数を更新し、 更新した誤差関数を用いて、 学習を行う。

[0249] [ 2 . その他の構成例]

なお、 上記の例では、 情報処理装置 1 0 0と端末装置 1 0とが別体である 場合を示したが、 これらの装置は一体であってもよい。 例えば、 情報を表示 する機能を有する装置と誤差関数の更新等を 行う機能を有する情報処理装置 であってもよい。 この点について、 図 1 9 -図 2 2を用いて説明する。

[0250] [ 2 - 1 . 変形例に係る情報処理装置の構成]

変形例に係る情報処理を実行する情報処理装 置の一例である情報処理装置 1 0 0 の構成について説明する。 図 1 9は、 本開示の変形例に係る情報処 理装置の構成例を示す図である。 例えば、 情報処理装置 1 0 0 は、 機械学 習に関するサービスを提供するサービス提供 装置 （図示省略） から各種情報 を取得し、 取得した情報を用いて各種処理を実行する。 例えば、 情報処理装 置 1 0 0 は、 サービス提供装置からモデルタイプ情報記憶 部 1 2 1 に記憶 される情報や誤差関数情報記憶部 1 2 2に記憶される情報等の各種の情報を 取得し、 取得した情報を用いて各種処理を実行する。 なお、 以下の情報処理 装置 1 〇〇 の説明では、 図 3に示す情報処理装置 1 0 0や図 1 0に示す端 末装置 1 0と同様の点については同様の符号を付す等� �より、 適宜説明を省 略する。

[0251 ] 図 1 9に示すように、 情報処理装置 1 〇〇 は、 通信部 1 1 0と、 入力部

1 2と、 出力部 1 3と、 記憶部 1 2 0八と、 制御部 1 3 0八と、 表示部 1 6 とを有する。

[0252] 通信部 1 1 0は、 他の情報処理装置との間で情報の送受信を行 う。 入力部

1 2は、 ユーザから各種操作が入力される。 出力部 1 3は、 各種情報を出力 する。

[0253] 記憶部 1 2 0八は、 例えば、 八 IV!、 フラッシュメモリ等の半導体メモリ 素子、 または、 ハードディスク、 光ディスク等の記憶装置によって実現され 〇 2020/174952 61 卩（：171? 2020 /002239

る。 変形例に係る記憶部 1 2 0 は、 図 1 9に示すように、 モデルタイプ情 報記憶部 1 2 1 と、 誤差関数情報記憶部 1 2 2と、 獲得モデル情報記憶部 1 2 3 と、 適用誤差関数情報記憶部 1 2 4 と、 重要度情報記憶部 1 2 5八 と、 学習用データ記憶部 1 2 6 とを有する。

[0254] 変形例に係る獲得モデル情報記憶部 1 2 3 は、 学習により獲得したモデ ルに関する情報 （獲得モデル情報） を記憶する。 例えば、 獲得モデル情報記 憶部 1 2 3 は、 学習処理により学習 （生成） されたモデル情報 （モデルデ —夕） を記憶する。 図 2 0は、 変形例に係る獲得モデル情報記憶部の一例を 示す図である。 図 2 0に示す獲得モデル情報記憶部 1 2 3 には、 図 6に示 す獲得モデル情報記憶部 1 2 3と同様に、 「ユーザ I 0」 、 「獲得モデル丨 口」 、 「対象」 、 「モデルデータ」 といった項目が含まれる。

[0255] 図 2 0に示す獲得モデル情報記憶部 1 2 3 は、 情報処理装置 1 0 0八を 利用するユーザに関する獲得モデル情報のみ を記憶する点で、 図 6に示す獲 得モデル情報記憶部 1 2 3と相違する。 図 2 0に示す獲得モデル情報記憶部 1 2 3 は、 情報処理装置 1 0 0 を利用するユーザ II 1等のみの獲得モデ ル情報を記憶する場合を一例として示す。 なお、 獲得モデル情報記憶部 1 2 3八は、 情報処理装置 1 0 0 を利用するユーザが複数いる場合、 複数のユ —ザの各々の獲得モデル情報を、 各ユーザを識別する情報 （ユーザ I 0） に 対応付けて記憶する。

[0256] 変形例に係る適用誤差関数情報記憶部 1 2 4 は、 各モデルの学習に適用 した誤差関数に関する情報 （適用誤差関数情報） を記憶する。 例えば、 適用 誤差関数情報記憶部 1 2 4 は、 学習時に用いた誤差関数を記憶する。 図 2 1は、 本開示の変形例に係る適用誤差関数情報記憶 部の一例を示す図である 。 図 2 1 に示す適用誤差関数情報記憶部 1 2 4 には、 図 7に示す適用誤差 関数情報記憶部 1 2 4と同様に、 「ユーザ I 0」 、 「獲得モデル丨 口」 、 「 適用誤差関数丨 口」 、 「適用関数データ」 といった項目が含まれる。

[0257] 図 2 1 に示す適用誤差関数情報記憶部 1 2 4 は、 情報処理装置 1 0 0八 を利用するユーザに関する適用誤差関数情報 のみを記憶する点で、 図 7に示 〇 2020/174952 62 卩（：171? 2020 /002239

す適用誤差関数情報記憶部 1 2 4と相違する。 図 2 1 に示す適用誤差関数情 報記憶部 1 2 4 は、 情報処理装置 1 0 0 を利用するユーザ II 1等のみの 適用誤差関数情報を記憶する場合を一例とし て示す。 なお、 適用誤差関数情 報記憶部 1 2 4 は、 情報処理装置 1 0 0 を利用するユーザが複数いる場 合、 複数のユーザの各々の適用誤差関数情報を、 各ユーザを識別する情報 （ ユーザ丨 口） に対応付けて記憶する。

[0258] 変形例に係る重要度情報記憶部 1 2 5 は、 所定の対象に対する重要度に 関する各種情報 （重要度情報） を記憶する。 重要度情報記憶部 1 2 5八は、 入力に対応する正解情報と出力との組合せご との重要度を示す重要度情報を 記憶する。 図 2 2は、 変形例に係る重要度情報記憶部の一例を示す 図である 。 図 2 2に示す重要度情報記憶部 1 2 5 には、 図 8に示す重要度情報記憶 部 1 2 5と同様に、 「ユーザ 1 0」 、 「獲得モデル I 口」 、 「適用誤差関数 丨 口」 、 「更新履歴」 、 「重要度情報」 といった項目が含まれる。

[0259] 図 2 2に示す重要度情報記憶部 1 2 5 は、 情報処理装置 1 0 0 を利用 するユーザに関する重要度情報のみを記憶す る点で、 図 8に示す重要度情報 記憶部 1 2 5と相違する。 図 2 2に示す重要度情報記憶部 1 2 5 は、 情報 処理装置 1 0〇 を利用するユーザ II 1のみの重要度情報を記憶する場合を 一例として示す。 なお、 重要度情報記憶部 1 2 5 は、 情報処理装置 1 0 0 八を利用するユーザが複数いる場合、 図 8に示すように、 複数のユーザの各 々の重要度情報を、 各ユーザを識別する情報 （ユーザ丨 口） に対応付けた重 要度テーブルを記憶する。

[0260] 変形例に係る学習用データ記憶部 1 2 6 は、 学習に用いるデータに関す る各種情報 （学習用データ情報） を記憶する。 学習用データ記憶部 1 2 6八 は、 入力に用いるデータやそのデータに対応する 正解情報 （正解ラベル） や 出力 （予測ラベル） といった情報を含む学習用データ情報を記憶 する。 図 2 3に示す学習用データ記憶部 1 2 6 には、 図 9に示す学習用データ記憶部 1 2 6と同様に、 「ユーザ I 0」 、 「獲得モデル丨 口」 、 「学習用データ情 報」 といった項目が含まれる。 「学習用データ情報」 には、 「データ 丨 口」 、 「データ」 、 「正解情報」 、 「予測情報」 といった項目が含まれる。

[0261 ] 図 2 3に示す学習用データ記憶部 1 2 6 Aは、 情報処理装置 1 O O Aを利 用するユーザに関する学習用データ情報のみ を記憶する点で、 図 8に示す学 習用データ記憶部 1 2 6と相違する。 図 2 3に示す学習用データ記憶部 1 2 6 Aは、 情報処理装置 1 0 0 Aを利用するユーザ U 1のみの学習用データ情 報を記憶する場合を一例として示す。 なお、 学習用データ記憶部 1 2 6 Aは 、 情報処理装置 1 〇〇 Aを利用するユーザが複数いる場合、 図 9に示すよう に、 複数のユーザの各々の学習用データ情報を、 各ユーザを識別する情報 （ ユーザ丨 D） に対応付けた重要度テーブルを記憶する。

[0262] 図 1 9に戻り、 説明を続ける。 制御部 1 3 0 Aは、 例えば、 〇 11や1\/1 ? u等によって、 情報処理装置 1 0 0 A内部に記憶されたプログラム （例えば 、 本開示に係る情報処理プログラム等の決定プ ログラム） が R A M等を作業 領域として実行されることにより実現される 。 また、 制御部 1 3 0 Aは、 コ ントローラ （cont ro l ler） であり、 例えば、 A S 丨 Cや F P G A等の集積回 路により実現される。

[0263] 図 1 9に示すように、 制御部 1 3 0 Aは、 取得部 1 3 1 Aと、 選択部 1 3

2と、 学習部 1 3 3と、 決定部 1 3 4と、 表示制御部 1 3 5 Aと、 送信部 1 3 6とを有し、 以下に説明する情報処理の機能や作用を実現 または実行する 。 なお、 制御部 1 3 0 Aの内部構成は、 図 1 9に示した構成に限られず、 後 述する情報処理を行う構成であれば他の構成 であってもよい。 また、 制御部 1 3 0 Aが有する各処理部の接続関係は、 図 1 9に示した接続関係に限られ ず、 他の接続関係であってもよい。

[0264] 取得部 1 3 1 Aは、 各種情報を取得する。 取得部 1 3 1 Aは、 図 3に示す 情報処理装置 1 0 0の取得部 1 3 1 と同様に各種情報を取得する。 取得部 1 3 1 Aは、 表示部 1 6に強調して表示する強調対象を取得する。 取得部 1 3 1 Aは、 入力部 1 2からの各種情報を取得する。 取得部 1 3 1 Aは、 入力部 1 2により受け付けられたユーザの操作に関す� �各種情報を取得する。

[0265] 表示制御部 1 3 5 Aは、 各種情報の表示を制御する。 表示制御部 1 3 5 A 〇 2020/174952 64 卩（：171? 2020 /002239

は、 表示部 1 6に表示させる各種情報を生成する。 表示制御部 1 3 5八は、 図 3に示す情報処理装置 1 0 0の表示制御部 1 3 5と同様に各種情報の表示 を制御する。 表示制御部 1 3 5 は、 図 1 0に示す端末装置 1 0の表示制御 部 1 5 2と同様に各種情報の表示を制御する。 表示制御部 1 3 5 は、 表示 咅^ 1 6の表示を制御する。 表示制御部 1 3 5 は、 表示部 1 6に画像を表示 させる。

[0266] 表示部 1 6は、 各種情報を表示する。 表示部 1 6は、 表示制御部 1 3 5八 の制御に応じて各種情報を表示する。 表示部 1 6は、 表示制御部 1 3 5八に より生成された画像を表示する。

[0267] また、 上記各実施形態において説明した各処理のう ち、 自動的に行われる ものとして説明した処理の全部または一部を 手動的に行うこともでき、 ある いは、 手動的に行われるものとして説明した処理の 全部または一部を公知の 方法で自動的に行うこともできる。 この他、 上記文書中や図面中で示した処 理手順、 具体的名称、 各種のデータやパラメータを含む情報につい ては、 特 記する場合を除いて任意に変更することがで きる。 例えば、 各図に示した各 種情報は、 図示した情報に限られない。

[0268] また、 図示した各装置の各構成要素は機能概念的な ものであり、 必ずしも 物理的に図示の如く構成されていることを要 しない。 すなわち、 各装置の分 散 ·統合の具体的形態は図示のものに限られず� �� その全部または一部を、 各 種の負荷や使用状況などに応じて、 任意の単位で機能的または物理的に分散 -統合して構成することができる。

[0269] また、 上述してきた各実施形態及び変形例は、 処理内容を矛盾させない範 囲で適宜組み合わせることが可能である。

[0270] また、 本明細書に記載された効果はあくまで例示で あって限定されるもの では無く、 他の効果があってもよい。

[0271 ] [ 3 . ハードウエア構成]

上述してきた各実施形態や変形例に係る情報 処理装置 1 0 0、 1 0 0八や 端末装置 1 〇等の情報機器は、 例えば図 2 4に示すような構成のコンピュー 夕 1 000によって実現される。 図 24は、 情報処理装置 1 00、 1 00 A や端末装置 1 〇等の情報処理装置の機能を実現するコンピ ュータ 1 000の 一例を示すハードウヱア構成図である。 以下、 実施形態に係る情報処理装置 1 00を例に挙げて説明する。 コンピュータ 1 000は、 C P U 1 1 00、

R AM 1 200, ROM (Read Only Memory) 1 300、 H DD (Hard D isk Drive) 1 400、 通信インターフェイス 1 500、 及び入出カインタ —フェイス 1 600を有する。 コンビュータ 1 000の各部は、 バス 1 05 0によって接続される。

[0272] C P U 1 1 00は、 ROM 1 300又は H D D 1 400に格納されたプロ グラムに基づいて動作し、 各部の制御を行う。 例えば、 C P U 1 1 00は、 ROM 1 300又は H D D 1 400に格納されたプログラムを R A M 1 20 0に展開し、 各種プログラムに対応した処理を実行する。

[0273] ROM 1 300は、 コンビュータ 1 000の起動時に C P U 1 1 00によ って実行される B 丨 0 S (Basic Input Output System) 等のブートプロ グラムや、 コンビュータ 1 000のハードウェアに依存するプログラム等を 格納する。

[0274] H DD 1 400は、 C P U 1 1 00によって実行されるプログラム、 及び 、 かかるプログラムによって使用されるデータ 等を非一時的に記録する、 コ ンピュータが読み取り可能な記録媒体である 。 具体的には、 H D D 1 400 は、 プログラムデータ 1 450の一例である本開示に係る情報処理プログ ラ ムを記録する記録媒体である。

[0275] 通信インターフェイス 1 500は、 コンビュータ 1 000が外部ネッ トワ —ク 1 550 (例えばインターネッ ト) と接続するためのインターフェイス である。 例えば、 C P U 1 1 00は、 通信インターフェイス 1 500を介し て、 他の機器からデータを受信したり、 C P U 1 1 00が生成したデータを 他の機器へ送信したりする。

[0276] 入出カインターフェイス 1 600は、 入出カデバイス 1 650とコンピュ —夕 1 000とを接続するためのインターフェイスであ る。 例えば、 C P U 1 1 00は、 入出カインターフェイス 1 600を介して、 キーボードやマウ ス等の入カデバイスからデータを受信する。 また、 C P U 1 1 00は、 入出 カインターフェイス 1 600を介して、 ディスプレイやスピーカーやプリン 夕等の出カデバイスにデータを送信する。 また、 入出カインターフェイス 1 600は、 所定の記録媒体 (メディア) に記録されたプログラム等を読み取 るメディアインターフェイスとして機能して もよい。 メディアとは、 例えば DVD (Digital Versatile Disc) 、 P D (Phase change rewritable Disk) 等の光学記録媒体、 MO (Magneto-Optical disk) 等の光磁気記録媒 体、 テープ媒体、 磁気記録媒体、 または半導体メモリ等である。 例えば、 コ ンピュータ 1 000が実施形態に係る情報処理装置 1 〇〇として機能する場 合、 コンピュータ 1 000の C P U 1 1 00は、 RAM 1 200上に口ード された情報処理プログラムを実行することに より、 制御部 1 30等の機能を 実現する。 また、 H DD 1 400には、 本開示に係る情報処理プログラムや 、 記憶部 1 20内のデータが格納される。 なお、 C P U 1 1 00は、 プログ ラムデータ 1 450を H DD 1 400から読み取って実行するが、 他の例と して、 外部ネッ トワーク 1 550を介して、 他の装置からこれらのプログラ ムを取得してもよい。

[0277] なお、 本技術は以下のような構成も取ることができ る。

(1 )

機械学習により生成されたモデルに入カデー タが入力された場合の出力と 、 前記入カデータに対応する正解情報との関係 に基づく結果情報を取得し、 取得した前記結果情報を、 前記機械学習時の重要度を指定する対象とし て 選択可能に表示するように制御する、

処理を実行する情報処理方法。

(2)

前記正解情報と前記出力との組合せの前記重 要度を指定する対象として前 記結果情報を表示するように制御する、

前記 ( 1 ) に記載の情報処理方法。 〇 2020/174952 67 卩（：171? 2020 /002239

（3）

前記結果情報を選択したユーザによる前記重 要度を指定する指定情報を取 得する、

前記 （1） または前記 （2） に記載の情報処理方法。

（4）

前記重要度を示す数値である前記指定情報を 取得する、

前記 （3） に記載の情報処理方法。

（5）

取得した前記指定情報が示す前記正解情報及 び前記出力の組合せの前記重 要度に応じて、 前記機械学習を実行する、

前記 （3） または前記 （4） に記載の情報処理方法。

（6）

前記重要度に応じて更新された誤差関数を用 いた前記機械学習により、 前 記モデルを更新する、

前記 （5） に記載の情報処理方法。

（7）

各正解情報と各出力との組合せの各々に対応 する複数の結果情報を取得し 取得した前記複数の結果情報を、 前記機械学習時の重要度を指定する対象 として選択可能に表示するように制御する、

前記 （1） 〜 （6） のいずれか 1つに記載の情報処理方法。

（8）

前記各正解情報と前記各出力との組合せの各 々に対応する前記入カデータ の個数を示す前記複数の結果情報を取得し、

取得した前記複数の結果情報である前記入カ データの個数を表示するよう に制御する、

前記 （7） に記載の情報処理方法。

（9） 20/174952 68 卩（：171? 2020 /002239

第 1方向に沿って前記各正解情報を並べて表示� �、 前記第 1方向に交差す る第 2方向に沿って前記各出力を並べて表示し、 前記各正解情報と前記各出 力との組合せの各々に対応する位置に、 前記各正解情報と前記各出力との組 合せの各々に対応する前記入カデータの個数 を表示するように制御する、 前記 （8） に記載の情報処理方法。

（1 0）

行及び列のうち一方に前記各正解情報を、 他方に前記各出力を配置し、 前 記各正解情報と前記各出力との組合せの各々 に対応する各項目に、 前記各正 解情報と前記各出力との組合せの各々に対応 する前記入カデータの個数を配 置したマトリックス表を表示するように制御 する、

前記 （8） または前記 （9） に記載の情報処理方法。

（1 1）

前記マトリックス表の各項目のうち、 複数の項目を選択可能に表示するよ うに制御する、

前記 （1 0） に記載の情報処理方法。

（1 2）

前記マトリックス表の各項目を範囲選択可能 に表示するように制御する、 前記 （1 0） または前記 （1 1） に記載の情報処理方法。

（1 3）

前記マトリックス表の前記各項目のうち、 正解情報と出力とが一致する組 合せの項目を他の項目と異なる表示態様で表 示するように制御する、 前記 （1 0） 〜 （1 2） のいずれか 1つに記載の情報処理方法。

（1 4）

前記モデルに複数の入カデータの各々が入力 された場合の各出力と、 前記 複数の入カデータの各々に対応する各正解情 報との関係を示す複数の結果情 報を取得し、

取得した前記複数の結果情報を、 前記機械学習時の重要度を指定する対象 として選択可能に表示するように制御する、 20/174952 69 卩（：171? 2020 /002239

前記 （1） 〜 （6） のいずれか 1つに記載の情報処理方法。

（1 5）

前記複数の結果情報を、 所定の方向に並べて一覧表示するように制御 する 前記 （1 4） に記載の情報処理方法。

（1 6）

前記所定の方向に並べて一覧表示された前記 複数の結果情報を範囲選択可 能に表示するように制御する、

前記 （1 5） に記載の情報処理方法。

（1 7）

各々が対応する入カデータを示す入カデータ 情報を含む前記複数の結果情 報を取得し、

対応する入カデータを識別可能に前記複数の 結果情報を表示するように制 御する、

前記 （1 4） 〜 （1 6） のいずれか 1つに記載の情報処理方法。

（1 8）

各々が対応する出力と正解情報とが一致また は不一致であるかを示す正誤 情報を含む前記複数の結果情報を取得し、

対応する正誤情報を識別可能に前記複数の結 果情報を表示するように制御 する、

前記 （1 4） 〜 （1 7） のいずれか 1つに記載の情報処理方法。

（1 9）

機械学習により生成されたモデルに入カデー タが入力された場合の出力と 、 前記入カデータに対応する正解情報との関係 に基づく結果情報を取得する 取得部と、

前記取得部により取得された前記結果情報を 、 前記機械学習時の重要度を 指定する対象として選択可能に表示するよう に制御する表示制御部と、 を備える情報処理装置。 〇 2020/174952 70 卩（：171? 2020 /002239

(20)

機械学習により生成されたモデルに入カデー タが入力された場合の出力と 、 前記入カデータに対応する正解情報との関係 に基づく結果情報を取得し、 取得した前記結果情報を、 前記機械学習時の重要度を指定する対象とし て 選択可能に表示するように制御する、

処理を実行させる情報処理プログラム。

符号の説明

[0278] 1 情報処理システム

1 00、 1 00 情報処理装置

1 1 0 通信部

1 20、 1 20 記憶部

1 2 1 モデルタイプ情報記憶部

1 22 誤差関数情報記憶部

1 23、 1 23 獲得モデル情報記憶部

1 24、 1 24 適用誤差関数情報記憶部

1 25、 1 25 重要度情報記憶部

1 26、 1 26 学習用データ記憶部

1 30 制御部

1 3 1、 1 3 1 取得部

1 32 選択部

1 33 学習部

1 34 決定部

1 35、 1 35八 表示制御部

1 36 送信部

1 0 端末装置

1 1 通信部

1 2 入力部

1 3 出力部 〇 2020/174952 71 卩（：171? 2020 /002239

1 4 記憶部

1 5 制御部

1 5 1 受信部

1 52 表示制御部

1 53 決定部

1 54 送信部

1 6 表示部