JP7012696B2

JP7012696B2 - 情報処理装置及び情報処理方法

Info

Publication number: JP7012696B2
Application number: JP2019191665A
Authority: JP
Inventors: 高将山野; 優甲谷
Original assignee: Mitsubishi Research Institute Inc
Current assignee: Mitsubishi Research Institute Inc
Priority date: 2019-10-21
Filing date: 2019-10-21
Publication date: 2022-01-28
Anticipated expiration: 2037-07-10
Also published as: JP2020009502A

Description

本発明は、複数のデータに基づいて学習を行って学習済みモデルを生成する情報処理装置及び情報処理方法に関する。

従来から、人工知能（ＡＩ）の活用が試みられており、研究分野も多岐に及んでいる（特許文献１参照）。自動運転をはじめ、マーケティング領域でのターゲティング、金融分野での与信、人事領域等を含めて、人工知能の活用が試みられている。現状の人工知能（ＡＩ）の多くは、実際のドメイン知識を有する利用者（例えば企業の担当者）に対してはブラックボックス型で提供される事が多く、ＡＩ利用者が「ＡＩがどのように判断したのか」を直接理解するのは難しい。

人工知能を活用した製品を提供した場合において、利用者が人工知能による結論について疑問を持ったり結論を出した過程を知りたいと考えたりすることがある。この場合には、ＡＩ開発者が、生成されたモデルをプログラム上から分析を行なった上で、利用者に対して整理して説明又は提示するということが多かった。なお、利用者は人工知能についての知識やスキルに乏しいことも多く、利用者自身がモデルの分析を行うことは一般的には困難である。

また、ＡＩ開発者による上記のような分析は、ＡＩ開発者と利用者が近い距離でなければ実現できず、全てのケースで分析可能になるとも限らず、企業向けではなく消費者向けのサービスでは現実的でもない。また、ＡＩ開発者が利用者とコミュニケーションを適切に取って分析を行うことには多大な時間が必要になることもある。

また、人工知能によって生成されたモデルを利用者に開示したときに、利用者の方で、モデルの成分に違和感があり、改善したいということもある。他方、この違和感を解消しようとすると、従前であればデータ又はプログラムを直接改変することを行うのが一般的であり、スキル、時間（工数）、コストが非常にかかってしまう。

特開平１０－２０７５０４号

本発明は、利用者にとって違和感の少ないモデル又は違和感の少ない結論を、利用者自らの操作で得ることができる情報処理装置及び情報処理方法を提供する。

本発明による情報処理装置は、
複数のデータに基づいて学習を行って学習済みモデルを生成する学習部と、
前記学習済みモデルを出力する出力部と、
前記出力部で出力された前記学習済みモデルに対して入力される修正情報に基づいて前記学習済みモデルを修正して修正後モデルを生成する修正部と、
を備えてもよい。

本発明による情報処理装置は、
前記修正後モデルに対して、過去の実績データを用いて評価を行う評価部をさらに備え、
前記出力部が、前記評価部による評価結果を出力してもよい。

本発明による情報処理装置において、
前記評価部は、前記修正情報が入力されるとリアルタイムで前記修正後モデルに対する評価を行ってもよい。

本発明による情報処理装置は、
複数の前記データを分割するデータ分割部をさらに備え、
前記データ分割部で分割されたデータの一部を前記学習部での学習に用い、
前記データ分割部で分割されたデータの残部を前記評価部での評価に用いてもよい。

本発明による情報処理装置において、
前記学習部は、複数の採用変数と、各採用変数に対する係数を用いて前記学習モデルを生成し、
前記修正部によって、前記係数の大きさが修正可能となってもよい。

本発明による情報処理装置において、
前記学習部は、複数の採用変数と、各採用変数に対する係数を用いて前記学習モデルを生成し、
前記修正部によって、採用変数の利用の有無が修正可能となってもよい。

本発明による情報処理装置は、
複数の前記データの標準化を行う標準化部をさらに備え、
前記学習部が、標準化されたデータを用いて、前記係数を算出してもよい。

本発明による情報処理装置は、
前記学習済みモデル又は前記修正後モデルを生成する際に、利用されるべきではない情報が利用されていることを検知する異常検知部をさらに備えてもよい。

本発明による情報処理方法は、
複数のデータに対する機械学習を行って学習済みモデルを生成する工程と、
前記学習済みモデルを出力する工程と、
前記出力部で出力された前記学習済みモデルに対する修正情報が入力される工程と、
入力された前記修正情報に基づいて前記学習済みモデルを修正して修正後モデルを生成する工程と、
を備えてもよい。

本発明の一態様によれば、学習部によって生成された学習済みモデルが出力され、出力された学習済みモデルに対する修正情報が入力されることで、修正後モデルが生成される。このため、利用者にとって違和感の少ないモデル又は違和感の少ない結論を、利用者自らの操作で得ることができる。

図１は、本発明の実施の形態による情報処理装置を含むシステム概要を説明するためのブロック図である。図２は、本発明の実施の形態で利用され得る情報処理装置において学習済みモデルを生成する態様を示した図である。図３は、本発明の実施の形態で利用され得る予想部に入力される情報及び予想部から出力される情報の関係を示すための図である。図４は、本発明の実施の形態で利用され得る情報処理装置における情報処理の工程を説明するための図である。図５は、本発明の実施の形態で利用され得る表示画面における表示態様を示した図である。

実施の形態
《構成》
本実施の形態では、以下では、ある企業、官庁等への入社を希望する応募者に対する採用で人工知能を利用する態様を用いて説明するが、これに限られることはなく、本願による発明は、マーケティング領域でのターゲティング、金融分野での与信等の様々な分野で利用できる。

本実施の形態では情報処理装置１が採用支援機関とは異なる外部機関に設置される態様を用いて説明するが、これに限られることはない。例えば、情報処理装置は採用支援機関内に設置されてもよく、この場合には、採用支援機関が当該情報処理装置を所有又は管理してもよい。また、利用者が所有又は管理するパソコン、タブレット、スマートフォン等のユーザ装置１００が情報処理装置を構成してもよい。本実施の形態の情報処理装置は、一つの装置から構成されてもよいし複数の装置から構成されてもよい。また、複数の装置から情報処理装置が構成される場合には、各装置が同じ部屋等の同じ空間に設けられる必要はなく、異なる部屋、異なる建物、異なる地域等に設けられてもよい。また、複数の装置から情報処理装置が構成される場合には、その一部を採用支援機関が所有及び／又は管理し、残りを外部機関が所有及び／又は管理してもよい。本実施の形態では「及び／又は」を用いて説明することもあるが、「又は」という文言は「及び」の意味も含んでいる。つまり、Ａ又はＢという文言は、Ａ単独、Ｂ単独、並びに、Ａ及びＢを含んだ概念である。

図１に示すように、情報処理装置１は、様々な情報を記憶する装置記憶部４０と、様々な制御を行う装置制御部３０と、様々な情報を出力する装置出力部４５とを有してもよい。装置制御部３０は、後述する学習部１０、評価部２０、異常検知部２１等を有してもよい。装置制御部３０には装置出力部４５が接続されてもよく、様々な情報が電子データ、紙媒体等の形式で装置出力部４５から出力されてもよい。装置出力部４５で出力される情報は、ユーザ装置１００及び採用支援機関に設置された機関装置５０に出力されてもよい。

過去データは、過去の応募者に対する応募者情報と、当該過去の応募者に対する第一評価情報（後述する）と、当該過去の応募者に対する選考結果を含んでもよい。なお、過去データは、複数の応募者に対するものである。過去データとしては昨年度の選考結果を用いてもよいが、これに限られることはなく過去数年の選考結果を過去データとして利用してもよい。選考結果は、書類選考試験、一次選考試験、二次選考試験、・・・、ｎ次選考試験（「ｎ」は整数である。）、最終選考試験等の各選考試験の結果を含んでもよい。

過去データは、例えば、応募者が入社を希望する対象会社におけるデータを含んでもよい。また、過去データは、対象会社におけるデータに加えて又は対象会社におけるデータの代わりに対象会社以外の会社（例えば同業種の会社）におけるデータを含んでもよい。

採用支援機関に設けられた機関装置５０は、様々な情報を記憶する機関記憶部７０と、様々な制御を行う機関制御部６０と、様々な情報を出力する機関出力部７５を有してもよ
い。機関装置５０と情報処理装置１とはインターネット等を通じて情報のやりとりが可能となっており（図１参照）、機関記憶部７０に記憶された情報を用いて装置制御部３０が情報処理を行ってもよいし、装置出力部４５から出力された情報を機関制御部６０が受け取って、機関出力部７５で出力してもよい。機関記憶部７０には、各応募者が採用支援機関に有しているログインＩＤ、当該ログインＩＤに紐づけられたパスワード、ログインＩＤに紐づけられた応募者情報（後述する）等が記憶されてもよい。応募者には、学生等の新卒応募者の他、中途応募者も含まれてもよい。また、機関記憶部７０には、過去の実績データ等を含む過去データと、結論が出ていない例えば今年度の応募データ等を含む予想データが記憶されてもよい。なお、本実施の形態の出力部には、装置出力部４５及び機関出力部７５が含まれており、出力部によって出力された電子データは、利用者の所有又は管理するパソコン、タブレット、スマートフォン等のユーザ装置１００の表示画面１１０等で表示されてもよい。本実施の形態では、以下、装置出力部４５が出力を行って表示画面１１０での表示が行われる態様を用いて説明するが、これに限られることはなく、機関出力部７５が出力を行って表示画面１１０での表示が行われてもよい。

本実施の形態の情報処理装置１は、人工知能機能を有し、複数のデータに基づいて学習を行って学習済みモデルを生成する学習部１０と、学習済みモデルを出力する装置出力部４５と、装置出力部４５で出力された学習済みモデルに対して入力される修正情報に基づいて学習済みモデルを修正して修正後モデルを生成する修正部１５と、を有してもよい。

ユーザ装置１００は、前述した表示画面１１０の他に、修正情報を入力できる入力部を構成するユーザ操作部１２０と、過去の実績データ等を含む過去データと、結論が出ていない例えば今年度の応募データ等を含む予想データが記憶されているユーザ記憶部１３０とを有してもよい。

情報処理装置１は、修正後モデルに対して、過去データを用いて評価を行う評価部２０を有してもよい。また、装置出力部４５は、評価部２０による評価結果を出力してもよい。評価部２０による評価結果を受けた利用者は、ユーザ操作部１２０からさらに修正情報を入力してもよく、この場合には修正部１５によって新たな修正後モデルが生成されてもよい。このような修正は評価部２０での評価結果を見ながら繰り返し行われてもよい。

情報処理装置１は、複数のデータを分割するデータ分割部５を有してもよい。このようデータ分割部５が設けられた場合には、データ分割部５で分割されたデータの一部を学習部１０での学習に用い、データ分割部５で分割されたデータの残部を評価部２０での評価に用いてもよい。一例としては、複数のデータのうちの５０％～９０％、より具体的には６０％～８０％（例えば７０％）を学習部１０での学習で用いる訓練データとして利用し、複数のデータのうちの５０％～１０％、より具体的には４０％～２０％（例えば３０％）を評価部２０での評価に用いる評価データとして利用してもよい（図４参照）。訓練データの母数を増やすことによって学習部１０で生成される学習済みモデルの精度を高めることができる点で有益である。

評価部２０は学習済みモデル及び修正後モデルを利用した場合の精度の高さを評価してもよい。学習部１０によって生成された学習済みモデルに対して評価データを適用し、また修正部１５によって生成された１つ以上の修正後モデルに対して評価データを適用し、これらのモデルがどの程度の正確性を持っているかが評価されてもよい。一例として、正確性の尺度として、ＡＵＣ（Area Under the Curve）が利用されてもよい（図５参照）。

装置出力部４５は、選択されたモデルに対する正確性を出力し、利用者が当該正確性を認識できるようになってもよい。また、複数の閾値を設けておき、正確性に関して、極めて高い、高い、普通、低い、極めて低い等のように分類して出力されるようにしてもよい
。なお、図５に示す態様では、正確性の尺度としてＡＵＣが用いられており、その数値が０．８５５となり「極めて高い」数値であることが示されている。

学習部１０は、複数の採用変数と、各採用変数に対する係数を用いて学習モデルを生成してもよい。採用変数は、言語能力、インターンシップへの参加の有無、対人接触能力、集団統率、文系・理系の区分、志願理由と専門性のつながり、エントリーシートにおける学業以外の記載内容の豊富さ等の情報から決定されてもよい。

学習部１０は、機械学習技術として、様々なモデルを採用することができ、例えば、ロジスティクス回帰モデル、ランダムフォレストモデル、ツリーモデル等を採用することができる。なお、ロジスティクス回帰モデルを採用した場合、応募者毎の合格率Ｐは、Ｐ=
ｅｘｐ（ｔ）/（１＋ｅｘｐ（ｔ））（但し、ｔ=ａ₀×ｘ₀＋ａ₁×ｘ₁＋ａ₂×ｘ₂＋・・・ａ_n×ｘ_n＋ｂ）で算出されることになる。学習部１０では、ａ₀、ａ₁、・・・、ａ_nの係
数を、訓練データを使用し最尤法により推定してもよい。ちなみに、ｘ₀、ｘ₁、・・・、ｘ_nは応募者の各々に設定される固有の値であり、ａ₀、ａ₁、・・・、ａ_nの係数が応募者共通の値になる。

装置出力部４５で出力される場合には、係数に対応する概念として例えば「重み」が用いられ、採用変数に対応する概念として例えば「項目」が用いられてもよい（図５参照）。本実施の形態では、項目と採用変数は全く同じ情報（変数）である態様を用いて説明するが、これに限られることはなく、項目と採用変数は異なる情報であってもよい。このように項目と採用変数が異なる場合には、項目に関する係数の値を修正した場合には、複数の採用変数に対する係数が修正されることになる。他方、本実施の形態では、係数と重みは異なる前提で説明するが、これに限られることはなく、係数と重みは全く同じ情報（大きさ）であってもよい。係数と重みが異なる概念である態様を採用する場合には、重みを「１」変更することで、係数が異なる値で変更されてもよい。

なお、項目と採用変数が同じである場合には、１つの項目に関する重みの値を修正した場合に計算式（例えば、前述のロジスティクス回帰モデル）における１つの採用変数に関する係数が修正されるだけであるので、計算式の修正を容易に行うことができる点で有益である。

前述したように、本実施の形態では、項目と採用変数は全く同じ情報（変数）であることを前提とするので、本実施の形態では、以下において、項目及び採用変数を総称する用語として主として「項目」を用いて説明する。

ユーザ操作部１２０によって係数に関する情報が修正可能となってもよい。一例としては、図５に示すように、重みの大きさを大きくしたり小さくしたりユーザ操作部１２０によって変更できるようになってもよい。重みの大きさは、模式的に例えば「調整量」として表示画面１１０等に出力され、当該調整量をユーザ操作部１２０で変更できるようになってもよい。

ユーザ操作部１２０によって、項目の利用の有無が修正可能となってもよい。一例としては、図５に示すように、項目の採用の有無をチェックボックスで選択できるようになり、チェックボックスでチェックされていない項目はモデル作成時に利用されないことになってもよい。なお、このようにモデル作成時に利用されない項目に対する重みは「０」になる。

図１に示すように、データの標準化を行う標準化部４が設けられてもよい。標準化部４では、各項目に対する係数の大きさを平均化されることになる。例えば、ａ₀、ａ₁、・・
・、ａ_nの重みを変数間でオーダーを合わせてもよい。直感的に分かり易くするため、訓
練データ及び評価データを含む過去データ並びに予測データは平均０及び分散１となるよう、標準化されてもよい。学習部１０は、標準化されたデータを用いて、項目に対する係数を算出してもよい。例えば「ＴＯＥＩＣ（登録商標）」が９９０点満点の数値で示され、「決断力」が１０点満点の数値で示される場合には、これらの数値を評価値に換算して標準化し、項目（要素）に対する係数の算出に利用してもよい。このような標準化部４を採用する場合には、各項目に対する重みの変化量と係数の変化量が対応する関係になってもよい。つまり、重みを「１」だけ変更した場合には、どの項目に関するものであろうと同じ値（例えば「０．１５」等）だけ係数が変更することになってもよい。このような態様を採用することで、修正後モデルを容易に生成できる点で有益であるし、利用者から見た場合に各項目に対する重み「１」の変化を同程度のインパクトで捉えることができる点でも有益である。

図１に示すように、過去の実際のデータではなく、結論が出ていないデータを用いて予想を行う予想部２５が設けられてもよい。採用情報についていえば、例えば今年度の新卒者に対するデータに対して、予想部２５が学習済みモデル又は修正後モデルを用いることで予想結果を予想し、装置出力部４５によって当該予想結果が出力されてもよい。この場合には、複数の応募者の各々に対して、予想結果が出力されることになる。

学習済みモデルを又は修正後モデルを生成する際に、利用されるべきではない情報が利用されていることを検知する異常検知部２１が設けられてもよい。ユーザ記憶部１３０又は機関記憶部７０に記憶されている過去データで用いるべき項目については利用者が行うことがあり、利用者が本来利用されるべきではない情報を訓練データとして用いてしまうことがある。この場合には、異常に大きな重みをもって特定の項目が採用されることが起こり得ある。異常検知部２１では、異常値となっている項目を検知することで、本来利用されるべきではない情報が用いられている可能性を検知されてもよい。この検知結果は、装置出力部４５によって出力され、利用者が認識できるようになってもよい。

一例としては、本来、プロセスＡ（例えば書類選考）の結果を予測するために利用できる項目はプロセスＡよりも時系列において前のプロセスのデータのみである。しかしながら、訓練データを用いる際に入力データを定義しない場合又は誤って入力データを定義した場合には、プロセスＡよりも時系列において後のプロセス（例えば面接情報）のデータが用いられて学習済みモデル又は修正後モデルが生成されることがある。このような場合には、本来知りえない情報を用いてモデルが生成されてしまい、モデルの正確性が下がってしまう。先ほど挙げた例でいうと、面接のスコアが入っている応募者は、書類選考通過した応募者を意味することになり、当該項目についての係数又は重みが極めて高くなってしまう。この点、異常検知部２１によれば、明らかな異常値を検知することで、利用されるべきではない情報が利用されている可能性が高いことを検知できることになる。なお、明らかな異常値が検知された場合には、当該情報が強調されるようにして装置出力部４５によって出力されてもよい。一例としては、異常値の原因となっている可能性の高い項目が表示画面１１０で強調表示されてもよい。また閾値を設定しておき、閾値以上の値に係数又は重みがなっているときに異常値であると装置制御部３０で判断してもよい。図５に示す態様では、「以下の警告を確認してください。」という表示がなされ、「学習の結果、赤字の変数の重みが非常に高い値となっております。選考の結果に応じて変化する変数や、選考後にのみ得られる変数でないか確認し、必要に応じてチェックを外し「使用しない」よう変更してください。」という表示が表示画面１１０でなされている。

次に、学習済みモデルを生成する際に利用される構成について、より具体的に例を挙げて説明する。

図１に示すように、学習部１０は、応募者が作成した文書に基づき、予め定まった各ファクタに対する第一評価情報を生成する第一学習部１１と、応募者に関する応募者情報及び第一学習部１１からの第一評価情報に基づいて、応募者の第二評価情報を生成する第二学習部１２と、を有してもよい。

モデルを生成する際に利用される訓練データ及び評価データとしては、一定期間（例えば５年）よりも古い実績データは削除されてもよい。このように一定期間内（例えば５年以内）の実績データのみに基づいて学習済みモデルを生成する場合には、比較的新しい実績データを用いて正確性の高い学習済みモデルを生成できる点で有益である。

第一評価情報で利用される「ファクタ」としては様々なものを挙げることができ、例えば、コミュニケーション能力、熱意、論理性、専門性、リーダーシップ、堅実性等の様々なファクタを挙げることができる（図３の「第一評価情報」参照）。このファクタの内容は適宜変更できるようになってもよいし、ファクタの数も適宜変更できるようになってもよい。ファクタの内容は、例えば、情報処理装置１に設けられた装置操作部３５からの入力によってその内容が変更されてもよい。

応募者が作成した文書は、例えば、応募者が作成したエントリーシートであってもよい。このエントリーシートはＷＥＢ上で作成され、サーバー等の機関記憶部７０で記憶されてもよい。第二評価情報は、応募者に対する選考が優先される可能性を示す情報（選考優先情報）であってもよい（図３参照）。この選考優先情報は、応募者が書類選考試験、一次選考試験、二次選考試験、・・・、ｎ次選考試験、最終選考試験等の選考試験を通過する可能性に関する情報を含んでもよい。

第一学習部１１は、エントリーシート等の文書で用いられている単語と、予め定められたファクタを用いて、各ファクタに対する第一評価情報を生成してもよい。

第一学習部１１は、エントリーシート等文書内で用いられている単語の使用頻度と、当該単語とファクタとの類似度とを用いて、各ファクタに対する第一評価情報を生成してもよい。

第一学習部１１が人工知能機能を有し、大量のテキストデータで用いられている単語間（例えばＷＥＢ上で用いられている単語間）の近さから各ファクタに対応する特徴ベクトルを作成してもよい。そして、第一学習部１１は、当該特徴ベクトルを用いて、エントリーシート等の文書内で用いられている単語と各ファクタとの類似度を算出してもよい。また、第一学習部１１は、各ファクタと単語との近さを記憶した及び／又は各ファクタに対応する特徴ベクトルを記憶したＡＩ辞書を作成してもよい。単語の近さは、第一学習部１１の人工知能機能によって、例えばＷＥＢ上のサイト（ＳＮＳサイト等も含む。）での単語の用いられ方（単語の前後関係等）から推測されて決定され（学習され）、随時又は適宜、アップデートされてもよい。単語の近さに関する情報は、装置記憶部４０及び／又は機関記憶部７０に記憶されてもよい。

第一学習部１１は、ＷＥＢ上で用いられている単語間の近さをマイニングしてもよい。第一学習部１１は、ビッグテキストデータ（Big Text Data）から、各ファクタに関連し
た複数の単語をピックアップする（分類語彙表を作成する）とともに、各ファクタとピックアップされた単語との間の近さから、各ファクタに関連した特徴ベクトルを作成してもよい。一例としては、「熱意」というファクタを採用した場合には、「熱意」に近い単語として、バイタリティ、向上心、熱心、やる気、懸命等の単語をインターネットを介してピックアップし（分類語彙表を作成し）、「熱意」と、これらバイタリティ、向上心、熱心、やる気、懸命等の単語との間の近さから、「熱意」に関連した特徴ベクトルを作成し
てもよい。

そして、第一学習部１１は、このようにして作成された特徴ベクトルを用いて、エントリーシート等の文書内で用いられている単語と各ファクタとの類似度を生成してもよい。この際、エントリーシート等の文書内で用いられている単語の使用頻度から、文書内における当該単語の重要度を生成し、その結果も踏まえて、各ファクタに対する第一評価情報を生成してもよい。重要度を決定する際には、単語が一般的に使われる単語かどうかも考慮し、「助詞」や「私」といった単語については重要度を低くし（例えば「０」とし）、あまり使用されない単語については重要度を高くしてもよい。

重要度を決定する際には、対象会社に採用されることを希望する他の応募者のエントリーシート等の文書も考慮してもよい。例えば、対象会社に採用されることを希望する他の応募者のエントリーシート等の文書で使用頻度が高い単語については重要度を低くし、あまり使用されない単語については重要度を高くしてもよい。このような態様を採用することで、応募者間での相対的な比較を行える点で有益である。

前述した過去データは、過去の応募者に対する応募者情報と、当該過去の応募者に対する第一評価情報と、当該過去の応募者の採用辞退情報又は早期退職情報を含んでもよい。採用辞退情報とは、選考試験には合格したが応募者自らの申出によって採用を辞退したという情報である。早期退職情報とは、応募者が対象会社に入社したが、１年～３年以内といった所定の期間内に対象会社を退職してしまったという情報である。この「所定の期間」は装置操作部３５から適宜変更できるようになってもよい。

応募者情報は、応募者の学歴を含む基礎情報、応募者の行動情報、応募者が受けた試験の結果を含む検査情報、応募者の保有する資格に関する情報を含む属性情報、及び、応募者の志望動機を含む文章情報のいずれか１つ以上を含んでもよい（図２参照）。応募者情報は、これら基礎情報、行動情報、検査情報、属性情報及び文章情報の全てを含んでもよい。

基礎情報は、応募者の学歴の他に、専攻、ゼミに関する情報等を含んでもよい。行動情報は、（対象会社の）説明会参加の回数、ログイン回数、併願先に関する情報等を含んでもよい。検査情報は、ＷＥＢテストの結果、適正検査の結果等を含んでもよい。属性情報は、応募者が有している資格、スキル等を含んでもよい。文章情報は、志望動機の他に、学外活動に関する情報等を含んでもよい。

対象となっている応募者に関して高い精度の第二評価情報を生成するように、第二学習部１２は「学習」を行う。ここで「学習」とは、過去の実績データに合致するような項目（採用変数）と、その係数を自動的な試行錯誤によって定めることを意味する。つまり、第二学習部１２では、過去データに基づく応募者情報、第一評価情報、第二評価情報等の情報が集約され、パラメータを変化させながら、過去の実績データとの間の差が最も小さくなるよう繰り返し学習が行われ、適用する項目と係数が定められる。

このように定まった項目と係数を利用して学習済みモデルが生成されることになるが、この学習済みモデルを利用者が修正することで生成されるものが修正後モデルである。過去の実績からすると学習済みモデルが最も客観的な事実に合致しているはずではあるが、たまたま訓練データに偏りがある場合や過去とは異なる傾向の採用を行いたい場合等には、修正後モデルを採用することが有益になる。また、このような態様を採用することで、過去の実績データを考慮しつつ、将来的に利用する修正後モデルを生成できることで有益である。

なお、学習済みモデルを生成する場合には、採用後の人事評価も考慮し、採用後の人事評価の高い人物についての学習済みモデルを生成してもよい。このような学習済みモデルを生成した場合には、入社した後での活躍を見据えて採用活動を行うことができる点で有益である。

訓練データと評価データは、基本的には同じ期間におけるデータであり、母集団を例えば７：３でランダムに分けることで生成されるが、これに限られることはない。場合によっては異なる期間のデータを用いることも考えられる。

予想部２５によって予想を行う場合には、装置操作部３５から対象となる選考試験を選択することで、当該選考試験にける第二評価情報が装置出力部４５又は機関出力部７５から出力されてもよい。また、ユーザ操作部１２０から対象となる選考試験を選択することで、当該選考試験にける第二評価情報が表示画面１１０で表示されてもよい。図３に示す態様では、一例として、星の数で第二評価情報である選考優先情報を示しており、星の数が多いほど所定の選考試験を通過する可能性が高いことを示している。

なお、本実施の形態では、本実施の形態の情報処理装置１を提供するためのプログラム、すなわちインストールすることで本実施の形態の情報処理装置１が製造（生成）されるプログラムと、当該プログラムをインストールした記憶媒体も提供される。

《方法》
次に、本実施の形態の情報処理方法の一例について、図４を用いて説明する。なお、上記と重複することになるので簡単に説明するに留めるが、上記「構成」で述べた全ての態様及び下記「作用・効果」で述べる全ての態様を「方法」において適用することができる。

まず、過去データが標準化部４によって標準化される（標準化工程）。

次に、標準化されたデータがデータ分割部５によって一定の割合（例えば７：３）で訓練データと評価データに分割される。

次に、訓練データに含まれる複数のデータに対する機械学習を行って学習済みモデルが生成される（学習済みモデル生成工程）。

このように学習済みモデルが生成されると、当該学習済みモデルが装置出力部４５で出力され、ユーザ装置１００の表示画面１１０で学習済みモデルが出力される。この際、評価部２０において、学習済みモデルを用いて評価データを評価した際の精度（例えばＡＵＣ）も出力されてもよい（図５参照）。

次に、利用者がユーザ装置１００のユーザ操作部１２０を操作することで、学習済みモデルに対する修正情報が入力される。

このように修正情報が入力されると、修正部１５によって入力された修正情報に基づいて学習済みモデルを修正して修正後モデルが生成される（修正後モデル生成工程）。例えば、ユーザ操作部１２０によって調整量を調整することで係数（重み）に関する情報を修正してもよいし、ユーザ操作部１２０によって項目の採用の有無を決定することで項目（要素）に関する情報を修正してもよい。

次に、評価部２０によって修正後モデルを用いて評価データが評価され、評価データに対する精度（例えばＡＵＣ）が算出される。

修正後モデルに対する精度が算出されると、その結果が装置出力部４５で出力されて、ユーザ装置１００の表示画面１１０で当該精度が表示される。

利用者は、表示画面１１０で表示された内容を見て修正情報を入力してもよいし、修正情報の更なる入力は行なわずに、修正後モデルを確定させてもよい。

学習済みモデル及び修正後モデルの各々に対して、異常検知部２１によって、利用されるべきではない情報が利用されているかどうかが判断されてもよい。異常検知部２１によって利用されるべきではない情報が利用されていることが検知された場合には、その旨が装置出力部４５で出力され、表示画面１１０で表示されてもよい（図５参照）。

このような表示がなされた場合には、利用者は当該学習済みモデル又は修正後モデルを見直し、ユーザ操作部１２０によって当該学習済みモデル又は修正後モデルに用いられている項目を削除したり定義を修正したりしてもよい。

今年度の採用情報のように結論が出ていないデータに対する予想を予想部２５で行ってもよい。この場合には、学習済みモデル又は修正後モデルを用いることで複数の応募者の各々に対する予想結果が予想されてもよい。予想結果は装置出力部４５によって出力され、表示画面１１０で表示されてもよい（図３参照）。

《作用・効果》
次に、上述した構成からなる本実施の形態による作用・効果であって、未だ説明していないものを中心に説明する。

本実施の形態において、学習部１０によって生成された学習済みモデルが出力され、出力された学習済みモデルに対する修正情報が入力されることで、修正後モデルが生成される態様を採用した場合には、利用者にとって違和感の少ないモデル又は違和感の少ない結論を、利用者自らの操作で得ることができる。理論上は学習済みモデルが最も精度の高いモデルになる。しかしながら、利用者の理解や主観評価、既存知見に必ずしも整合しないモデルが生成されることもある。この点、本態様を採用することで、利用者の理解や主観評価も整合したモデルである修正後モデルを生成できる点で有益である。

また、このように修正後モデルを利用する場合には、例えば過去とは異なる傾向の採用を行いたいと考えた場合にも有益である。この場合には重要視したい項目に対する重み又は係数を大きくすることで、希望するモデルに近い修正後モデルを採用して、個々の応募者に対する予想を行うことができる点でも有益である。

学習済みモデルを利用した場合の精度の高さを評価部２０で評価する場合には、学習済みモデルがどの程度の精度を有しているかを認識できる点で有益である。また、修正後モデルを利用した場合の精度の高さを評価部２０で評価する場合にも、修正後モデルがどの程度の精度を有しているかを認識できる点で有益である。このように精度を評価できるようにすることで、学習済みモデル及び各修正後モデルに対して評価部２０による評価結果を得ることができるようになる。このため、実際の予想（例えば今年度の採用情報に対する予想）に当該修正後モデルを利用するかどうかを決める指標を示すことができ、利用者が容易に判断できる点で有益である。

評価部２０での評価が即座（リアルタイム）に行われる態様を採用した場合には、評価部２０の評価結果を見ながら重みや項目を修正できる点で有益である。つまり、ユーザ操作部１２０等から修正情報が入力されると評価部２０が即座（リアルタイム）で修正後モ
デルに対する評価を行う態様を採用した場合には、評価部２０での評価結果を見ながら利用者の感覚に基づきつつ修正後モデルを効率よく生成できる点で有益である。

データ分割部５によって複数のデータを分割して訓練データ及び評価データを生成する態様を採用する場合には（図４参照）、元々同じ集合体にあったデータをランダムに分割して、訓練データ及び評価データとして利用できることになる。このため、恣意性が入らず客観的なデータを用いて学習済みモデルを生成できる点で有益である。なお、ある傾向を分析したい場合等、何らかの理由で訓練データと評価データとを異なる母集団としたい場合には、例えばユーザ操作部１２０から入力された条件に沿ってデータ分割部５で訓練データと評価データに分割するようにしてもよい。

ユーザ操作部１２０によって重み又は係数に関する情報が修正可能となる態様を採用した場合には（図５参照）、利用者が重視したい項目に対する係数の大きさを大きくしたり軽視したい項目に対する係数の大きさを小さくしたりして調整するだけでよく、利用者が希望する修正後モデルを比較的細かな設定をしながら比較的簡易な操作で生成できる点で有益である。

ユーザ操作部１２０によって項目（採用変数）の利用の有無が修正可能となる態様を採用した場合にも（図５参照）、利用者が項目の利用の有無を選択するだけでよいことから、利用者が希望する修正後モデルを比較的簡易な操作で生成できる点で有益である。

標準化部４によってデータの標準化を行う態様を採用することで、各項目に対する係数の大きさを平均化することができる。このため、考慮すべき要素について偏重なく考慮でき、効率よく機械学習を行える点で有益である。また、重みを変更する際のインパクトを均一化することができる点でも有益である。

異常検知部２１を採用した場合には、利用されるべきではない情報が利用されて修正後モデルが生成されることを防止できる。このため、例えば利用者が誤った項目の利用を選択することで、誤った項目を利用した修正後モデルが生成されることを防止できる点で有益である。

上述した実施の形態の記載及び図面の開示は、特許請求の範囲に記載された発明を説明するための一例に過ぎず、上述した実施の形態の記載又は図面の開示によって特許請求の範囲に記載された発明が限定されることはない。また、出願当初の特許請求の範囲の記載は出願時での権利要求範囲に過ぎず、適宜変更できる点では留意が必要である。

１情報処理装置
４標準化部
５データ分割部
１０学習部
１１第一学習部
１２第二学習部
１５修正部
２０評価部
２１異常検知部
３０装置制御部
３５装置操作部
４０装置記憶部
４５装置出力部（出力部）
１１０表示画面
１２０ユーザ操作部

Claims

訓練データに基づいて学習を行って学習済みモデルを生成する学習部と、
前記学習済みモデルに対して入力される修正情報に基づいて前記学習済みモデルを修正して修正後モデルを生成する修正部と、
前記訓練データとは異なる評価データを用いて前記修正後モデルに対して評価を行う評価部と、
前記評価部による前記修正後モデルに対する評価結果を出力する出力部と、
を備え、
前記修正情報として、ユーザ操作部からの入力によって前記学習済みモデルで利用されている項目の少なくとも１つを利用しないように修正できる、情報処理装置。
前記学習済みモデルで利用されている項目に対する重みを調整可能となる、請求項１に記載の情報処理装置。
ユーザ操作部からの入力によって、前記修正後モデルに用いられている項目の定義を修正可能となる、請求項１又は２に記載の情報処理装置。
前記学習部は、学習済みモデルで利用される項目として応募者の選考に関する項目を用いる、請求項１乃至３のいずれか１項に記載の情報処理装置。
利用されるべきではない情報が利用されていることを検知する異常検知部をさらに備えた、請求項１乃至４のいずれか１項に記載の情報処理装置。
前記評価部での前記修正後モデルを評価した際の精度を見ながら繰り返し前記修正部による修正を可能となる、請求項１乃至５のいずれか１項に記載の情報処理装置。
前記学習部は、
応募者が作成した文書に基づき第一評価情報を生成する第一学習部と、
応募者に関する応募者情報及び前記第一評価情報に基づいて、応募者の第二評価情報を生成する第二学習部と、
を有する、請求項１乃至６のいずれか１項に記載の情報処理装置。
学習部によって、訓練データに基づいて学習を行って学習済みモデルを生成する工程と、
修正部によって、前記学習済みモデルに対して入力される修正情報に基づいて前記学習済みモデルを修正して修正後モデルを生成する工程と、
評価部によって、前記訓練データとは異なる評価データを用いて前記修正後モデルに対して評価を行う工程と、
出力部によって、前記評価部による前記修正後モデルに対する評価結果を出力する工程と、
を備え、
前記修正情報として、ユーザ操作部からの入力によって前記学習済みモデルで利用されている項目の少なくとも１つを利用しないように修正できる、情報処理方法。
情報処理装置にインストールされるためのプログラムであって、
前記プログラムがインストールされた情報処理装置が、
訓練データに基づいて学習を行って学習済みモデルを生成する学習機能と、
前記学習済みモデルに対して入力される修正情報に基づいて前記学習済みモデルを修正して修正後モデルを生成する修正機能と、
前記訓練データとは異なる評価データを用いて前記修正後モデルに対して評価を行う評価機能と、
前記評価機能による前記修正後モデルに対する評価結果を出力する出力機能と、
を備え、
前記修正情報として、ユーザ操作部からの入力によって前記学習済みモデルで利用されている項目の少なくとも１つを利用しないように修正できる、プログラム。