感情認識
| 人工知能 |
|---|
_artificial_intelligence_icon.png){kind=icon} |
 カテゴリ |
感情認識（かんじょうにんしき、英語: Emotion recognition）は、人間の感情を識別するプロセス。他人の感情を認識する際の正確さは、人によって大きく異なる。感情認識を持つ人々を支援するためのテクノロジーの使用は、比較的初期の研究分野である。一般に、このテクノロジーは、コンテキスト内で複数のモダリティ（人間とコンピュータの相互作用）を使用する場合に最適に機能する。これまで、ほとんどの作業は、ビデオからの顔の表情の認識、音声からの話し言葉、テキストからの書き言葉、およびウェアラブルによって測定される生理学の認識を自動化することで行われてきた。
人間
[編集]人間は、感情を認識する能力に大きなばらつきを示す。自動感情認識について学ぶときに覚えておくべき重要なポイントは、「グラウンドトゥルース」、つまり実際の感情が何であるかについての「真実」のいくつかのソースがあるということである。
アレックスの感情を認識しようとしていると、一つの情報源は「ほとんどの人はアレックスが感じていると言うだろうか？」である。この場合、「真実」はアレックスが感じるものに対応しないかもしれないが、ほとんどの人がアレックスが感じるように見えると言うものに対応するかもしれない。たとえば、アレックスは実際には悲しみを感じるかもしれないが、彼は大きな笑顔を浮かべ、ほとんどの人は彼が幸せそうに見えると言う。自動化された方法でオブザーバーのグループと同じ結果が得られた場合、アレックスが実際に感じていることを実際に測定していなくても、正確であると見なされる可能性がある。「真実」のもう1つの情報源は、アレックスに本当に感じていることを尋ねることである。これは、アレックスが自分の内部状態をよく理解していて、それが何であるかを伝えたい場合に機能し、それを正確に単語や数字に変換することができる。しかし、アレキシサイミアで内面的な感情がよくわからない人や、言葉や数字で正確に伝えることができない人も存在する。一般に、実際にどのような感情が存在するかを理解するには、ある程度の作業が必要であり、選択した基準によって異なり、通常、ある程度の不確実性を維持する必要がある。
自動的
[編集]自動化された感情認識の方法を開発および評価するために、何十年にもわたる科学的研究が行われてきた。現在、信号処理、機械学習、コンピュータービジョン、音声処理など、複数の分野の技術を活用して、何百もの異なる種類の方法を提案および評価している広範な文献がある。ベイジアンネットワークなどの感情を解釈するために、ガウス混合モデル[1]と隠れマルコフモデル[2]およびディープニューラルネットワーク[3]、さまざまな方法論と手法を採用することができる[4]。
アプローチ
[編集]感情認識の精度は、通常、テキスト、生理学、オーディオ、ビデオなどのマルチモーダル形式からの人間の表情の分析を組み合わせると向上する[5]。顔の表情、体の動きとジェスチャ認識、およびスピーチからの情報を統合することにより、さまざまな感情タイプが検出される[6]。この技術は、いわゆる感情的または感動的なインターネットの出現に貢献していると言われている[7]。
特定の感情タイプを分類するための感情認識における既存のアプローチは、一般に、知識ベースの手法、統計的手法、およびハイブリッドアプローチの3つの主要なカテゴリに分類できる[8]。
知識ベースの技術
[編集]知識ベースの手法（レキシコンベースの手法と呼ばれることもある）は、特定の感情タイプを検出するために、ドメイン知識と言語の意味論および統語論を利用する。このアプローチでは、感情分類プロセス中に WordNet 、SenticNet[9]、ConceptNet 、EmotiNet[10]などの知識ベースのリソースを使用するのが一般的である[11]。このアプローチの利点の1つは、そのような知識ベースのリソースの大規模な可用性によってもたらされるアクセシビリティと経済性[8]。一方、この手法の制限は、概念のニュアンスや複雑な言語規則を処理できない[8]。
知識ベースの手法は、主に辞書ベースのアプローチとコーパスベースのアプローチの2つのカテゴリに分類が可能で、辞書ベースのアプローチでは、辞書で意見または感情の種言語を検索し、それらの同義語と反意語を検索し、意見または感情の初期リストを拡張する[12]。一方、コーパスベースのアプローチでは、意見や感情の単語の種言語から始め大規模なコーパスでコンテキスト固有の特性を持つ他の単語を見つけてデータベースを拡張する[12]。コーパスベースのアプローチではコンテキストが考慮されるが、あるドメインの単語が別のドメインで異なる方向を向いている可能性があるため、そのパフォーマンスはドメインによって異なる[13]。
統計的手法
[編集]統計的手法では、通常、さまざまな教師あり機械学習アルゴリズムを使用する。このアルゴリズムでは、システムが適切な感情タイプを学習および予測するために、注釈付きデータの大規模なセットがアルゴリズムに入力される[8]。機械学習アルゴリズムは、一般に他のアプローチと比較してより合理的な分類精度を提供するが、分類プロセスで良好な結果を達成するための課題の1つは、十分に大きなトレーニングセットを用意する必要がある[8]。
最も一般的に使用される機械学習アルゴリズムには、サポートベクターマシン（SVM） 、ナイーブベイズ、最大エントロピーなどがある[14]。教師なし機械学習ファミリーの下にあるディープラーニングは、感情認識にも広く採用されている[15][16][17]。よく知られているディープラーニングアルゴリズムには、畳み込みニューラルネットワーク（CNN） 、長・短期記憶（LSTM） 、エクストリーム・ラーニング・マシン（ELM）などの人工ニューラルネットワーク（ANN）のさまざまなアーキテクチャが含まれる[14]。感情認識の分野でのディープラーニング学習アプローチの人気は、主に、コンピュータービジョン、音声認識、自然言語処理（NLP）などの関連アプリケーションでの成功に起因している可能性がある[14]。
ハイブリッドアプローチ
[編集]感情認識におけるハイブリッドアプローチは、本質的に知識ベースの手法と統計的手法の組み合わせであり、両方の手法の補完的な特性を活用する[8]。知識主導の言語要素と統計的手法のアンサンブルを適用した作品のいくつかには、概念レベルの知識ベースのリソースであるSenticNetを採用したセンティックコンピューティングとiFeelが含まれる[18][19]。ハイブリッドアプローチの実装におけるそのような知識ベースのリソースの役割は、感情分類プロセスにおいて非常に重要である[11]。ハイブリッド手法は、知識ベースのアプローチと統計的アプローチの両方によって提供される利点から得られるため、知識ベースまたは統計的手法を個別に採用するのではなく、分類パフォーマンスが向上する傾向があるが、ハイブリッド手法を使用することの欠点は、分類プロセス中の計算が複雑になる[11]。
データセット
[編集]データは感情認識における既存のアプローチの不可欠な部分であり、ほとんどの場合、機械学習アルゴリズムのトレーニングに必要な注釈付きデータを取得することは困難である[12]。テキスト、オーディオ、ビデオ、または生理学的信号の形式でマルチモーダルソースからのさまざまな感情タイプを分類するタスクのために、次のデータセットが利用可能である。
- HUMAINE：複数のモダリティで感情的な単語とコンテキストラベルを備えた自然なクリップを提供する[20]。
- Belfastデータベース：テレビ番組やインタビューの録音からの幅広い感情をクリップに提供する[21]。
- SEMAINE：人と仮想エージェントの間の視聴覚録音を提供し、怒り、幸せ、恐怖、嫌悪感、悲しみ、軽蔑、娯楽などの感情の注釈が含まれている[22]。
- IEMOCAP：俳優間の二者択一のセッションの記録を提供し、幸福、怒り、悲しみ、欲求不満、中立状態などの感情[23]。
- eNTERFACE：7つの国籍の被験者の視聴覚記録を提供し、幸福、怒り、悲しみ、驚き、嫌悪感、恐怖などの感情[24]。
- DEAP：脳波記録（ EEG ）、心電図（ ECG ）の記録、顔のビデオ録画、およびフィルムクリップを見ている人々の感情価、覚醒、優位性に関する感情の注釈を提供する[25]。
- DREAMER：脳波記録（ EEG ）と心電図（ ECG ）の記録に加え、フィルムクリップを見ている人々の感情価、覚醒、および優位性に関する感情の注釈を提供する[26]
- MELD：各発話が感情と感情でラベル付けされているマルチパーティの会話データセット。MELD [27]はビデオ形式で会話を提供するため、マルチモーダル感情認識および感情分析に適している。 MELDは、マルチモーダル感情分析と感情認識、対話システム、会話における感情認識に役立つ[28]。
- MuSe：人と物体の間の自然な相互作用の視聴覚記録を提供する[29]。感情価、覚醒、信頼性の観点から、離散的かつ継続的な感情注釈と、マルチモーダル感情分析および感情認識に役立つ音声トピックがある。
- UIT-VSMEC：標準的なベトナムのソーシャルメディア感情コーパス（UIT-VSMEC）であり、6つの感情ラベルを持つ約6,927の人間の注釈付き文があり、自然言語処理（NLP）の低リソース言語であるベトナムの感情認識研究に貢献している[30]。
- BED：脳波記録（ EEG ）の記録、および画像を見ている人々の感情価、覚醒に関する感情の注釈を提供する。また、EEGベースのバイオメトリクス[31]はいろいろなタスク（SSVEP、目を閉じて休む、目を開いて休む、認知タスク）にさらされる人々の脳波記録(EEG)も含む。
アプリケーション
[編集]感情認識は、さまざまな理由で社会で使用されている。MITからスピンアウトしたAffectivaは、主に視聴者がこの情報を共有することに同意した特定のコンテキストに関連する顔の表情や声の表情の情報を収集するために、以前は人が手動で行っていたタスクをより効率的に実行できる人工知能ソフトウェアを提供する。たとえば、教育用のビデオや広告を見て、各時点でどのように感じるかについての長い調査に記入する代わりに、カメラにあなたの顔を見て、あなたの言うことを聞いてもらい、経験のどの部分であなたが退屈、興味、混乱、笑顔などの表現を示す。（これは、それがあなたの最も内側の感情を読んでいることを意味するのではなく、あなたが外側に表現したものだけを読んでいることに注意すべき。）Affectivaのその他の用途には、自閉症の子供を支援する、目の不自由な人が顔の表情を読むのを支援する、ロボットが人々とよりインテリジェントに対話するのを支援する、運転中の注意の兆候を監視してドライバーの安全性を高めるなどがある[32]。
2015年に、Snapchatによって出願された特許は、ユーザーのジオタグ付きセルフィーに対してアルゴリズムによる感情認識を実行することにより、公開イベントで群衆に関するデータを抽出する方法を説明してる[33]。
Emotientは、顔のしかめ面や笑顔などの表情、つまり「顔の表情に基づいた態度や行動」を予測する人工知能に感情認識を適用した新興企業であった[34]。2016年に、AppleはEmotientを購入し、感情認識テクノロジーを使用して製品の感情的知性を強化している[34]。
nVisoは、リアルタイムAPIを介してWebおよびモバイルアプリケーションにリアルタイムの感情認識を提供する[35]。 ヴィサージュ・テクノロジー ABは、マーケティングや科学研究などの目的で、ヴィサージュ SDKの一部として感情推定を提供する[36]。
Eyerisは、感情認識会社であり、自動車メーカーやソーシャルロボット会社などの組み込みシステムメーカーと協力して、顔分析と感情認識ソフトウェアを統合している。また、ビデオコンテンツの作成者と協力して、短い形式と長い形式のビデオクリエイティブの効果を測定できるようにする[37][38]。
感情認識のサブフィールド
[編集]感情認識は、テクスト（会話）、音声、ビデオ、生理学などのさまざまなオブジェクトを組み合わせて感情を検出することにより、複数のモダリティを適用する場合に、おそらく最良の結果を得ることになる。
テキストでの感情認識
[編集]テキストデータは、人間の生活のどこでも無料で利用できる場合、感情認識に適した研究対象である。他のタイプのデータと比較して、言語での単語や文字の頻繁な繰り返しにより、テキストデータの保存は軽量で、最高のパフォーマンスに圧縮するのが簡単である。感情は、書かれたテキストと会話（対話）という2つの重要なテキスト形式から抽出できる[39]。書かれたテキストの場合、多くの学者は、感情を表す「単語/フレーズ」を抽出するために文レベルでの作業に焦点を合わせている[40][41]。
音声での感情認識
[編集]テキストでの感情認識とは異なり、音声から感情を抽出するための認識には音声信号が使用される[42]。
ビデオでの感情認識
[編集]ビデオデータは、オーディオデータ、画像データ、および場合によってはテキスト（字幕[43]場合）の組み合わせ。
会話における感情認識
[編集]会話における感情認識（ERC）は、Facebook、Twitter、YouTubeなどのソーシャルプラットフォームの大量の会話データから参加者間の意見を抽出する[28]。ERCは、テキスト、オーディオ、ビデオ、または組み合わせフォームなどの入力データを取得して、恐怖、欲望、痛み、喜びなどのいくつかの感情を検出できる。
関連項目
[編集]脚注
[編集]- ^ Hari Krishna Vydana, P. Phani Kumar, K. Sri Rama Krishna and Anil Kumar Vuppala. "Improved emotion recognition using GMM-UBMs". 2015 International Conference on Signal Processing and Communication Engineering Systems
- ^ B. Schuller, G. Rigoll M. Lang. "Hidden Markov model-based speech emotion recognition". ICME '03. Proceedings. 2003 International Conference on Multimedia and Expo, 2003.
- ^ Singh, Premjeet; Saha, Goutam; Sahidullah, Md (2021). “Non-linear frequency warping using constant-Q transformation for speech emotion recognition”. 2021 International Conference on Computer Communication and Informatics (ICCCI). pp. 1–4. arXiv:2102.04029. doi:10.1109/ICCCI50826.2021.9402569. ISBN 978-1-7281-5875-4
- ^ Miyakoshi, Yoshihiro, and Shohei Kato. "Facial Emotion Detection Considering Partial Occlusion Of Face Using Baysian Network". Computers and Informatics (2011): 96–101.
- ^ Poria, Soujanya; Cambria, Erik; Bajpai, Rajiv; Hussain, Amir (September 2017). “A review of affective computing: From unimodal analysis to multimodal fusion”. Information Fusion 37: 98–125. doi:10.1016/j.inffus.2017.02.003.
- ^ Caridakis, George; Castellano, Ginevra; Kessous, Loic; Raouzaiou, Amaryllis; Malatesta, Lori; Asteriadis, Stelios; Karpouzis, Kostas (19 September 2007) (英語). Multimodal emotion recognition from expressive faces, body gestures and speech. 247. 375–388. doi:10.1007/978-0-387-74161-1_41. ISBN 978-0-387-74160-4
- ^ Price. “Tapping Into The Emotional Internet” (英語). TechCrunch. 2018年12月12日閲覧。
- ^ a b c d e f Cambria, Erik (March 2016). “Affective Computing and Sentiment Analysis”. IEEE Intelligent Systems 31 (2): 102–107. doi:10.1109/MIS.2016.31.Cambria, Erik (March 2016). "Affective Computing and Sentiment Analysis". IEEE Intelligent Systems. 31 (2): 102–107. doi:10.1109/MIS.2016.31. S2CID 18580557.
- ^ Cambria, Erik; Poria, Soujanya; Bajpai, Rajiv; Schuller, Bjoern (2016). “SenticNet 4: A Semantic Resource for Sentiment Analysis Based on Conceptual Primitives” (英語). Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers: 2666–2677.
- ^ Balahur, Alexandra; Hermida, JesúS M; Montoyo, AndréS (1 November 2012). “Detecting implicit expressions of emotion in text: A comparative analysis”. Decision Support Systems 53 (4): 742–753. doi:10.1016/j.dss.2012.05.024. ISSN 0167-9236.
- ^ a b c Medhat, Walaa; Hassan, Ahmed; Korashy, Hoda (December 2014). “Sentiment analysis algorithms and applications: A survey”. Ain Shams Engineering Journal 5 (4): 1093–1113. doi:10.1016/j.asej.2014.04.011.Medhat, Walaa; Hassan, Ahmed; Korashy, Hoda (December 2014). "Sentiment analysis algorithms and applications: A survey". Ain Shams Engineering Journal. 5 (4): 1093–1113. doi:10.1016/j.asej.2014.04.011.
- ^ a b c Madhoushi, Zohreh; Hamdan, Abdul Razak; Zainudin, Suhaila (2015). “Sentiment analysis techniques in recent works”. 2015 Science and Information Conference (SAI). pp. 288–291. doi:10.1109/SAI.2015.7237157. ISBN 978-1-4799-8547-0
- ^ Hemmatian, Fatemeh; Sohrabi, Mohammad Karim (18 December 2017). “A survey on classification techniques for opinion mining and sentiment analysis”. Artificial Intelligence Review 52 (3): 1495–1545. doi:10.1007/s10462-017-9599-6.
- ^ a b c Sun, Shiliang; Luo, Chen; Chen, Junyu (July 2017). “A review of natural language processing techniques for opinion mining systems”. Information Fusion 36: 10–25. doi:10.1016/j.inffus.2016.10.004.
- ^ Majumder, Navonil; Poria, Soujanya; Gelbukh, Alexander; Cambria, Erik (March 2017). “Deep Learning-Based Document Modeling for Personality Detection from Text”. IEEE Intelligent Systems 32 (2): 74–79. doi:10.1109/MIS.2017.23.
- ^ Mahendhiran, P. D.; Kannimuthu, S. (May 2018). “Deep Learning Techniques for Polarity Classification in Multimodal Sentiment Analysis”. International Journal of Information Technology & Decision Making 17 (3): 883–910. doi:10.1142/S0219622018500128.
- ^ Yu, Hongliang; Gui, Liangke; Madaio, Michael; Ogan, Amy; Cassell, Justine; Morency, Louis-Philippe (23 October 2017). Temporally Selective Attention Model for Social and Affective State Recognition in Multimedia Content. MM '17. ACM. pp. 1743–1751. doi:10.1145/3123266.3123413. ISBN 9781450349062
- ^ Cambria, Erik; Hussain, Amir (2015). Sentic Computing: A Common-Sense-Based Framework for Concept-Level Sentiment Analysis. Springer Publishing Company, Incorporated. ISBN 978-3319236537
- ^ Araújo, Matheus; Gonçalves, Pollyanna; Cha, Meeyoung; Benevenuto, Fabrício (7 April 2014). iFeel: a system that compares and combines sentiment analysis methods. WWW '14 Companion. ACM. pp. 75–78. doi:10.1145/2567948.2577013. ISBN 9781450327459
- ^ Paolo Petta, ed (2011). Emotion-oriented systems the humaine handbook. Berlin: Springer. ISBN 978-3-642-15184-2
- ^ Douglas-Cowie, Ellen; Campbell, Nick; Cowie, Roddy; Roach, Peter (1 April 2003). “Emotional speech: towards a new generation of databases”. Speech Communication 40 (1–2): 33–60. doi:10.1016/S0167-6393(02)00070-5. ISSN 0167-6393.
- ^ McKeown, G.; Valstar, M.; Cowie, R.; Pantic, M.; Schroder, M. (January 2012). “The SEMAINE Database: Annotated Multimodal Records of Emotionally Colored Conversations between a Person and a Limited Agent”. IEEE Transactions on Affective Computing 3 (1): 5–17. doi:10.1109/T-AFFC.2011.20.
- ^ Busso, Carlos; Bulut, Murtaza; Lee, Chi-Chun; Kazemzadeh, Abe; Mower, Emily; Kim, Samuel; Chang, Jeannette N.; Lee, Sungbok et al. (5 November 2008). “IEMOCAP: interactive emotional dyadic motion capture database” (英語). Language Resources and Evaluation 42 (4): 335–359. doi:10.1007/s10579-008-9076-6. ISSN 1574-020X.
- ^ Martin, O.; Kotsia, I.; Macq, B.; Pitas, I. (3 April 2006). The eNTERFACE'05 Audio-Visual Emotion Database. Icdew '06. IEEE Computer Society. pp. 8–. doi:10.1109/ICDEW.2006.145. ISBN 9780769525716
- ^ Koelstra, Sander; Muhl, Christian; Soleymani, Mohammad; Lee, Jong-Seok; Yazdani, Ashkan; Ebrahimi, Touradj; Pun, Thierry; Nijholt, Anton et al. (January 2012). “DEAP: A Database for Emotion Analysis Using Physiological Signals”. IEEE Transactions on Affective Computing 3 (1): 18–31. doi:10.1109/T-AFFC.2011.15. ISSN 1949-3045.
- ^ Katsigiannis, Stamos; Ramzan, Naeem (January 2018). “DREAMER: A Database for Emotion Recognition Through EEG and ECG Signals From Wireless Low-cost Off-the-Shelf Devices”. IEEE Journal of Biomedical and Health Informatics 22 (1): 98–107. doi:10.1109/JBHI.2017.2688239. ISSN 2168-2194. PMID 28368836.
- ^ Poria, Soujanya; Hazarika, Devamanyu; Majumder, Navonil; Naik, Gautam; Cambria, Erik; Mihalcea, Rada (2019). “MELD: A Multimodal Multi-Party Dataset for Emotion Recognition in Conversations”. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (Stroudsburg, PA, USA: Association for Computational Linguistics): 527–536. arXiv:1810.02508. doi:10.18653/v1/p19-1050.
- ^ a b Poria, S., Majumder, N., Mihalcea, R., & Hovy, E. (2019). Emotion recognition in conversation: Research challenges, datasets, and recent advances. IEEE Access, 7, 100943-100953.
- ^ Stappen, Lukas; Schuller, Björn; Lefter, Iulia; Cambria, Erik; Kompatsiaris, Ioannis (2020). “Summary of MuSe 2020: Multimodal Sentiment Analysis, Emotion-target Engagement and Trustworthiness Detection in Real-life Media”. Proceedings of the 28th ACM International Conference on Multimedia (Seattle, PA, USA: Association for Computing Machinery): 4769–4770. arXiv:2004.14858. doi:10.1145/3394171.3421901.
- ^ Ho, Vong (2020). “Emotion Recognition for Vietnamese Social Media Text”. 16th International Conference of the Pacific Association for Computational Linguistics (PACLING 2019) 1215: 319–333. arXiv:1911.09339. doi:10.1007/978-981-15-6168-9_27. ISBN 978-981-15-6167-2.
- ^ Arnau-González, Pablo; Katsigiannis, Stamos; Arevalillo-Herráez, Miguel; Ramzan, Naeem (February 2021). “BED: A new dataset for EEG-based biometrics”. IEEE Internet of Things Journal (Early Access): 1. doi:10.1109/JIOT.2021.3061727. ISSN 2327-4662.
- ^ “Affectiva”. 2021年12月24日閲覧。
- ^ Bushwick. “This Video Watches You Back” (英語). Scientific American. 2020年1月27日閲覧。
- ^ a b DeMuth Jr., Chris (8 January 2016). “Apple Reads Your Mind”. M&A Daily (Seeking Alpha) 9 January 2016閲覧。
- ^ “nViso”. nViso.ch. 2021年12月24日閲覧。
- ^ “Visage Technologies”. 2021年12月24日閲覧。
- ^ “Feeling sad, angry? Your future car will know”. 2021年12月24日閲覧。
- ^ Varagur, Krithika (2016年3月22日). “Cars May Soon Warn Drivers Before They Nod Off”. Huffington Post
- ^ Shivhare, S. N., & Khethawat, S. (2012). Emotion detection from text. arXiv preprint arXiv:1205.4944
- ^ Ezhilarasi, R., & Minu, R. I. (2012). Automatic emotion recognition and classification. Procedia Engineering, 38, 21-26.
- ^ Krcadinac, U., Pasquier, P., Jovanovic, J., & Devedzic, V. (2013). Synesketch: An open source library for sentence-based emotion recognition. IEEE Transactions on Affective Computing, 4(3), 312-325.
- ^ Schmitt, M., Ringeval, F., & Schuller, B. W. (2016, September). At the Border of Acoustics and Linguistics: Bag-of-Audio-Words for the Recognition of Emotions in Speech. In Interspeech (pp. 495-499).
- ^ Dhall, A., Goecke, R., Lucey, S., & Gedeon, T. (2012). Collecting large, richly annotated facial-expression databases from movies. IEEE multimedia, (3), 34-41.
| 感情 |
|   |
|---|---|---|
| 世界観 | ||
| 関連 | ||
|
一覧・ カテゴリ | ||
Text is available under the CC BY-SA 4.0 license; additional terms may apply.
Images, videos and audio are available under their respective licenses.
