情感计算

作者: 皮卡德

出版社: 北京理工大学出版社

译者: 罗森林

出版年: 2005-4

页数: 198

定价: 22.00元

ISBN: 9787564004248

情感计算情感计算的概念是在1997年由MIT媒体实验室Picard教授提出，她指出情感计算是与情感相关，来源于情感或能对情感施加影响的计算。中国科学院自动化研究所的胡包刚等人也通过自己的研究，提出了对情感计算的定义：“情感计算的目的是通过赋予计算机识别、理解、表达和适应人的情感的能力来建立和谐人机环境，并使计算机具有更高的、全面的智能”。

情感计算目前这个世界与我当时写这本书时大不一样。当时情感计算几乎是令人困惑的，只有极少数的计算机界科学家工程师愿意投入此项工作。计算机本身具有类似于情感机制的这种观点不是新的，它在Cap&Brother剧本R．U．R．创造出世界“机器人”这一词时就出现了，但具有有效情感机制的计算机实际上并不存在。有关人工智能的会议要么是忽视情感，要么是把情感边缘化。情感智能的观念在心理学和认知科学中变得越发重要，但没有人把它应用到人机交互中。神经科学和心理学上早已发现关于情感在决策、感知、创造性等方面的作用，而计算科学在很大程度上并不知晓。许多人不知道情感有助于理性和智能行为，普遍认为计算机的情感是一种空洞无聊的东西，就像蛋糕表面上的一层糖霜，可以用来使之更为悦目，但没有真正实质上的意义。

    我感谢当时与我讨论情感计算的几个同事。在出版这本书的前一年，我记得，麻省理工学院(MIT)人工智能实验室的一批研究人员邀请我发言，他们对以下问题十分感兴趣，即赋予计算机以类似情感机制这件事的重要程度如何，以及为什么这件事能对人工智能有用?情感即使带来好处，是否会造成更多的麻烦?答案不太明显，需要加以解释；而他们很欢迎这方面的证据。媒体实验室及其他单位的一些人员愿意听我的论证、提出问题、提出他们的想法和批评意见，甚至协作研究，得出了新的悟解。有些人特别是一些尚未取得终身任职的学术界的同行告诉我说：我的想法是荒唐的，我已经享有严肃研究者的声誉，致力于机器具有情感的研究可能会毁掉我的名誉。我记得我曾深刻内省，以决定是否继续从事这项研究。坦率地说，如果我工作在传统的学术部门，而不是在这样一个实验室，那里的领导层，特别是JerryWiesner和NicholasNegro~nte，经常公开地称颂大胆的想法并强烈鼓励冒险，我是不会像这样全心全意投入这项研究的。

    已经过去五年多了。今天，很难想像当时我竟会感到那样害怕。计算机中情感的研究，已经为很多学术界和工业界顶级的研究实验室接受，并引起了国际上的重大关注。 自从这本书出版后，已经有20多个专题讨论会、会议以及特定集会，其主题均围绕情感和计算机运算，而且通常把情感计算列为一个学科领域。我不能、也不会对世界上这种改变自我居功。事实是，真理不依赖任何个人的努力而找到自己前进的道路。在追求它的过程中，我们在黑暗中苦苦探求、苦苦摸索，而不变的真理按自己的条件终于显露出来。试图理解情感就是试图认识事物的真实面目。最终，我们可以清楚地看到事物的原貌，理解人工智能和一切人类进程是如何进行的。

绪论

情感计算

第一部分 情感计算预想

第一章 情感是身体的和可认知的

1.1 身体的和认知的

1.2 情感的身体方面：情感调整

1.3 情感的认知方面

1.4 情感诱导

1.5 小结

第二章 情感计算机

2.1 情感的发展

2.2 能表达情感的计算机

2.3 “有”情感的计算机

2.4 情感智能系统

2.5 关于模仿和复制的说明

2.6 小结

第三章 情感计算的应用

3.1 情感镜子

3.2 超越情感

3.3 文语转换

3.4 协助孤独症者

3.5 用户反馈

3.6 勇气要素

3.7 学习中的情感

3.8 “没有痛苦，就没有收获”

3.9 教室晴雨表

3.10 虚拟场景中的情感

3.11 音乐：听你所喜欢的

3.12 “快进到感兴趣部分”

3.13 知道你偏爱的智能体

3.14 学会什么时候去打断

3.15 闲聊

3.16 动画智能体的表情

3.17 观众表现

3.18 电影/视频

3.19 情感玩具

3.20 小结

第四章 潜在的忧虑

4.1 接口方面的期待

4.2 幼稚的开端

4.3 人类的隐私

4.4 计算机的情感行为

4.5 小结

第二部分 构造情感计算

第五章 情感信号与系统

5.1 情感系统建模

5.2 情感和情绪的信号表示

5.3 生理信号

5.4 小结

第六章 情感的识别与表达

6.1 情感模式特征表示的关键问题

6.2 情感建模

6.3 小结

第七章 情感合成

第八章 情感可穿戴计算机

总结

参考文献

情感计算人们期盼着能拥有并使用更为人性化和智能化的计算机。在人机交互中，从人操作计算机，变为计算机辅助；从人围着计算机转，变为计算机围着人转；计算机从认知型，变为直觉型。显然，为实现这些转变，人机交互中的计算机应具有情感能力。情感计算研究就是试图创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统。

情感被用来表示各种不同的内心体验（如情绪、心境和偏好），情绪被用来表示非常短暂但强烈的内心体验，而心境或状态则被用来描述强度低但持久的内心体验。情感是人与环境之间某种关系的维持或改变，当客观事物或情境与人的需要和愿望符合时会引起人积极肯定的情感，而不符合时则会引起人消极否定的情感。

情感具有三种成分：⑴主观体验，即个体对不同情感状态的自我感受；⑵外部表现，即表情，在情感状态发生时身体各部分的动作量化形式。表情包括面部表情（面部肌肉变化所组成的模式）、姿态表情（身体其他部分的表情动作）和语调表情（言语的声调、节奏、速度等方面的变化）；⑶生理唤醒，即情感产生的生理反应，是一种生理的激活水平，具有不同的反应模式。

概括而言，情感的重要作用主要表现在四个方面：情感是人适应生存的心理工具，能激发心理活动和行为的动机，是心理活动的组织者，也是人际通信交流的重要手段。从生物进化的角度我们可以把人的情绪分为基本情绪和复杂情绪。基本情绪是先天的，具有独立的神经生理机制、内部体验和外部表现，以及不同的适应功能。人有五种基本情绪，它们分别是当前目标取得进展时的快乐，自我保护的目标受到威胁时的焦虑，当前目标不能实现时的悲伤，当前目标受挫或遭遇阻碍时的愤怒，以及与味觉（味道）目标相违背的厌恶。而复杂情绪则是由基本情绪的不同组合派生出来的。

情感测量包括对情感维度、表情和生理指标三种成分的测量。例如，我们要确定一个人的焦虑水平，可以使用问卷测量其主观感受，通过记录和分析面部肌肉活动测量其面部表情，并用血压计测量血压，对血液样本进行化验，检测血液中肾上腺素水平等。

　　确定情感维度对情感测量有重要意义，因为只有确定了情感维度，才能对情感体验做出较为准确的评估。情感维度具有两极性，例如，情感的激动性可分为激动和平静两极，激动指的是一种强烈的、外显的情感状态，而平静指的是一种平稳安静的情感状态。心理学的情感维度理论认为，几个维度组成的空间包括了人类所有的情感。但是，情感究竟是二维，三维，还是四维，研究者们并未达成共识。情感的二维理论认为，情感有两个重要维度：⑴愉悦度（也有人提出用趋近-逃避来代替愉悦度）；⑵激活度，即与情感状态相联系的机体能量的程度。研究发现，惊反射可用做测量愉悦度的生理指标，而皮肤电反应可用做测量唤醒度的生理指标。

　　情感是一种内部的主观体验，但总是伴随着某种外部表现，即表情。面部表情、姿态表情、语调表情三种表情被称之为体语，构成了人类的非言语交往方式。面部表情是指通过眼部、颜面和口部肌肉的变化来表现各种情感状态。面部表情不仅是人们常用的较自然的表现情感的方式，也是人们鉴别情感的主要标志。

研究表明，人脸的不同部位具有不同的表情作用，例如，眼睛对表达忧伤最重要，口部对表达快乐与厌恶最重要，前额能提供惊奇的信号，而眼睛、嘴和前额等对表达愤怒很重要。使用特定的仪器可以对面部的微小表情变化进行研究，甚至可以区分真笑和假笑：人在真笑时面颊上升，眼周围的肌肉堆起，大脑左半球的电活动增加；而人在假笑时仅有嘴唇的肌肉活动，下颚下垂，大脑左半球的电活动不明显。脸部运动编码系统FACS通过不同编码和运动单元的组合，可以在脸部形成复杂的表情变化，其成果已经被应用于人脸表情的自动识别与合成。还有MPEG-4 V2视觉标准，定义了3个重要的参数集，即人脸定义参数、人脸内插变换参数和人脸动画参数，其表情参数具体数值的大小代表人激动的程度，可以组合多种表情以模拟混合表情。目前面部表情的研究侧重于对三维图像的更细致的描述和建模，也注重使用复杂的纹理和较细致的图形变换算法，以达到生动的情感表达效果。

人的姿态即身体表情，一般伴随着交互过程而发生变化，并表达着一些信息。而语调表情是通过语音的高低、强弱、抑扬顿挫来表达说话人的情感。在人际交往中，语音是人们最直接的交流通道。通过语音人很容易就能感受到对方的情感变化，就像“你真行!”这句话，既可以表示赞赏，也同样可以表示讽刺或妒忌。情感语音研究目前主要侧重于情感的声学特征的分析。语音中的情感特征往往通过语音韵律的变化表现出来（如当一个人发怒时，讲话的速率可能变快，音量变大，音调变高等），但也可同时通过一些音素特征（如共振峰、声道截面函数等）表现出来。中国科学院心理研究所、中国科学院自动化研究所、清华大学计算机系等机构都在从事相关研究。

在人机交互研究中已使用过很多种生理指标，例如，皮质醇水平、心率、血压、呼吸、皮肤电活动、掌汗、瞳孔直径、事件相关电位、脑电EEG等。生理指标的记录需要特定的设备和技术，在进行测量时，研究者有时很难分离各种混淆因素对所记录的生理指标的影响。情感计算研究的内容包括三维空间中动态情感信息的实时获取与建模，基于多模态和动态时序特征的情感识别与理解，及其信息融合的理论与方法，情感的自动生成理论及面向多模态的情感表达，以及基于生理和行为特征的大规模动态情感数据资源库的建立等。

欧洲和美国的各大信息技术实验室正加紧进行情感计算系统的研究。剑桥大学、麻省理工学院、飞利浦公司等通过实施“环境智能”、“环境识别”、“智能家庭”等科研项目来开辟这一领域。例如，麻省理工学院媒体实验室的情感计算小组研制的情感计算系统，通过记录人面部表情的摄像机和连接在人身体上的生物传感器来收集数据，然后由一个“情感助理”来调节程序以识别人的情感。如果你对电视讲座的一段内容表现出困惑，情感助理会重放该片段或者给予解释。麻省理工学院“氧工程”的研究人员和比利时IMEC的一个工作小组认为，开发出一种整合各种应用技术的“瑞士军刀”可能是提供移动情感计算服务的关键。而目前国内的情感计算研究重点在于，通过各种传感器获取由人的情感所引起的生理及行为特征信号，建立“情感模型”，从而创建个人情感计算系统。研究内容主要包括脸部表情处理、情感计算建模方法、情感语音处理、姿态处理、情感分析、自然人机界面、情感机器人等。

情境化是人机交互研究中的新热点。自然和谐的智能化的人机界面的沟通能力特征包括：⑴自然沟通：能看，能听，能说，能触摸；⑵主动沟通：有预期，会提问，并及时调整；⑶有效沟通：对情境的变化敏感，理解用户的情绪和意图，对不同用户、不同环境、不同任务给予不同反馈和支持。而实现这些特征在很大程度上依赖于心理科学和认知科学对人的智能和情感研究所取得的新进展。我们需要知道人是如何感知环境的，人会产生什么样的情感和意图，人如何做出恰当的反应，从而帮助计算机正确感知环境，理解用户的情感和意图，并做出合适反应。因此，人机界面的“智能”不仅应有高的认知智力，也应有高的情绪智力，从而有效地解决人机交互中的情境感知问题、情感与意图的产生与理解问题，以及反应应对问题。

显然，情感交流是一个复杂的过程，不仅受时间、地点、环境、人物对象和经历的影响，而且有表情、语言、动作或身体的接触。在人机交互中，计算机需要捕捉关键信息，觉察人的情感变化，形成预期，进行调整，并做出反应。例如，通过对不同类型的用户建模（例如，操作方式、表情特点、态度喜好、认知风格、知识背景等），以识别用户的情感状态，利用有效的线索选择合适的用户模型（例如，根据可能的用户模型主动提供相应有效信息的预期），并以适合当前类型用户的方式呈现信息（例如，呈现方式、操作方式、与知识背景有关的决策支持等）;在对当前的操作做出即时反馈的同时，还要对情感变化背后的意图形成新的预期，并激活相应的数据库，及时主动地提供用户需要的新信息。

计算智能领域“百花齐放”，进化计算、遗传算法、混沌理论、粗集理论、情感计算、免疫计算等研究方兴未艾。不少人都翘首以盼，计算机会变得越来越聪明，在不久的将来，电脑就能像人一样具有情感，与人进行自然、亲切和生动的智能交互。

情感计算是一个高度综合化的技术领域。通过计算科学与心理科学、认知科学的结合，研究人与人交互、人与计算机交互过程中的情感特点，设计具有情感反馈的人机交互环境，将有可能实现人与计算机的情感交互。迄今为止，有关研究已在人脸表情、姿态分析、语音的情感识别和表达方面取得了一定的进展。情感计算研究将不断加深对人的情感状态和机制的理解，并提高人机界面的和谐性，即提高计算机感知情境、理解人的情感和意图并做出适当反应的能力。

目前情感计算研究面临的挑战仍是多方面的：⑴情感信息的获取与建模，例如，细致和准确的情感信息获取、描述及参数化建模，海量的情感数据资源库，多特征融合的情感计算理论模型；⑵情感识别与理解，例如，多模态的情感识别和理解；⑶情感表达，例如，多模态的情感表达（图像、语音、生理特征等），自然场景对生理和行为特征的影响；⑷自然和谐的人性化和智能化的人机交互的实现，例如，情感计算系统需要将大量广泛分布的数据整合，然后再以个性化的方式呈现给每个用户。

情感计算有广泛的应用前景。计算机通过对人类的情感进行获取、分类、识别和响应，进而帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至帮助人们理解自己和他人的情感世界。计算机的情感化设计能帮助我们增加使用设备的安全性，使经验人性化，使计算机作为媒介进行学习的功能达到最佳化。在信息检索中，通过情感分析的概念解析功能，可以提高智能信息检索的精度和效率。在电子商务领域，在设计购物网站和股票交易网站等时能充分利用人的情感因素的作用，以改变客流量。多模式的情感交互技术能构筑更贴近人们生活的智能空间或虚拟场景，而机器人、智能玩具、游戏等产业则能构筑出更加拟人化的风格和更加逼真的场景。

展望现代科技的潜力，我们预期在未来的世界中将可能会充满运作良好、操作容易、甚至具有情感特点的计算机。

目前的人工智能实际上只是人工认知，它是狭义的人工智能。知、情、意是人类三种基本的思维形式，那么广人工智能应该包括人工认知、人工情感和人工意志三个方面，因此要想由狭义的人工智能朝向广义的人工智能发展，就必须首先解决一系列有关情感的基本理论问题：什么是情感？情感的客观目的是什么？认知与情感到底有何区别？等等，而这些深层次的理论问题是当今的哲学、思维科学、生命科学和心理学等没能真正解决的。计算机的人工智能水平在经历了一段时间的突飞猛进之后，如今已经接近了它的理论上的发展极限，显然，不解决上述深层次的、哲学层面上的理论问题，不解决“人工智能”、“人工情感”和“情感计算”理论所存在的一系列严重的危机与哲学错误，要想研究真正意义的情感机器人是绝对不可能的。

（一）、“情感计算”理论的危机

目前，计算机理论界所开展的针对各种生理指标方面的“情感计算”方法，主要存在如下危机根本无法解决：

1、要建立情感的识别系统和表达系统，就必须对情感的基本类型进行划分，以确立情感的基本模态。然而，情感的基本类型究竟应该根据什么原则和标准来划分，有何理论根据？

2、对于同一类型情感，无论是情感感受强度，还是情感表达强度和情感生理唤醒程度，都可以采用不同的生理指标进行计算和测量，究竟应该选用哪一个生理指标为主要尺度呢？

3、对于同一类型情感采用同一个生理指标进行测量和计算时，由于受到许多环境因素、人体其它生理因素和精神因素的影响，其测量值的差异性和波动性如何消除。

4、不同的情感类型所产生的不同生理指标之间往往没有通约性，那么，不同类型的情感之间如何进行相互比较和统一度量？

5、人的情感内容和感情方式是极为丰富的，各种情感之间相互渗透、相互作用、相互转化，往往有着相当复杂而且变化频繁的关系，那么对于情感的计算就需要真正天文数字般的情感数据资源库，还需要海量的计算模型与计算工作量，而人脑为何并不需要？

6、有些复杂而微妙的情感，如怀疑、犹豫、迷茫、怜悯、尴尬、自我表现等，其生理指标的变化往往极其微弱而且短暂，对于它们的计算和测量如何进行？

7、有些情感（如“对敌人的仇恨”与“对亲人的生气”）往往具有相同或相近的生理指标，但两者所表达的价值内涵往往相差很大，如何进行区别？

8、情感的感受强度和表达强度与各种生理指标的变化量度通常不是成线性函数关系，大部分都是呈非线性的、不连续的、模糊的、概率性的、波动的函数关系，因此采用生理指标的变化量来计算情感的感受强度和表达强度，如何消除其误差性和不确定性。

9、假如能够计算出人的情感感受强度、表达强度和生理唤醒程度，这些计算值又代表了什么样的客观价值意义？如何使电脑或机器人具有和谐、友好、灵活的人机界面？

总之，对于情感的感受强度、表达强度和生理唤醒指标的计算实际上只是对于情感的表面形式的计算，而不是对于情感的客观内容的计算，因此不可能实现真正意义的“情感计算”。

（二）、“情感计算”理论的哲学错误

目前，“情感计算”理论中主要存在如下唯心主义和形而上学的哲学错误，必须进行深刻的反思：

1、唯心主义错误。目前的“情感计算”理论以唯心主义的观点来看待情感的哲学本质，把情感与它所对应的客观存在割裂开来，局限于在主观范畴内来分析情感现象与情感规律。唯心主义者常常把主观与客观割裂开来，它否认，任何主观意识都产生于客观存在，都是人脑对某一种客观存在的反映，那怕有时是一种不真实的、不正确的、不全面的、甚至是颠倒的反映；它不知道，要认识一种主观意识的哲学本质必须从它所反映的客观存在中找答案，要分析一种主观意识的变化规律性应该从它所反映的客观存在的规律性上着手；它不知道，情感作为人脑的一种主观心理活动，必然对应着某一种客观存在，必然是人脑对某一种客观存在的主观反映；它在分析情感现象与情感规律时，总是试图在“需要”、“欲望”、“体验”、“态度”等主观心理范畴内找答案，而不能从其所反应的客观存在中找答案。

统一价值论认为：任何主观意识总会有某一客观存在与之相对应；情感作为一种特殊的主观心理活动，反映了一种特殊的客观存在——人与事物之间的价值关系，情感与价值的关系在本质上就是主观与客观的关系。在发现了情感与价值的对应关系之后，人们就可以跳出“用主观意识来解释主观意识”的圈子，从价值现象与价值规律的角度来分析情感现象与情感规律。这样一来，神秘莫测的“情感计算”就立即转化为切实可行的“价值计算”，人文科学的情感理论就立即转化为自然科学的数理情感学，情感数学模型以及情感内部逻辑系统的建立，为情感机器人的研制奠定了坚实的理论基础。

2、形而上学的表面性错误。目前的“情感计算”理论以形而上学的表面性观点来看待情感的客观内容，混淆了情感的客观内容与其表现形式的本质区别，它认为情感计算的核心就是对情感所激发的生理指标的计算。形而上学的表面性观点总是倾向于从事物的表现形式（或外部现象）来认识事物。它否认，事物的表现形式与其客观内容有着本质的区别，事物的表现形式通常只能片面地、不准确地、不稳定地反映事物的客观内容；它总是把情感的表现形式当作情感的客观内容本身。

情感的感受强度、表达强度和生理唤醒指标等三个方面都是反映了情感在感受、作用和表达过程中所体现的生理指标，都属于情感的主观表现形式，而不是情感所反映的客观内容。情感所反映的客观内容就是主体所拥有的价值关系或利益关系及其变化，对于情感表现形式所激发的生理指标的计算，只能反映情感的表面形式，而不能反映情感的客观内容，只有对情感所反映的客观内容——价值关系进行计算，才能客观地、准确地、全面地反映情感运行的真实状态。

3、形而上学的孤立性错误。目前的“情感计算”理论以形而上学的孤立性观点来看待情感的运行程序，把情感与认知及意志割裂开来，认为情感是独立运行的，与人的认知过程和意志过程无关。形而上学的孤立性观点总是倾向于根据事物本身的运动与变化情况来认识该事物，而不是根据事物与其它事物的相互联系与相互影响上来认识该事物。他们只看到了情感对于人的活动的影响与制约作用，往往看不到情感与认知、意志的相互联系与相互影响。

人为了生存和发展就必须首先感知和了解各种事物的事实关系，其次要掌握这些事物对于人的价值关系，第三要掌握人的每个反作用于这些事物的生产行为或生活行为的价值关系，并且判断、选择、组织和实施一个最佳的行动方案。第一步由认知活动来完成，第二步由情感活动来完成，第三步由意志活动来完成，因此从认知到情感，再从情感到意志，是一条基本的、不可分割的人类自控行为的流水线。

    由此看来，仅仅进行狭义的、孤立的情感计算，仍然不能解决人的心智活动的全部计算问题，还需要实施对意志的计算，并实施对知情意的交互计算。由于意志是一种特殊情感，因此意志计算以及知情意的交互计算都是广义的情感计算。

4、形而上学的片面性错误。目前的“情感计算”理论以形而上学的片面性观点看待情感的客观目的，认为 “情感计算”的研究主要是基于两个现实目的：一是建立和谐的人机交互环境，使计算机或机器人具有良好的人机界面，以降低使用者的劳动强度，提高使用者的工作效率，解放人的双手；二是制作可穿戴式的计算机，以替代、补偿与增强人的辅助感知功能和行为功能，特别是帮助提高残疾人的感知功能和行为功能。

然而，事实上，科学的情感计算和广义的人工智能对于人的生存与发展还有几个更为重要的意义被人们忽略了：提高思维的效率和速度、自主地确定和调整行为方案、直接参与社会事务和人际交往、开展自主创造性活动。