研究队伍
当前位置:首页 > 研究队伍 > 陶建华
陶建华    博士,研究员
陶建华,1972年6月生,博士,研究员,博士生导师。国家杰出青年基金获得者。现任中科院自动化所模式识别国家重点实验室副主任。1993年和1996年分别获得南京大学电子系学士和硕士学位,2001年获清华大学计算机系博士学位。他目前还担任IEEE Trans. on Affective Computing Steering Committee Member、ISCA SIG-CSLP副主席、HUMAINE学会执行理事、中国计算机学会常务理事、中国人工智能学会理事、中国中文信息学会理事、中国声学学会理事、中重中文信息学会语言资源建设与管理工作委员会秘书长等职务。先后负责和参与国家级项目(863重点、国家自然科学基金、发改委、科技部国际合作)20余项,多次担任国家自然科学基金和863等国家项目会评专家。在SCI或EI期刊或会议上发表论文150余篇,申请国内发明专利15项,国际专利1项,编著学术著作2部。研究成果多次在国内外重要学术会议上获奖,两次获得北京市科技进步二等奖。在国内外著名的学术会议上担任程序委员会委员或主席,包括ICPR,ACII,ICMI,IUS,ISCSLP,NCMMSC等等。他目前还担任Journal on Multimodal User Interface 和International Journal on Synthetic Emotions编委。
主要研究方向及内容

1、融合多源异构和情境信息的智能协同控制
研究多样和复杂的情境信息的表示、获取、以及多源异构情境信息的融合,为人机协同提供精确的位置、状态等情境信息支持。研究在协同情境上下文以及协同交互下的用户意图理解。在层次性的超大交互状态空间下,建立融合情感和长跨度历史信息的交互管理模型,实现精准用户意图理解和智能协同交互管理。通过虚拟Agent中间体的作用,实现人机之间的柔性化信息交互接口,交互协议等,设计个性化的智能协作信息反馈输出,提高人机协作效率。

2、大规模人机协同知识库管理及快速更新
通过对具有开放性、自组织性、不确定性以及演化性的大规模人机协同知识库的结构抽取以及模式学习,设计层次化的信息表征编码方式,实现短时工作记忆到长时记忆(知识)的转换,达到动态人机协同知识库管理以及新知识的快速学习和更新。通过人机协同交互的试错-学习过程,模拟人脑的神经元联接关系以及联接关系权重的传递更新,并逐步推演,实现类人智能生长。

3、个性化用户建模以及协作自适应
准确的用户建模技术能够显著提高人机协作中的协作自然性以及交互有效性。通过提取用户的个性化特征参数,采用共享记忆、相关性推荐算法、增量式学习等方法自动调节协作方式,实现机器对人机协作的自适应,获得机器智能训练中的最优人机协作模式。

4、高效鲁棒的自然口语语音交互
通过对言语生成和感知的深层机理的研究,提高语音识别和语音合成的性能;通过深层次的语言分析、口语分析和情感处理,实现高表现力的自然流畅语音合成技术;通过模型自适应算法生成多风格的自然口语,提高人机协作的友好性和易用性。在此基础上,进行自然口语交互技术的大规模应用。

5、人机交互中的情感计算
研究人机交互过程中,多模态融合下情感计算理论和方法。通过对情感的感知及建模,探索不同情感的区分性特征,构建融合时序特征的维度情感识别;通过层级的多尺度建模方法,对不同置信度的情感特征分别建模,并通过多模态时序特征融合方法提高情感识别性能。

代表性论文

Yang,M.,Tao,J.*,Chao,L.,Li,H.,Zhang,D.,Che,H.,Gao,T.,Liu,B.,(2015)User behavior fusion in dialog management with multi-modal history cues, Multimedia Tools and Applications,Vol74, Issue 22, 10025-10051.

Li,Y.,Tao,J.*,Hirose,K.,Xu,X.,Lai,W.,(2015)Hierarchical stress modeling and generation in mandarin for expressive Text-to-Speech,Speech Communication,Vol.72,59-73.

Che,H.,Li,Y.,Tao,J.*,Wen,Z.,(2015)Investigating Effect of Rich Syntactic Features on Mandarin Prosodic Phrase Boundaries Prediction,Journal of Signal Processing Systems,1-9.

Wei,Z.,Tao,J.*,Pan,S.,Wang,Y.,(2014)Pitch-Scaled Spectrum Based Excitation Model for HMM-based Speech Synthesis,Journal of Signal Processing Systems,Vol.74, 423-435.

Yang,M.,Tao,J.*,Mu,K.,Li,Y.,Che,J.,(2012)A Multimodal Approach of Generating 3D Human-like Talking Agent,Journal on Multimodal User Interfaces,Vol. 5, No.1-2,61-8.

Tao,J.*,Zhang,M.,Jani,N.,Tian,J.,Wang,X.,(2010) Supervisory Data Alignment for Text-independent Voice Conversion,IEEE Transactions on Audio, Speech and Language Processing. Vol. 18, No. 5, 932-943.

Tao,J.*,Pan,S.,Yang,M.,Li,Y.,Mu,K.,Che,J.,(2011)Utterance independent bimodal emotion recognition in spontaneous communication,EURASIP Journal on Advances in Signal Processing,No.4.

Tao,J.*,Xin,L.,Yin,P.,(2009)Realistic Visual Speech Synthesis based on Hybrid Concatenation Method,IEEE Transactions on Audio, Speech and Language Processing,Vol. 17, No. 3, 469-477.

Yu,J.,Tao,J.*,(2009)A Novel Prosody Adaptation Method for Mandarin Concatenation Based Text-To-Speech System, International Journal of Acoustical Science and Technology, Vol. 30, No.1,33-41.

Tao,J.*,Kang,Y.,Li,A.,Prosody(2006)Conversion from Neutral Speech to Emotional Speech, IEEE Transactions on Audio, Speech and Language Processing,Vol.14, No.4, 1145-1154.

Epps,J.,Cowie,R.,Narayanan,S.,Schuller,B.,Tao,J.*,(2012)Emotion and mental state recognition from speech,EURASIP JOURNAL ON ADVANCES IN SIGNAL PROCESSING,No.15,1-2.

Wang,S.,Yan,W.,Li,X.,Zhao,G.,Zhou,C.,Fu,X.,Yang,M.,Tao,J.*,(2015)Micro-Expression Recognition Using Color Spaces,IEEE Transactions on Image Processing,Vol. 24, No. 12.6034-6047.

实验室网址:http://www.nlpr.ia.ac.cn/
E-mail: jhtao@nlpr.ia.ac.cn
电话:010-82544599