081104-模式识别与智能系统

情感计算，语音与音频处理，人机交互

2011-09--2015-07   中科院自动化所   工学博士
2007-09--2009-07   北京理工大学   工学硕士
2003-09--2007-07   北京理工大学   工学学士

   

2018-11~现在, 中科院自动化所, 副研究员
2015-07~2018-10,中科院自动化所, 助理研究员

2019-11-29-今,中国图象图形学学会人机交互专委会秘书长,
2018-12-28-今,中国人工智能学会情感智能专委会秘书长,

情感计算

   

（1） The 2020 Multimodal Sentiment in-the-Wild Challenge Prize, 其他, 2020
（2） 第9届计算与模式识别国际会议最佳论文, , 其他, 2020
（3） 第十九届全国信号处理学术年会最佳论文, , 其他, 2019
（4） 第十三届全国人机语音通讯学术会议最佳论文, , 其他, 2015
（5） 具有个性化自适应能力的高性能语音处理技术及应用, 二等奖, 省级, 2014

（ 1 ） 一种高效的语音检测方法, 发明, 2013, 第 2 作者, 专利号: 201310743203.5
（ 2 ） 音频数据的编码方法及解码方法, 发明, 2012, 第 2 作者, 专利号: 201210487489.0
（ 3 ） 一种语音数据的编码及解码方法, 发明, 2013, 第 2 作者, 专利号: 201310176701.6
（ 5 ） 发音器官可视语音合成系统, 发明, 2012, 第 4 作者, 专利号: 201210265448.7
（ 6 ） 语音识别中的正则化口音自适应方法, 发明, 2016, 第 4 作者, 专利号: 201610971766.3
（ 7 ） 基于LSTM循环神经网络的基频提取模型及训练方法, 发明, 2016, 第 4 作者, 专利号: 201611030326.4
（ 8 ） 语音带宽扩展模型的训练方法及语音带宽扩展方法, 发明, 2016, 第 2 作者, 专利号: 201610634660.4
（ 9 ） 基于微表情视频的视频特征提取方法、微表情识别方法, 发明, 2019, 第 3 作者, 专利号: 201910808102.9
（ 10 ） 面向交互场景的自动谎言检测方法、装置、设备及介质, 发明, 2021, 第 3 作者, 专利号: 202110001077.0
（ 11 ） 多模态谎言检测方法、装置、设备, 发明, 2021, 第 3 作者, 专利号: 202110001041.2
（ 12 ） 自动抑郁检测方法、装置、设备, 发明, 2021, 第 3 作者, 专利号: 202110001070.9

   

（1） CTNet: Conversational Transformer Network for Emotion Recognition, IEEE-ACM Transactions on Audio Speech and Language Processing, 2021, 通讯作者
（2） Gated Recurrent Fusion with Joint Training Framework for Robust End-to-End Speech Recognition, IEEE/ACM Transactions on Audio, Speech and Language Processing, 2021, 第 5 作者
（3） Multi-Scale and Multi-Region Facial Discriminative Representation for Automatic Depression Level Detection, ICASSP, 2021, 第 3 作者
（4） Multimodal Cross- and Self-Attention Network for Speech Emotion Recognition, ICASSP, 2021, 第 2 作者
（5） 多通道运动特征融合的微表情识别方法, 计算机辅助设计与图形学学报, 2021, 第 2 作者
（6） End-to-End Post-Filter for Speech Separation With Deep Attention Fusion Features, IEEE/ACM Transactions on Audio, Speech and Language Processing, 2020, 通讯作者
（7） Multimodal Transformer Fusion for Continuous Emotion Recognition, ICASSP, 2020, 第 3 作者
（8） Multi-modal Continuous Dimensional Emotion Recognition Using Recurrent Neural Network and Self-Attention Mechanism, The 2020 Multimodal Sentiment in-the-Wild Challenge, 2020, 第 4 作者
（9） Context-Dependent Domain Adversarial Neural Network for Multimodal Emotion Recognition, Interspeech, 2020, 第 3 作者
（10） Conversational Emotion Recognition Using Self-Attention Mechanisms and Graph Neural Networks, Interspeech, 2020, 第 3 作者
（11） Gated Recurrent Fusion of Spatial and Spectral Features for Multi-channel Speech Separation with Deep Embedding Representations, Interspeech, 2020, 第 3 作者
（12） Comparison of glottal source parameter values in emotional vowels, Interspeech, 2020, 第 3 作者
（13） Joint Training for Simultaneous Speech Denoising and Dereverberation with Deep Embedding Representations, interspeech, 2020, 第 3 作者
（14） Learning Utterance-level Representationswith Label Smoothing for Speech Emotion Recognition, Interspeech, 2020, 第 3 作者
（15） Hybrid Network Feature Extraction for Depression Assessment from Speech, Interspeech, 2020, 第 4 作者
（16） AMINN: Attention-Based Multi-Information Neural Network for Emotion Recognition, ICCPR, 2020, 第 2 作者
（17） Multimodal Spatiotemporal Representation for Automatic Depression Level Detection, IEEE Transactions on Affective Computing, 2020, 第 3 作者
（18） 一种基于卷积神经网络的端到端语音分离方法, 信号处理, 2019, 第 2 作者
（19） Conversational Emotion Analysis via Attention Mechanisms, Interspeech2019, 2019, 第 3 作者
（20） Unsupervised Representation Learning with Future Observation Prediction for Speech Emotion Recognition, Interspeech2019, 2019, 第 3 作者
（21） Automatic Depression Level Detection via lp-norm Pooling, Interspeech2019, 2019, 第 3 作者
（22） Discriminative Learning for Monaural Speech Separation Using Deep Embedding Features, Interspeech2019, 2019, 第 2 作者
（23） 基于迁移学习的噪声鲁棒语音识别声学建模, 清华大学学报:自然科学版, 2018, 第 3 作者
（24） A Novel Pitch Extraction Based On Jointly Trained Deep BLSTM Recurrent Neural Networks With Bottleneck Features, ICASSP2017, 2017, 第 1 作者
（25） Investigating Deep Network Adaptation for Generating Exclamatory and Interrogative Speech in Mandarin, Journal of Signal Processing Systems, 2017, 第 4 作者
（26） CTC Regularized Model Adaptation for Improving LSTM-RNN Based Multi-Accent Mandarin Speech Recognition, Journal of Signal Processing Systems, 2017, 第 5 作者
（27） Investigating Efficient Feature Representation Method and Training Object Function for BLSTM-based Phone Duration Prediction, Interspeech2017, 2017, 第 5 作者
（28） Speech Enhancement Based on Analysis-Synthesis Framework with Improved Parameter Domain Enhancement, Journal of Signal Processing Systems, 2016, 第 1 作者
（29） A Novel Research to Artificial Bandwidth Extension Based on Deep BLSTM Recurrent Neural Networks and Exemplar-based Sparse Representation, Interspeech2016, 2016, 第 1 作者
（30） Extraction of Tongue Contour in Real-time Magnetic Resonance Imaging Sequences, ICASSP2016, 2016, 第 5 作者
（31） A Novel Method of Artificial Bandwidth Extension Using Deep Architecture, Interspeech2015, 2015, 第 1 作者
（32） 一种改进的基于分析合成框架的语音增强算法, 全国人机语音通讯学术会议, 2015, 第 1 作者
（33） Estimate Articulatory MRI Series From Acoustic Signal Using Deep Architicture, ICASSP2015, 2015, 第 4 作者
（34） A Hierarchical Viterbi Algorithm for Mandarin Hybrid Speech Synthesis System, Interspeech2014, 2014, 第 5 作者

   

（ 1 ） 情感语音音色分析及补偿方法研究, 主持, 国家级, 2018-01--2021-12
（ 2 ） 基于麦克风阵列的多源语音处理技术研究, 主持, 部委级, 2017-09--2020-08
（ 3 ） 面向虚拟听觉的个性化头相关传递函数自适应研究, 主持, 国家级, 2017-01--2019-12
（ 4 ） 大数据分析, 参与, 部委级, 2019-01--2023-12
（ 5 ） 连续状态空间个性化语音情感识别, 参与, 国家级, 2019-01--2023-12
（ 6 ） 面向移动终端的多模态自然交互技术, 参与, 国家级, 2015-01--2017-12
（ 7 ） 云端融合的交互意图理解核心算法, 参与, 国家级, 2016-07--2020-06
（ 8 ） 语音技术开发, 参与, 院级, 2015-01--2018-12
（ 9 ） 人工智能技术研究, 参与, 院级, 2017-01--2017-12
（ 10 ） 基于音视频的精神压力分析, 主持, 国家级, 2019-06--2020-06
（ 11 ） 多模态情感识别技术, 参与, 院级, 2019-07--2022-06
（ 12 ） 大数据多模态协同关键技术, 参与, 国家级, 2017-10--2021-09
（ 13 ） 言语置信度分析, 参与, 院级, 2016-12--2018-12
（ 14 ） 情绪与决策倾向关联与预测, 参与, 国家级, 2020-07--2021-06
（ 15 ） 情感识别技术研发, 参与, 院级, 2019-06--2020-05
（ 16 ） 心理实验范式设计和预实验验证技术, 参与, 院级, 2020-12--2023-04
（ 17 ） 高频脑电信号采集与处理技术, 参与, 院级, 2020-12--2023-04

现指导学生

凡佳辉  硕士研究生  085400-电子信息  

柳晗  硕士研究生  085400-电子信息