1. 项目概述中国互联网络信息中心(CNNIC)发布的2008至2011年《中国搜索引擎市场研究报告》中都指出,网络音乐以其使用率一直位居中国互联网应用前三甲的宝座,《2011年中国搜索引擎市场研究报告》进一步指出,音乐已经成为用户通过搜索引擎搜索的前三大类内容之一,用户比例高达41.6%,大部分综合搜索引擎都已经提供针对音乐的垂直搜索功能。互联网上日益庞大的用户规模以及海量的数字音乐要求高效的音乐检索手段和令用户满意的检索体验。本系统采用多模态情感回归的方法,实现音乐情感的自动标注,并通过音乐情感词作为中间桥梁,实现音乐情感维度信息到情感类别的映射,间接实现了音乐情感的分类。因此本系统能够同时满足对音乐情感维度信息和类别信息自动标注的需求。2. 应用范围音乐情感识别技术自2000年提出以来,经过世界各地大学及研究单位的广泛研究,已经取得了明显的进展。该技术主要应用于需要大规模音乐库的系统场景,如音乐网站、网络电台、手机音乐、车联网系统、云音乐系统、音乐在线商店、音乐数字图书馆、音乐医疗系统、卡拉OK系统、电台音乐点播系统等。3. 技术优势随着音乐欣赏模式从客厅音响转移到移动手机,人们对音乐选择的方式也从专辑唱片转变到个性化编辑的播放列表。编辑个性化播放列表的先决条件是,需要每首歌曲标有歌曲名、歌手名、曲风、发行时间等一系列标注信息,以便检索,以挑选中意的音乐或歌曲,如前所述,客观上根据音乐所表达的情感来选择音乐才是编辑播放列表的首选标注信息。现实情况是,目前所有正式出版的音乐作品,都不带有情感标签。造成这一现状的原因之一是音乐情感标注的都是人工类完成,效率很低,面对百万、千万级的音乐库,人工进行情感标注几乎是难以完成的任务,另外一个方面是,不同人的个体对同一首歌曲或音乐的情感表达的描述尺度会有所差别,使用计算机实现音乐情感的自动标注,能够有效地解决上述两个问题。本计算机音乐情感识别系统有如下优势:l 情感标注的稳定性,不受人为因素的影响。l 自动标注的高效性。我们在普通PC机上试验的结果表明,一台机器每天可标注1万首以上的音乐歌曲。由于每首歌曲的标注都是独立的,因此可以根据工作的需要,配置多台机器并行处理。l 情感维度标注和类别标注兼顾,由于应用场景的不同,存在标注连续维度情感值和情感类别值两种不同的需求,本系统兼顾了这两种不同的需求。l 自主设计了更为直观的颜色情感色谱,作为基于情感的音乐推荐人机界面;图1给出的是本系统基于情感的音乐检索界面。图2 给出的是基于维度情感模型的检索,图3 给出的是基于色彩和情感词的检索。l 情感标注值的准确性。本系统采用独特的歌词、音频和歌词的多模态音乐情感识别学习算法,很好地发挥了不同模态数据对音乐情感不同维度描述的优势,提高了标注结果的准确性。 4. 技术水平国外在这一领域的研究已有10年,申请了部分专利,部分产品已经投入应用。这一技术的研究正方兴未艾,我们实验室对这一方向也进行了9年多的深入研究,目前已取得了阶段性的成果,多篇文章发表在国际知名的学术会议上。5. 研究所处阶段北京大学计算机研究所数字音频实验室对音乐情感识别进行了多年的研究,在学习国内外先进科研成果的同时,我们特别针对中文音乐和歌曲进行了针对性的研究,并对音乐情感识别的各个环节都有新的发展:1) 完成全部关键算法的研究开发;2) 完成了基于内容管理技术的音乐库的开发,并集成了情感识别引擎;3) 在4000首音乐歌曲(音乐:1700首;歌曲:2300首)集上完成情感学习模型的训练;4) 在5万首音乐歌曲数据库上完成了自动情感标注的测试。总之,目前本项目已经完成了原型系统的开发,正处在产品化阶段。6. 市场状况及市场预测目前市场还没有与本项目系统相似的产品,因此几乎处在无竞争产品的阶段,由于音乐网站、网络电台的发展受到手机音乐、车联网系统、云音乐系统的竞争而落后,所以我们的更期待在移动音乐消费市场能够取得进展。由于社会的发展,人们对于音乐消费个性化需求的提高,以及音乐欣赏形式的多样化,音乐情感识别技术将在市场上获得更大的机会和应用前景。7. 投资与成本估算,效益分析由于本系统原理技术研究基本完成,就应用而言主要投入会来自于应用系统的部署费用,且随应用系统的规模而定。音乐情感识别系统是音乐消费系统的后台基础系统,其经济效益有赖于音乐消费系统的整体效益,由于音乐情感识别系统的基础性,由它可以演化很多不同的应用和服务产品,因此其经济效益和社会效益的前景十分看好。