随着全球通信、通商和多种族社区的日益扩大，语言之间的碰撞越来越多，不同语言的结合变得非常自然，人们在交流过程中，使用两种语言或是更多种语言的现象较为普遍。在中国，英语作为大部分人的第一外语，被自然而然地穿插在以中文为主的日常交流中。在中国人英语水平越来越高的今天，这种中英文混杂的表达方式不仅不会产生混淆，而且由于其表达上的便利性被越来越多的人认可。虽然混合语言的表达对于人类而言是自然的，无歧义的，但是对于计算机进行自动语音识别而言是一个巨大的挑战。目前国内外对混合语音识别的研究工作还远远不够。多语种混合的方式主要分为两种：两种语言穿插表达；‚在一种主要语言中混合入另外一种语言。根据语言混合的两种表现形式，目前国内外混合语音识别系统大致分为两种：一种是将多个单语言语音识别系统并联，组成一个多语言的混合语音识别系统；另一种是将多种语言的音子集共享，然后利用混合语料建立一个多语言混合的语音识别系统。然而第一种方案系统的性能过多的依赖于语种识别器的性能，容易因为语种识别引入的错误而导致最终语音识别率大大下降。第二种方案多语言混合的建模会造成三音子状态之间的跳转概率发生变化，使其同单一的语种建模产生较大的差异，从而造成不同语言相互之间的干扰和影响。另外，由于目前国际上在混合语音识别方面的数据库非常少，学术界的研究成果未能真正反映工业界应用时的实际情况，这也是导致混合语音识别发展较慢的主要因素之一。综上，目前国内外在混合语音识别中的研究离真正的实际应用或产业化还有一段距离。因此，若能在企业的支持下，结合其已有的语音数据库基础和实际应用中的难题，定能在现有基础上进一步提升混合语音识别系统的性能，加快其成果转化进程。随着多语种混合语音识别的需求加大，以及语音识别技术的发展，该难题的解决不仅具有较好的学术研究价值，更重要的是能大大拓展现有语音识别的实际应用范畴，为企业带来更多经济效益。技术创新点1) 基于数据驱动的方式自动合并不同语种的相似音子的算法；2) 通用混合语音声学模型自适应算法；3) 在训练数据集合上根据不同识别任务需求自动调整训练数据比重和使用方案。