关键算法模块：1．自主跟随飞行，目标锁定跟踪：能够应对多种场景，如目标有遮挡，相似目标有交叉，人的姿态变化较大等。能够实现对多种类型的目标的跟踪，包括人、人脸、车、骑行、冲浪的人等。在骁龙801平台上，可实现实时跟踪。2．基于动作识别的无人机施控：不同于目前常见的采用专属遥控器或连接手机施控的方式外，已实现了跟踪目标为人体的场景中，以人体发出的动作直接对无人机进行施控，无需通过遥控器或手机APP实现，此控制方式更适合自拍、慢跑、打球、拍集体照等双手不便操作时的场景应用。另一方面，人体动作的灵活性也让需要特别培训的“飞手”成为历史，更多普通用户也能成为“飞手”。再者，在无线控制方式，如Wi-Fi，蓝牙等，因某些不可预知的原因受到干扰时，基于视觉的施控方式就成为不二的选择。3．基于视觉的导航与避障，安全性高： 目前大多数无人机采用的是激光雷达，超声，视觉的组合方案。如大疆的精灵4，就采用了超声结合前向双目视觉的避障方案。从成本上来说，超声和双目摄像头要比激光雷达价格更加低廉，但缺点就是对于细小的物体效果较差，如较小的树，直径较小的杆状物等。本团队自行研发的基于双目视觉的避障算法，结合了多种视觉特征，目前在室内和室外都能有良好的效果，对于较细小的障碍物，也能够很好地进行识别和分辨。4．多元传感器融合系统平台： 目前的大多数无人机都装载了多个传感器，如超声、气压计、摄像头、电子罗盘、惯性测量单元等等，目前的无人机解决方案并未将这些传感器纳入到一个多元传感器融合系统内，而是各自为政。实际上，这些传感器之间的信息有些有交叉，有些则互为补充，本项目旨在建立一个以视觉为中心的多元传感器融合系统，能够充分利用所有传感器的信息，如摄像头+惯性测量单元+电子罗盘，实现指点飞行和一键返航等，以不同技术的融合达到更好的用户体验。技术指标：1. 实现锁定目标的实时自主跟随拍摄，在短时目标丢失情况下，找回率高于90%；与大疆的精灵4（Phantom 4）推出的所谓‘黑科技’跟拍技术相比，本项目中采用了机器学习与计算机视觉想结合的快速跟踪方法，能够正确锁定各种类型的目标，如移动的车、人、骑车的人等。在各种复杂场景中，如跟踪目标与多个相似目标有交叉、背景杂乱等，都有非常好的鲁棒性。2. 准确识别人体的多种动作,识别精度达到98%以上，可对无人机进行精确控制；前期已经实现了在不同飞行高度下，对手臂上举或平举等九种动作的识别，并将识别结果转化为相应的语义，反馈至飞控系统，从而实现对无人机的精确控制。3. 实现自动避障飞行，光线正常的情况下，有效距离可达0.5m至15m；与大疆在大疆的精灵4（Phantom 4）等机型所推出的避障相比，采用了半稠密点云的方式，一方面对于细小物体的识别更加准确；另一方面，有效地提高了响应速度。在环境光照不均匀时，也能够较好地生成点云图，从而可在多种复杂场景中的实现避障。4. 采用自行开发的SLAM(simultaneous localization and mapping即时定位与地图构建)技术，在自动返航和路径规划中，可发挥有效的作用。与大疆精灵4（Phantom 4）的“一键返航”对比，路径规划更高效。5. 可自动跟随人脸进行拍摄，人脸锁定跟踪精度可达到96%以上；与Hover相比，人脸的跟踪性能基本持平，但成本却比其低约40%。 上述算法均可在高通骁龙平台实现，其成本相较目前普遍使用的DSP芯片成本降低约40%，而且发热现象有极大改善，能有效提高无人机的续航能力。与高通推出的无人机专用芯片系列对比，在通用环境中自行开发的算法与代码可移植性更好，能够简便地移植到更多的平台，不受硬件的限制。 目前市面上的芯片解决方案集成度低，硬件价格偏高，平台上已有的传感器也并未充分利用，所以导致客户使用时存在开发成本高、开发周期长等问题。另一方面,随着无人机竞争时代来临，市场应用成为关键所在。消费级别的无人驾驶飞行器从崭露头角到大行其道。在全球商用无人机市场中，大疆占有的市场份额无疑让其已成为无人机行业里的领军人物。同时，国内还有如小米、华为等一大波的竞争者，依靠一定的资金支持和技术背景起家，试图通过更加低廉的价格、新颖的功能、不同的交互方式或是设计上的突破，在某个细分市场领域进行差异化竞争。所以面对需求日益旺盛的无人机市场，反而出现“强者更强”的现象。绝大多数创业初期及还未占据市场一席之地的无人机企业更急于快速“突破”。 因此，针对绝大多数无人机企业缺技术储备缺资金的“痛点”，可提供基于物美价廉的嵌入式系统搭建一套“核心算法平台+客制化解决方案”的无人系统关键算法的技术解决方案或定向开发服务。产品也可在客户已有的平台上进行二次开发，将多源信息融合系统引入到现有的系统平台中，从而形成适应市场需求的无人机用系统平台，并对所开发的原型系统进行分单元测试、系统测试、运算速度测试等，保证所开发的系统平台的可靠性。算法设计将以灵活的模块化方式进行，在开发之初会预留可能的需求模块以便进行扩展。基于所开发的关键算法平台，定制不同需求层次的产品，以满足市场多样化的需求。同时，随着市场的变化，也可对产品进行迭代更新。以目前已实现的无人机计算机视觉开发能力可提供自主跟随、动作控制及自动避障等高质量核心功能，“节约”用户投入及降低研发风险，达到双赢。并且视觉模块的技术开发具有极高的通用性，可以在不同的嵌入式平台上移植。能够为无人系统和相关行业，如机器人行业提供行业标准级的核心算法解决方案。对于目前尚无行业标准的无人机和机器人行业提供可参考的行业标准。 另外，消费级无人机除了成为科技发烧友及航拍爱好者的“玩具”外，其快速打入影视娱乐市场，出现在真人秀、电影、电视剧中，进一步突显其“监控无盲点、角度也随性”的替代人工作业及其灵活、高效、低开销的应用价值。而随着无人机产业逐年增势，促进国内电子产业链的成熟，达到企业规模化生产，生产成本也在逐年降低。在此背景下，以消费级无人机作为切入点，一方面希望通过提供无人机用的计算机视觉解决方案来抓住业务发展契机，能够将项目的成果在行业内得以推广。另一方面，在相关硬件和生产环境已经成熟的情况下，合理规划及发布自行研发的无人机。以自我跟随拍摄、动作施控、自动避障等视频技术为核心竞争力，以推入市场。 在军用方面，无人系统已经成为现代战争的大趋势。目前，装备发展部已经推出了多个无人系统的重大专项，我们所研发的关键技术，可以移植于无人作战系统中，为提升军队的战斗力做出贡献。