码住！get智能质检模型设计指南，快速提升保险服务质效

营销服务人员的工作流程是否合规？如何提升营销服务话术水平？如何降低客户投诉率？

面对提升客户体验和完成营销指标的双重压力，企业对服务质量的要求越发严格。为此，企业不断加大对建设智能质检系统的投入，以期通过这块检验服务质量的 “试金石”，达成提升客户体验、降低运营成本、促进营销转化的目标，充分激发客户资源的价值，确保企业长足持续发展。

基于中关村科金为众多行业头部企业搭建智能质检体系的服务经验来看，质检模型的设计决定着智能质检的准确率和召回率，是影响质检效果的关键因素。根据多个智能质检交付项目的实践经验，以保险行业为例，中关村科金总结了一套智能质检模型设计思路及优化方法。

一、质检项梳理

1、根据不同的场景，将质检项分为通用场景类和业务场景类

通用场景类适用于所有需要质检的录音文件，质检项通常包括规范开头语、静默搁置客户、抢插话、规范结束语、不文明用语、反问客户等；

业务场景类会根据涉及场景有不同的质检项，例如车险报案场景的质检项包括出险时间、出险地点、驾驶员等；车险结案回访场景的质检项包括确认身份、是否清楚案件、是否收到赔款、理赔是否满意等。

2、将人工质检点转换为智能质检项

依托过往的项目服务经验，准确率更高的智能质检模型，其质检项一般具备客观、可量化、有固定或常用话术、有大量语料积累等特点，因此在将人工质检点转换为智能质检项时要尽可能地以量化指标，给予客观明确的判断依据。

例如：

固定话术：针对开场语、结束语等标准话术流程的质检项，通常以客观的固定话术为标准，来判定服务过程是否合规；

量化指标：在客服场景中，坐席的对话语速是最常见的质检项。为确保智能质检的准确率，需要通过量化指标定义语速快慢，比如语速大于400字/分钟，则语速过快，视为违规；

大量的语料支撑：以客服场景中的坐席真诚耐心度为例，该质检项的判定标准较为主观，因此在构建智能质检模型时，需要对客户侧和坐席侧的大量语料分别进行NLP训练，用NLP模型判断服务效果。

3、确定评分和方式

设置智能质检模型的评分标准，当模型被命中后，将根据评分标准进行加减分。

二、质检模型设计

1、拆分质检项为意图

将质检模型拆分为一个或多个单句检测算子，一个意图对应一个算子。例如在车险报案场景中，将“出险时间”质检项拆分为坐席侧意图——询问出险时间，客户侧意图——主动告知出险时间，排除场景——补录挂车场景等；

2、准备语料

依靠参考话术、历史录音等数据，为每个意图准备充足的语料。例如，车险报案场景的 “出险时间”质检项，针对坐席侧意图“询问出险时间”，可添加引用“什么时间发生的？发生多长时间了？刚发生的事故吗？”等语料；

3、正则编写或NLP训练

“关键词+正则”可快速适配基础业务场景，前期成本较低；“语义模型（NLP）”质检无需懂业务的稀缺人才编写运行及迭代规则，普通业务/运营人员可快速进行数据标注，训练算法模型。企业可根据不同的业务场景选择合适的质检方法。

正则编写：将准备好的语料进行正则转写，主要分为提取关键词，关键词扩写，语句格式扩写等3个步骤；

NLP训练：将收集的语料完成数据标注后进行NLP训练，在模型配置中调用即可。

4、质检模型配置

将正则意图和NLP语料标签按照逻辑关系在系统中进行配置。

例如：车险报案场景中“出险时间”的质检模型，如果坐席侧未询问出险时间，客户侧也未主动告知出险时间，并且排除掉补录挂车场景等，那么，模型命中的就是违规录音。

三、模型测试和优化

1、建立测试数据集

依托人工已标注出是否违规的质检项录音（通常100-200条，包含正例和反例），建立测试数据集；

2、验证结果分析

测试结束后，若智能质检结果与人工质检结果不一致，则进行badcase分析。通常导致结果不一致的原因包括正则语料没覆盖，上下文语义不符，ASR转译错误，ASR断句问题等；

3、模型优化

根据badcase的分析结果，优化质检模型。通过增加正则语料、增加排除语料或排除场景、进行ASR标注等方式，不断验证质检模型的准确率和覆盖率是否达标；

4、模型上线及持续调优

当固定测试集时，质检模型准确率和召回率达到85%-90%以上，就可在实际的业务场景中进行验证。在模型上线前期，通过智能质检与人工质检辅助的人机协同方式，不断检出badcase并持续调优，并定期导出报表分析数据，总结不足，提炼优秀经验，确保质检有的放矢。

得助智能质检助力保险企业快速建立质检规范，全面提升质检运营效率

值得注意的是，在项目实施中，从业务需求分析、质检点梳理、质检模型设计及测试到最后的上线优化，都需要完整记录各流程环节数据，便于运营人员快速熟悉模型配置逻辑，提升模型优化效率，更好地赋能营销服务能力升级。

作为国内领先的对话式AI技术解决方案提供商，中关村科金自研的得助智能质检已在银行、保险、零售、政务等多个行业拥有成熟的应用实践，助力苏宁银行、永安保险、喜马拉雅、步步高、瑞幸咖啡等多家行业头部企业完善质检流程，全面提升客服效率与用户体验。在为国内某知名财产保险企业部署得助智能质检系统的实践中，中关村科金助力该企业实现智能质检升级，并建立起质检模型规则记录规范，快速完成十几个质检场景的规则梳理，实现了质检模型的记录和归档不依赖于质检系统，便于模型配置和优化人员快速上手使用，全面提升质检运营效率。

随着人工智能技术的发展，智能质检能够逐渐将质检人员从重复琐碎的工作中解放出来，并有效提升质检效率和服务质量。质检系统在企业检验服务的道路上，将发挥越来越重要的“试金石”价值。

中关村科金将持续打磨产品技术实力，助力企业降低合规风险，提升风险管控能力。通过分析筛选出特定的业务场景，识别有价值的服务数据；挖掘高频问题，不断优化改善服务能力，有效降低客户投诉率；辅助企业深度分析客户诉求，实现增值服务，全面提升客户满意度。