预训练大型语言模型(LLM)市民服务热线系统的改进

纯金属外壳 男,78年生,现居上海。 14 人赞同了该回答

  1. 背景 某市市民服务热线系统每月需要处理约9万余条各类咨询、投诉事件。这些事件由坐席人员统一登记、分拨及跟进。坐席需要及时根据登记的内容,将事件分派到对应的组织部门进行后续处置。

  2. 挑战 事件共有16种一级分类,100多种二级分类和接近600种三级分类。对事件准确分类十分不易,非常依赖坐席人员的经验和技能。即使经过严格培训的坐席人员也难以保证第一时间准确的将事件准确识别并分拨。过去首次分类准确性不足70%。错分事件需要退回重分,进而导致事件处置延迟,影响市民满意度。手工分拨的方式在事件高峰时也会造成积压。采用先进技术,提升事件的分拨处理准确性及效率,降低对人工的依赖对于提升运营效率有极大的价值。

  3. 方案 该市也曾经尝试采用传统NLP技术对事件进行分类,但效果不佳。预训练大型语言模型(LLM)的出现为问题的解决提供了新的路径。理论上利用LLM自身强大的NLP能力,再根据历史数据进行微调,能够根据登记的文本描述对事件进行准确分类。同时,可以利用大型语言模型实现精确的语义检索,为坐席提供更精确的知识库访问;大型语言模型还能够提升态势感知