基于客服对话的产品和服务质量分析

doi:10.11772/j.issn.1001-9081.2022010073

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (11): 3527-3533.DOI: 10.11772/j.issn.1001-9081.2022010073

所属专题： CCF 2021中国数字服务大会

• CCF 2021中国数字服务大会 • 上一篇下一篇

基于客服对话的产品和服务质量分析

张家菊, 林慧苹()

北京大学软件与微电子学院，北京，102600

收稿日期:2022-01-20 修回日期:2022-04-15 接受日期:2022-04-21 发布日期:2022-05-17 出版日期:2022-11-10
通讯作者: 林慧苹
作者简介:张家菊（1996—），女，吉林榆树人，硕士研究生，主要研究方向：数据挖掘、服务质量分析、自然语言处理
林慧苹（1974—），女，福建仙游人，副教授，博士，CCF会员，主要研究方向：数据挖掘、智能制造。 linhp@ss.pku.edu.cn
基金资助:
国家重点研发计划项目(2018YFB1702900)

Product and service quality analysis based on customer service dialogues

Jiaju ZHANG, Huiping LIN()

School of Software and Microelectronics，Peking University，Beijing 102600，China

Received:2022-01-20 Revised:2022-04-15 Accepted:2022-04-21 Online:2022-05-17 Published:2022-11-10
Contact: Huiping LIN
About author:ZHANG Jiaju， born in 1996， M. S. candidate. Her research interests include data mining， service quality analysis， natural language processing
LIN Huiping， born in 1974， Ph. D.， associate professor. Her research interests include data mining， intelligent manufacturing.
Supported by:
National Key Research and Development Program of China(2018YFB1702900)

摘要/Abstract

摘要：

现有的产品和服务质量分析常通过问卷调查或利用商品评论，但存在问卷收集难度大、商品评论中存在无效数据等问题。客服对话作为顾客与商家之间沟通的桥梁，包含了丰富的顾客意见，覆盖了从产品到服务的多个方面，然而现在利用客服对话分析产品和服务质量的研究还较少。提出了一种基于客服对话的产品和服务质量分析方法，首先结合产品特征和服务蓝图，确定产品和服务质量的评价要素，并结合重要性?满意度分析（IPA）法定义评价要素的重要性和满意度指标；然后对客服对话进行主题提取和情感分析，定量分析产品和服务的重要性和满意度。以某消毒除菌产品淘宝旗舰店的真实客服对话为例应用了该方法，建立了18个评价要素，并基于90余万条真实的历史客服对话对评价要素的重要性和满意度进行了量化，从而分析旗舰店产品和服务的质量。最后通过对专业客服的问卷调研，验证了所提方法的有效性。

关键词: 客服对话, 质量分析, 重要性, 满意度, 主题提取, 情感分析

Abstract:

Existing product and service quality analysis is often based on questionnaire survey or product reviews， but there are problems such as difficulty in questionnaire collection and invalid data in product reviews. As a bridge between customers and businesses， the customer service dialogue contains rich customer opinions from product to service perspective， however， there are still few studies using customer service dialogues to analyze product and service quality. A product and service quality analysis method based on customer service dialogues was proposed， which firstly combined the product features and service blueprint to determine product and service quality evaluation factors， and used the Important?Performance Analysis （IPA） method to define the importance and performance index of evaluation factors. Then， quantitative analysis of the importance and satisfaction of products and services was performed by using the dialogue topic extraction and sentiment analysis. The method was applied on the real customer service dialogues of a Taobao flagship store which sells disinfection and sterilization products， and 18 evaluation factors were established， whose importance and performance were quantified based on more than 900 thousand real historical customer service dialogues， thereby analyzing the quality of products and services of the flagship store. Finally， a questionnaire on the professional customer service employees was carried out to verify the effectiveness of the proposed method.

Key words: customer service dialogue, quality analysis, importance, performance, topic extraction, sentiment analysis

中图分类号:

TP311

张家菊, 林慧苹. 基于客服对话的产品和服务质量分析[J]. 计算机应用, 2022, 42(11): 3527-3533.

Jiaju ZHANG, Huiping LIN. Product and service quality analysis based on customer service dialogues[J]. Journal of Computer Applications, 2022, 42(11): 3527-3533.

图/表 13

图1 产品和服务质量分析流程

Fig. 1 Flow of product and service quality analysis

图2 电商服务蓝图

Fig. 2 E?commerce service blueprint

图3 基于扩展锚定词集的客服对话主题提取流程

Fig. 3 Flow of customer service dialogue topic extraction based on extended anchored word set

表1 某旗舰店的产品和服务质量评价要素定义

Tab. 1 Product and service evaluation factors definition for a flagship shop

产品		服务
编号	评价要素	编号	评价要素
$k 1$	产品颜色	$k 10$	咨询响应性
$k 2$	产品气味	$k 11$	系统稳定性
$k 3$	产品功效	$k 12$	发货及时性
$k 4$	产品用法	$k 13$	发货正确性
$k 5$	生产日期	$k 14$	运输时效性
$k 6$	保质期	$k 15$	配送服务水平
$k 7$	产品价格	$k 16$	货品完好性
$k 8$	产品规格	$k 17$	退换货响应性
$k 9$	产品包装	$k 18$	补偿性

表1 某旗舰店的产品和服务质量评价要素定义

Tab. 1 Product and service evaluation factors definition for a flagship shop

产品		服务
编号	评价要素	编号	评价要素
$k 1$	产品颜色	$k 10$	咨询响应性
$k 2$	产品气味	$k 11$	系统稳定性
$k 3$	产品功效	$k 12$	发货及时性
$k 4$	产品用法	$k 13$	发货正确性
$k 5$	生产日期	$k 14$	运输时效性
$k 6$	保质期	$k 15$	配送服务水平
$k 7$	产品价格	$k 16$	货品完好性
$k 8$	产品规格	$k 17$	退换货响应性
$k 9$	产品包装	$k 18$	补偿性

图4 不同主题模型的实验结果对比

Fig. 4 Comparison of experimental results of different topic models

表2 各评价要素的对话数量

Tab. 2 Dialogue number of each evaluation factor

产品		服务
编号	对话数量	编号	对话数量
$k 1$	69	$k 10$	105
$k 2$	437	$k 11$	24
$k 3$	698	$k 12$	1 260
$k 4$	1 444	$k 13$	3 646
$k 5$	48	$k 14$	4 203
$k 6$	72	$k 15$	2 101
$k 7$	3 372	$k 16$	4 889
$k 8$	251	$k 17$	2 481
$k 9$	42	$k 18$	132

表2 各评价要素的对话数量

Tab. 2 Dialogue number of each evaluation factor

产品		服务
编号	对话数量	编号	对话数量
$k 1$	69	$k 10$	105
$k 2$	437	$k 11$	24
$k 3$	698	$k 12$	1 260
$k 4$	1 444	$k 13$	3 646
$k 5$	48	$k 14$	4 203
$k 6$	72	$k 15$	2 101
$k 7$	3 372	$k 16$	4 889
$k 8$	251	$k 17$	2 481
$k 9$	42	$k 18$	132

表3 不同情感分析模型的实验结果对比

Tab. 3 Comparison of experimental results of different sentiment analysis models

模型	精确率	召回率	F1值
BERT	0.911 6	0.902 4	0.906 8
BiLSTM	0.892 3	0.886 5	0.889 3
TextCNN	0.878 2	0.891 8	0.884 9
DialogueRNN	0.921 3	0.914 7	0.917 9

表4 对话满意度得分计算结果示例

Tab. 4 Examples of dialogue sentiment score calculation result

对话示例	满意度得分
“给宝宝用的，味道有些重了”	0.762 7
“这个味道怎么这么刺鼻啊”	0.982 5
“这两个味道的功效有区别吗？”	0.001 3

表5 各评价要素的重要性得分和满意度的计算结果

Tab. 5 Calculation results of importance and performance of each evaluation factor

评价要素	重要性	满意度	评价要素	重要性	满意度
$k 1$	0.002 9	0.576 2	$k 10$	0.004 4	0.624 6
$k 2$	0.018 1	0.743 9	$k 11$	0.001 0	0.821 7
$k 3$	0.028 9	0.400 3	$k 12$	0.052 2	0.423 6
$k 4$	0.059 8	0.373 2	$k 13$	0.150 9	0.748 1
$k 5$	0.002 0	0.676 3	$k 14$	0.174 0	0.688 5
$k 6$	0.002 9	0.183 7	$k 15$	0.086 9	0.763 9
$k 7$	0.139 6	0.801 2	$k 16$	0.202 4	0.916 1
$k 8$	0.010 4	0.102 8	$k 17$	0.102 7	0.548 0
$k 9$	0.001 7	0.410 6	$k 18$	0.005 5	0.310 6

表5 各评价要素的重要性得分和满意度的计算结果

Tab. 5 Calculation results of importance and performance of each evaluation factor

评价要素	重要性	满意度	评价要素	重要性	满意度
$k 1$	0.002 9	0.576 2	$k 10$	0.004 4	0.624 6
$k 2$	0.018 1	0.743 9	$k 11$	0.001 0	0.821 7
$k 3$	0.028 9	0.400 3	$k 12$	0.052 2	0.423 6
$k 4$	0.059 8	0.373 2	$k 13$	0.150 9	0.748 1
$k 5$	0.002 0	0.676 3	$k 14$	0.174 0	0.688 5
$k 6$	0.002 9	0.183 7	$k 15$	0.086 9	0.763 9
$k 7$	0.139 6	0.801 2	$k 16$	0.202 4	0.916 1
$k 8$	0.010 4	0.102 8	$k 17$	0.102 7	0.548 0
$k 9$	0.001 7	0.410 6	$k 18$	0.005 5	0.310 6

图5 产品质量的IPA象限图

Fig. 5 IPA quadrant diagram of product quality

图6 服务质量的IPA象限图

Fig. 6 IPA quadrat diagram of service quality

图7 本文方法与问卷调研得到的重要性对比

Fig. 7 Comparison of importance obtained by proposed method and questionnaire

图8 本文方法与问卷调研得到的满意度对比

Fig. 8 Comparison of performance obtained by proposed method and questionnaire

参考文献 26

1	QI J Y， ZHANG Z P， JEON S， et al. Mining customer requirements from online reviews： a product improvement perspective［J］. Information and Management， 2016， 53（8）： 951-963. 10.1016/j.im.2016.06.002
2	KAUFFMANN E， PERAL J， GIL D， et al. Managing marketing decision‑making with sentiment analysis： an evaluation of the main product features using text data mining［J］. Sustainability， 2019， 11（15）： No.4235. 10.3390/su11154235
3	WANG Y， MO D Y， TSENG M M. Mapping customer needs to design parameters in the front end of product design by applying deep learning［J］. CIRP Annals — Manufacturing Technology， 2018， 67（1）： 145-148. 10.1016/j.cirp.2018.04.018
4	李璐旸，秦兵，刘挺. 虚假评论检测研究综述［J］. 计算机学报， 2018， 41（4）： 946-968. 10.11897/SP.J.1016.2018.00946
	LI L Y， QIN B， LIU T. Survey on fake review detection research［J］. Chinese Journal of Computers， 2018， 41（4）： 946-968. 10.11897/SP.J.1016.2018.00946
5	PARASURAMAN A， ZEITHAML V A， BERRY L L. A conceptual model of service quality and its implications for future research［J］. Journal of Marketing， 1985， 49（4）：41-50. 10.1177/002224298504900403
6	CORNIN J J， Jr.， TAYLOR S A. Measuring service quality： a reexamination and extension［J］. Journal of Marketing， 1992， 56（3）：55-68. 10.1177/002224299205600304
7	贺可太，朱道云. 云制造服务质量评价［J］. 计算机集成制造系统， 2018， 24（1）：53-62.
	HE K T， ZHU D Y. Quality evaluation of cloud manufacturing service［J］. Computer Integrated Manufacturing Systems， 2018， 24（1）：53-62.
8	CHEN D D， ZHANG D W， LIU A. Intelligent Kano classification of product features based on customer reviews［J］. CIRP Annals — Manufacturing Technology， 2019， 68（1）：149-152. 10.1016/j.cirp.2019.04.046
9	MARTILLA J A， JAMES J C. Importance‑performance analysis［J］. Journal of Marketing， 1977， 41（1）： 77-79. 10.1177/002224297704100112
10	IRMA， RIDWAN M， KASIM K. Implementation of Importance Performance Analysis （IPA） towards the quality of duck products in a begos restaurant［J］. Hasanuddin Journal of Animal Science， 2020， 2（1）： 34-42. 10.1088/1755-1315/788/1/012216
11	LI S， XIAO Q. Classification and improvement strategy for design features of mobile tourist guide application： a Kano‑IPA approach［J］. Mobile Information Systems， 2020， 2020： No.8816130. 10.1155/2020/8816130
12	孔祥芬，陈鹏. 改进的Kano模型和IPA模型的综合应用探索——以民航航班延误服务为例［J］. 工业工程， 2017， 20（3）：9-14. 10.3969/j.issn.1007-7375.e16-1237
	KONG X F， CHEN P. Comprehensive application of improved Kano model and IPA model — taking the civil aviation flight delay service as an example［J］. Industrial Engineering Journal， 2017， 20（3）： 9-14. 10.3969/j.issn.1007-7375.e16-1237
13	MAZZA BASYA M， UTAMI B S A. Analisis SWOT dengan model Importance Performance Analysis （IPA） pada layanan fintech bank Syariah di Indonesia［J］. el‑Qist： Journal of Islamic Economics and Business， 2020， 10（2）： 179-191. 10.15642/elqist.2020.10.2.179-191
14	LANDAUER T K， FOLTZ P W， LAHAM D. An introduction to latent semantic analysis［J］. Discourse Processes， 1998， 25（2/3）： 259-284. 10.1080/01638539809545028
15	HOFMANN T. Unsupervised learning by probabilistic latent semantic analysis［J］. Machine Learning， 2001， 42（1/2）： 177-196. 10.1023/a:1007617005950
16	BLEI D M， NG A Y， JORDAN M I. Latent Dirichlet allocation［J］. Journal of Machine Learning Research， 2003， 3： 993-1022.
17	YAN X H， GUO J F， LAN Y Y， et al. A biterm topic model for short texts［C］// Proceedings of the 22nd International Conference on World Wide Web. New York： ACM， 2013：1445-1456. 10.1145/2488388.2488514
18	ANDRZEJEWSKI D， ZHU X J， CRAVEN M. Incorporating domain knowledge into topic modeling via Dirichlet forest priors［C］// Proceedings of the 26th International Conference on Machine Learning. New York： ACM， 2009： 25-32. 10.1145/1553374.1553378
19	ANDRZEJEWSKI D， ZHU X J. Latent Dirichlet allocation with topic‑in‑set knowledge［C］// Proceedings of the NAACL HLT 2009 Workshop on Semi‑Supervised Learning for Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2009： 43-48. 10.3115/1621829.1621835
20	GALLAGHER R J， REING K， KALE D， et al. Anchored correlation explanation： topic modeling with minimal domain knowledge［J］. Transactions of the Association for Computational Linguistics， 2017， 5： 529-542. 10.1162/tacl_a_00078
21	HAMEED Z， GARCÍA‑ZAPIRAIN B. Sentiment classification using a single‑layered BiLSTM model［J］. IEEE Access， 2020， 8： 73992-74001. 10.1109/access.2020.2988550
22	YUAN X P， LI Y W， XUE Z， et al. Financial sentiment analysis based on pre‑training and TextCNN［C］// Proceedings of the 2020 Chinese Intelligent Systems Conference， LNEE 706. Singapore： Springer， 2021： 48-56.
23	BISWAS E， KARABULUT M E， POLLOCK L， et al. Achieving reliable sentiment analysis in the software engineering domain using BERT［C］// Proceedings of the 2020 IEEE International Conference on Software Maintenance and Evolution. Piscataway： IEEE， 2020： 162-173. 10.1109/icsme46990.2020.00025
24	DE SOUSA M G， SAKIYAMA K， RODRIGUES L D S， et al. BERT for stock market sentiment analysis［C］// Proceedings of the IEEE 31st International Conference on Tools with Artificial Intelligence. Piscataway： IEEE， 2019： 1589-1593. 10.1109/ictai.2019.00231
25	MAJUMDER N， PORIA S， HAZARIKA D， et al. DialogueRNN： an attentive RNN for emotion detection in conversations［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 6818-6825. 10.1609/aaai.v33i01.33016818
26	LYNN SHOSTACK G. How to design a service［J］. European Journal of Marketing， 1982， 16（1）：49-63. 10.1108/eum0000000004799

[1]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[2]	柯添赐, 刘建华, 孙水华, 郑智雄, 蔡子杰. 融合强关联依赖和简洁语法的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1786-1795.
[3]	高龙涛, 李娜娜. 基于方面感知注意力增强的方面情感三元组抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1049-1057.
[4]	杨先凤, 汤依磊, 李自强. 基于交替注意力机制和图卷积网络的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1058-1064.
[5]	郭磊, 贾真, 李天瑞. 面向方面级情感分析的交互式关系图注意力网络[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 696-701.
[6]	颜超英, 张紫仪, 曲映楠, 李秋禹, 郑地翔, 孙丽珺. 基于联盟链的双向拍卖碳交易[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3240-3245.
[7]	李言博, 何庆, 陆顺意. 融合语义和句法信息的方面情感三元组抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3275-3280.
[8]	陈丽安, 过弋. 融合个体偏差信息的文本情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 145-151.
[9]	罗俊豪, 朱焱. 用于未对齐多模态语言序列情感分析的多交互感知网络[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 79-85.
[10]	张心月, 刘蓉, 魏驰宇, 方可. 融合提示知识的方面级情感分析方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2753-2759.
[11]	衡红军, 杨鼎诚. 知识增强的方面词交互图神经网络[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2412-2419.
[12]	郑智雄, 刘建华, 孙水华, 徐戈, 林鸿辉. 融合多窗口局部信息的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1796-1802.
[13]	方澄, 李贝, 韩萍, 吴琼. 基于语法依存图的中文微博细粒度情感分类[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1056-1061.
[14]	徐丹, 龚红仿, 罗容容. 具有方面项和上下文表示的方面情感分析[J]. 《计算机应用》唯一官方网站, 2023, 43(10): 3086-3092.
[15]	刘辉, 马祥, 张琳玉, 何如瑾. 融合匹配长短时记忆网络和语法距离的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 45-50.

基于客服对话的产品和服务质量分析

Product and service quality analysis based on customer service dialogues

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 26

相关文章 15

编辑推荐

Metrics