基于差分隐私的广告推荐算法

doi:10.11772/j.issn.1001-9081.2023010106

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (11): 3346-3350.DOI: 10.11772/j.issn.1001-9081.2023010106

• 2022年全国开放式分布与并行计算学术年会(DPCS 2022) • 上一篇下一篇

基于差分隐私的广告推荐算法

田蕾¹^,², 葛丽娜²^,³^,⁴()

^1.广西民族大学电子信息学院，南宁 530006
^2.广西民族大学网络通信工程重点实验室，南宁 530006
^3.广西民族大学人工智能学院，南宁 530006
^4.广西混杂计算与集成电路设计分析重点实验室（广西民族大学），南宁 530006

收稿日期:2023-02-10 修回日期:2023-04-10 接受日期:2023-04-11 发布日期:2023-11-14 出版日期:2023-11-10
通讯作者: 葛丽娜
作者简介:田蕾（1998—），女，山东邹城人，硕士研究生，CCF会员，主要研究方向：差分隐私、推荐算法
葛丽娜（1969—），女，广西环江人，教授，博士，CCF高级会员，主要研究方向：信息安全、机器学习。 66436539@qq.com
基金资助:
国家自然科学基金资助项目(61862007)

Advertising recommendation algorithm based on differential privacy

Lei TIAN¹^,², Lina GE²^,³^,⁴()

^1.College of Electronic Information，Guangxi Minzu University，Nanning Guangxi 530006，China
^2.Key Laboratory of Network Communication Engineering，Guangxi Minzu University，Nanning Guangxi 530006，China
^3.School of Artificial Intelligence，Guangxi Minzu University，Nanning Guangxi 530006，China
^4.Guangxi Key Laboratory of Hybrid Computation and IC Design Analysis （Guangxi Minzu University），Nanning Guangxi 530006，China

Received:2023-02-10 Revised:2023-04-10 Accepted:2023-04-11 Online:2023-11-14 Published:2023-11-10
Contact: Lina GE
About author:TIAN Lei， born in 1998， M. S. candidate. Her research interests include differential privacy， recommendation algorithm.
GE Lina， born in 1969， Ph. D.， professor. Her research interests include information security， machine learning.
Supported by:
National Natural Science Foundation of China(61862007)

摘要/Abstract

摘要：

随着移动互联网行业进入快速发展阶段，用户数据以及浏览数据大幅增加，所以准确把握用户潜在需求和提高广告推荐效果显得极其重要。DeepFM模型作为目前较为先进的推荐方法，可以从原始特征中抽取到各种复杂度特征，但模型没有对数据进行防护。为了在DeepFM模型中实现隐私保护，提出一种基于差分隐私的DeepFM模型——DP-DeepFM，在模型训练过程中将高斯噪声加入Adam优化算法中，并进行梯度裁剪，防止加入噪声过大引发模型性能下降。在广告Criteo数据集上的实验结果表明，与DeepFM相比，DP-DeepFM的准确率仅下降了0.44个百分点，但它能提供差分隐私保护，更具安全性。

Abstract:

With the rapid development of the mobile Internet industry， user data and browsing data have increased significantly， so it is extremely important to accurately grasp the potential needs of users and improve the effect of advertisement recommendation. As a relatively advanced recommendation method at present， DeepFM model can extract various complexity features from the original features， but the model does not protect the data. In order to realize the privacy protection in DeepFM model， a new DeepFM model based on Differential Privacy （DP） was proposed， namely DP-DeepFM. The Gaussian noise was added to Adam optimization algorithm in the training process of DP-DeepFM and the gradient clipping was performed to prevent the addition of excessive noise causing poor model performance. Experimental results on advertising dataset Criteo show that compared with DeepFM， DP-DeepFM only has the accuracy decreased by 0.44 percentage points， but it provides differential privacy protection and is more secure.

Key words: Differential Privacy (DP), recommendation algorithm, gradient descent, deep learning, Adam optimization algorithm

中图分类号:

TP302.1

田蕾, 葛丽娜. 基于差分隐私的广告推荐算法[J]. 计算机应用, 2023, 43(11): 3346-3350.

Lei TIAN, Lina GE. Advertising recommendation algorithm based on differential privacy[J]. Journal of Computer Applications, 2023, 43(11): 3346-3350.

图/表 4

图1 DeepFM模型框图

Fig. 1 Block diagram of DeepFM model

图2 梯度扰动流程

Fig. 2 Flowchart of gradient perturbation

表1 模型性能比较

Tab. 1 Comparison of model performance

模型	AUC	Logloss
FM	0.789 2	0.460 7
DeepFM	0.800 7	0.450 8
EDIF	0.800 2	0.451 3
DP‑DeepFM	0.796 3	0.457 8

图3 不同差分隐私方案对模型准确率和Logloss的影响

Fig. 3 Influence of different differential privacy schemes on model accuracy and Logloss

参考文献 25

1	陈检. 基于神经网络与因子分解机的点击率预估应用研究［J］. 信息技术与信息化， 2018（8）： 204-207. 10.3969/j.issn.1672-9528.2018.08.063
	CHEN J. Application research of click rate estimation based on neural network and factor decomposition machine［J］. Information Technology and Informatization， 2018（8）： 204-207. 10.3969/j.issn.1672-9528.2018.08.063
2	WANG Y， BI X， QU A. A logistic factorization model for recommender systems with multinomial responses［J］. Journal of Computational and Graphical Statistics， 2020， 29（2）： 396-404. 10.1080/10618600.2019.1665535
3	孙晓寒，张莉. 基于评分区域子空间的协同过滤推荐算法［J］. 计算机科学， 2022， 49（7）： 50-56. 10.11896/jsjkx.210600062
	SUN X H， ZHANG L. Collaborative filtering recommendation algorithm based on rating region subspace［J］. Computer Science， 2022， 49（7）： 50-56. 10.11896/jsjkx.210600062
4	田震，潘腊梅，尹朴，等. 深度矩阵分解推荐算法［J］. 软件学报， 2021， 32（12）： 3917-3928.
	TIAN Z， PAN L M， YIN P， et al. Deep matrix factorization recommendation algorithm［J］. Journal of Software， 2021， 32（12）：3917-3928.
5	ZHANG H， ZHONG H， BAI W， et al. Cross-platform rating prediction method based on review topic［J］. Future Generation Computer Systems， 2019， 101： 236-245. 10.1016/j.future.2019.06.021
6	SHAO Y， WANG C. HIBoosting： a recommender system based on a gradient boosting machine［J］. IEEE Access， 2019， 7： 171013-171022. 10.1109/access.2019.2956342
7	XU J， HE X， LI H. Deep learning for matching in search and recommendation［J］. Foundations and Trends® in Information Retrieval， 2020， 14（2/3）： 102-288. 10.1561/1500000076
8	WILSON C M， FRIDLEY B L， CONEJO-GARCIA J R， et al. Wide and deep learning for automatic cell type identification［J］. Computational and Structural Biotechnology Journal， 2021， 19： 1052-1062. 10.1016/j.csbj.2021.01.027
9	GUO H， TANG R， YE Y， et al. DeepFM： a factorization-machine based neural network for CTR prediction［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2017： 1725-1731. 10.24963/ijcai.2017/239
10	FREDRIKSON M， JHA S， RISTENPART T. Model inversion attacks that exploit confidence information and basic countermeasures［C］// Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security. New York： ACM， 2015： 1322-1333. 10.1145/2810103.2813677
11	HINDS J， WILLIAMS E J， JOINSON A N. “It wouldn’t happen to me”： privacy concerns and perspectives following the Cambridge Analytica scandal［J］. International Journal of Human-Computer Studies， 2020， 143： No.102498. 10.1016/j.ijhcs.2020.102498
12	SHOKRI R， STRONATI M， SONG C， et al. Membership inference attacks against machine learning models［C］// Proceedings of the 2017 IEEE Symposium on Security and Privacy. Piscataway： IEEE， 2017： 3-18. 10.1109/sp.2017.41
13	熊平，朱天清，王晓峰. 差分隐私保护及其应用［J］. 计算机学报， 2014， 37（1）： 101-122. 10.3724/SP.J.1016.2014.00101
	XIONG P， ZHU T Q， WANG X F. A survey on differential privacy and applications［J］. Chinese Journal of Computers， 2014， 37（1）： 101-122. 10.3724/SP.J.1016.2014.00101
14	胡雨谷，葛丽娜. 一种改进的差分隐私参数设置及数据优化算法［J］. 计算机工程与科学， 2021， 43（10）： 1758-1765. 10.3969/j.issn.1007-130X.2021.10.007
	HU Y G， GE L N. An improved differential privacy parameter setting and data optimization algorithm［J］. Computer Engineering and Science， 2021， 43（10）： 1758-1765. 10.3969/j.issn.1007-130X.2021.10.007
15	McSHERRY F， MIRONOV I. Differentially private recommender systems： building privacy into the Netflix Prize contenders［C］// Proceedings of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2009： 627-636. 10.1145/1557019.1557090
16	REN J， XU X， YAO Z， et al. Recommender systems based on autoencoder and differential privacy［C］// Proceedings of the IEEE 43rd Annual Computer Software and Applications Conference. Piscataway： IEEE， 2019： 358-363. 10.1109/compsac.2019.00059
17	ZHU T， YE D， WANG W， et al. More than privacy： applying differential privacy in key areas of artificial intelligence［J］. IEEE Transactions on Knowledge and Data Engineering， 2022， 34（6）： 2824-2843.
18	ABADI M， CHU A， GOODFELLOW I， et al. Deep learning with differential privacy［C］// Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security. New York： ACM， 2016： 308-318. 10.1145/2976749.2978318
19	张啸剑，孟小峰. 面向数据发布和分析的差分隐私保护［J］. 计算机学报， 2014， 37（4）： 927-949. 10.3724/SP.J.1016.2014.00927
	ZHANG X J， MENG X F. Differential privacy in data publishing and analysis［J］. Chinese Journal of Computers， 2014， 37（4）： 927-949. 10.3724/SP.J.1016.2014.00927
20	BU Z， DONG J， LONG Q， et al. Deep learning with Gaussian differential privacy［J］. Harvard Data Science Review， 2020， 2（3）： No.cfc5dd25.
21	李杨，温雯，谢光强. 差分隐私保护研究综述［J］. 计算机应用研究， 2012， 29（9）： 3201-3205， 3211. 10.3969/j.issn.1001-3695.2012.09.001
	LI Y， WEN W， XIE G Q. Survey of research on differential privacy［J］. Application Research of Computers， 2012， 29（9）： 3201-3205， 3211. 10.3969/j.issn.1001-3695.2012.09.001
22	KINGMA D P， BA J L. Adam： a method for stochastic optimization［EB/OL］. （2017-01-30）［2023-08-03］..
23	李敏，李红娇，陈杰. 差分隐私保护下的Adam优化算法研究［J］. 计算机应用与软件， 2020， 37（6）： 253-258， 296. 10.3969/j.issn.1000-386x.2020.06.044
	LI M， LI H J， CHEN J. Adam optimization algorithm based on differential privacy protection［J］. Computer Applications and Software， 2020， 37（6）： 253-258， 296. 10.3969/j.issn.1000-386x.2020.06.044
24	RENDLE S. Factorization machines［C］// Proceedings of the 2010 IEEE International Conference on Data Mining. Piscataway： IEEE， 2010， 995-1000. 10.1109/icdm.2010.127
25	YANG L， ZHENG W， XIAO Y. Exploring different interaction among features for CTR prediction［J］. Soft Computing， 2022， 26（13）： 6233-6243. 10.1007/s00500-022-07149-x

[1]	何子仪, 杨燕, 张熠玲. 深度融合多视图聚类网络[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2651-2656.
[2]	潘润超, 虞启山, 熊泓霏, 刘智慧. 基于深度图神经网络的协同推荐算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2741-2746.
[3]	张涵钰, 李振波, 李蔚然, 杨普. 基于机器视觉的水产养殖计数研究综述[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2970-2982.
[4]	陈俊韬, 朱子奇. 基于多尺度特征提取与融合的图像复制-粘贴伪造检测[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2919-2924.
[5]	李校林, 杨松佳. 基于深度学习的多用户毫米波中继网络混合波束赋形[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2511-2516.
[6]	王一, 谢杰, 程佳, 豆立伟. 基于深度学习的RGB图像目标位姿估计综述[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2546-2555.
[7]	郭祥, 姜文刚, 王宇航. 基于改进Inception-ResNet的加密流量分类方法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2471-2476.
[8]	崔雨萌, 王靖亚, 刘晓文, 闫尚义, 陶知众. 融合注意力和裁剪机制的通用文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2396-2405.
[9]	张琨, 杨丰玉, 钟发, 曾广东, 周世健. 基于混合代码表示的源代码脆弱性检测[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2517-2526.
[10]	拓雨欣, 薛涛. 融合指针网络与关系嵌入的三元组联合抽取模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2116-2124.
[11]	梁敏, 刘佳艺, 李杰. 融合迭代反馈与注意力机制的图像超分辨重建方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2280-2287.
[12]	叶坤佩, 熊熙, 丁哲. 基于领域融合和时间权重的招工推荐模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2133-2139.
[13]	郑帅, 张晓龙, 邓鹤, 任宏伟. 基于多尺度特征融合和网格注意力机制的三维肝脏影像分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2303-2310.
[14]	岑黎彬, 李靖东, 林淳波, 王晓玲. 基于深度自回归模型的近似查询处理方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2034-2039.
[15]	黄硕, 李艳辉, 曹建秋. 本地化差分隐私下的频繁序列模式挖掘算法PrivSPM[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2057-2064.

基于差分隐私的广告推荐算法

Advertising recommendation algorithm based on differential privacy

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 4

参考文献 25

相关文章 15

编辑推荐

Metrics