在人工智能技術迅猛發(fā)展的背景下,數(shù)據(jù)生成量急劇增長,同時伴隨著隱私泄露的風險。量子計算的快速進步對傳統(tǒng)密碼學框架構成了挑戰(zhàn),各國和地區(qū)(如歐盟和美國)也在積極推動個人數(shù)據(jù)隱私保護的立法。為應對這些挑戰(zhàn),安全多方計算(MPC)、同態(tài)加密、差分隱私等技術成為有效的用戶隱私保護工具。邏輯回歸作為一種相對簡單的算法,其計算過程簡潔,并在現(xiàn)實應用中具備實用價值。大多數(shù)現(xiàn)有方法使用一階梯度下降算法,導致迭代次數(shù)增多,這在MPC場景中加大了通信開銷,在HE上下文中則增加了計算成本。此外,一些方法依賴于受信第三方,這可能引發(fā)隱私泄露風險,而有些則基于同態(tài)加密僅涉及單個參與者,且大多數(shù)方法集中于二分類問題,對多分類問題的討論較少。
近日,重慶研究院自動推理與認知研究中心在ICICS2024上發(fā)表了題為《Privacy-preserving Logistic Regression Model Training Scheme by Homomorphic Encryption》的研究成果。該論文提出了一種新的隱私保護邏輯回歸解決方案,在數(shù)據(jù)橫向分布場景中,充分利用雙方數(shù)據(jù),實現(xiàn)雙用戶的交互式計算。該研究利用牛頓法解決邏輯回歸問題,以盡量減少迭代次數(shù),降低由交互造成的通信開銷,使用共軛梯度法求解牛頓更新方向,避免在密文域中進行矩陣求逆所需的除法操作,并能夠將二分類問題高效擴展至多分類場景。?
該研究為隱私保護邏輯回歸模型的高效訓練提供了一種新的思路和方法,在保護用戶隱私的前提下,提升了模型訓練的效率和實用性。
圖1 ?通信量對比(不同數(shù)據(jù)維數(shù))
圖2? 通信量對比(特征維數(shù)=9,不同迭代次數(shù))
(a)固定外層循環(huán) (b)固定內(nèi)層循環(huán)
圖3? 通信量對比(特征維數(shù)=90,不同迭代次數(shù))
(a)固定外層循環(huán) (b)固定內(nèi)層循環(huán)
重慶研究院碩士研究生苗煒捷為論文的第一作者,吳文淵研究員為通訊作者。該研究工作,得到了科技部重點專項、中國科學院西部青年學者等支持。
論文鏈接:
http://icics2024.aegean.gr/wp-content/uploads/2024/08/150560255.pdf