隐私计算产品性能测评标准化现状与挑战

发布时间：2022-11-23 10:47:53 【来源：通信世界】

　原标题：中国信通院杨靖世等：隐私计算产品性能测评标准化研究

　　当前，数据融合需求不断增强，数据保护要求逐步提高，作为一种数据安全流通技术，隐私计算在近年来迎来了极大发展，同时《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等国家政策的出台更是推动了隐私计算技术在数据领域持续发力。近年来，在算法协议不断优化、硬件性能逐步增强的背景下，隐私计算的可用性大大提升，越来越多的企业开始进行隐私计算的技术研究和产品化研发，已发布的产品数自2018年的2 款产品爆发增长至2021年的105 款产品；隐私计算应用也在进一步发展丰富，在金融、政务、互联网、通信和医疗等领域逐步细分外延，并在工业、能源和物流等行业开始进行尝试性探索。

　　由于隐私计算涉及多个参与方、参与计算的数据规模量级大和计算加密等特点，当前性能成为其难以形成大规模应用的主要因素之一。其庞大的技术体系，更使得衡量产品性能的困难性陡增。本文首先讨论了隐私计算产品在性能标准化进程中面临的挑战，进而提出产品性能评估方法的思考，最后总结了隐私计算的局限与未来发展。

　　1 隐私计算产品性能测评标准化现状与挑战

　　隐私计算作为一种促进数据流通合规的“技术解”，其技术体系复杂。当前其主流技术方向有多方安全计算、联邦学习和可信执行环境等，各种技术的实现原理差异大，很难以同样的标准进行衡量。其次，由于隐私计算不仅要考虑计算效率，也需充分考虑安全性和准确性，而这三者往往相互制约不能同时满足，所以隐私计算性能测试标准中需要确定安全性和准确性门槛。另外，当前已有的隐私计算标准大多关于技术或产品功能，需要向性能测试标准拓展。

　　1.1 隐私计算技术体系

　　1.1.1 多方安全计算多方安全计算（Secure Multi-party Computation，MPC）是多个参与方在无可信第三方的情况下，安全协同地计算出一个约定函数的结果，关键技术可分为不经意传输、混淆电路、秘密分享等。在不经意传输协议中，数据拥有者在同一时间发送多个消息，接收方只能从中选其一，并且不知道其他消息的情况，而数据发送方也无法获知具体哪一条消息被选择。经典的二选一不经意传输方案是Naor-Pinkas不经意传输，其满足半诚实模型要求，安全性由计算过程中的公钥加密操作和求解离散对数困难保证，但该方案在多次执行时由于大量的非对称加密操作导致其表现较差。不经意传输扩展协议利用少量的基础不经意传输。以较小代价构造出大量的不经意传输，可以有效减少多次构造时的公钥操作数从而提升性能，该方案因此得到广泛应用。混淆电路的思想是将计算函数转换成电路形式来计算，电路生成方加密输入并将顺序打乱，然后发送给计算方计算，计算方通过不经意传输方式得到密钥并解密出对应组合的密文。由于电路的生成与计算分别在不同参与方中进行，计算方不知道生成方的实际输入，并且使用了不经意传输协议，安全性因而得到保证。

　　当前，针对电路进行优化的方案已显著降低了电路的计算开销和通信开销，通信轮数与电路规模无关，但通信量仍会比较大。秘密分享是将数据或秘密分割成多个分片，然后在一组参与者共享的技术，经典的Shamir门限秘密共享规定了在N个参与方中，只有多于特定数量的参与方合作才可以恢复出完整数据，安全性由特定数量参与方不合谋假设保证。秘密分享技术广泛用于基础运算、统计和建模中，其缺点是在进行涉及乘法运算前，需离线生成大量的三元组，并且运算时参与方需进行多轮的交互，从而导致通信消耗较大。

　　1.1.2 联邦学习联邦学习（Federated Learning，FL）是一种分布式的机器学习技术框架，多个参与方协作训练一个机器学习模型，数据不出域并且要求保护中间梯度。联邦学习根据系统架构可分为客户-服务器架构和对等网络架构，在客户-服务器架构中存在第三方聚合或分发梯度，建模方法主要包括基于同态加密和基于差分隐私的方案，两种方案中本地数据不出域并且所有数据不需加密，各参与方通过交互中间梯度完成模型训练，不同点是同态加密方案需要对计算过程中的交互参数或梯度加密，而基于差分隐私的方法是对数据或梯度进行混淆来达到隐私保护目的，以安全性和精度的牺牲换取更高的计算和通信效率。在对等网络架构中没有第三方，常用基于秘密分享与同态加密结合的方案，各参与方不会泄露本地输入数据、本地局部数据和全局中间数据，往往安全性高但效率较低。

　　1.1.3 可信执行环境可信执行环境（Trusted Execution Environment，TEE）是一种基于硬件的隐私计算技术，相较于联邦学习和多方安全计算是从软件层面密码学保证安全性，TEE的安全假设首先是对硬件的信任。它在中央处理器内部物理隔离出一个代码运行环境，与软件层面的保护相结合达到计算环境与外部的隔离，代码和数据的完整性由此得到保证，并有哈希算法度量隔离环境内的活动记录来保证其机密性，另外每次执行任务时TEE会进行远程验证，确保运行时的任务、数据和算法与约定的一致，安全程度进一步提高。性能方面，实际应用中各参与方会将数据加密发送至TEE内部，数据在内部解密，并以明文形式存储和计算，所以TEE相比于联邦学习和多方安全计算效率高。

　　1.2 安全性、准确性和计算效率三者相互制约

　　隐私计算性能会随着安全性的提升而下降。当前隐私计算算法安全等级的分水岭通常是是否支持恶意模型，算法一旦通过提升安全性来满足恶意模型下的隐私计算需求，便会产生额外的通信和时间开销。这在联合建模等需要加法、乘法和比较多个算子的组合参与场景下更为严重。此外，在隐私信息检索场景中，选择不同的查询不可区分度对耗时也有很大影响。隐私计算的性能和准确度也有取舍，如在某些场景下可能需要使用差分隐私的技术手段牺牲结果准确性来提升性能。

　　1.3 隐私计算标准现状

　　1.3.1 国际标准

　　隐私计算相关的国际标准化项目主要在IEEE、ISO和ITU三大标准化组织中开展。其中，IEEE自2019—2021年发布三项隐私计算相关国际标准，分别是《Standard for Technical Framework and Requirements of TEE-based Shared Machine Learning》《Standard for Secure Computing Based on Trusted Execution Environment》《Guide for Architectural Framework and Application of Federated Machine Learning》。另外，ISO组织在2019年立项《Secure Multi-Party Computation》，而《Technical Framework for Secure Multi-Party Computation》和《Technical Framework for Shared Machine Learning System》也分别于2019年和2021年在ITU立项。上述标准均与隐私计算技术相关，尚未有隐私计算性能评估的标准。

　　1.3.2 国内标准

　　国内隐私计算标准化项目工作主要在中国通信标准化协会和全国金融标准化技术委员会开展。其中，中国通信标准化协会从2019年起逐步制定了《基于多方安全计算的数据流通产品技术要求与测试方法》《基于联邦学习的数据流通产品技术要求与测试方法》《基于可信执行环境的数据计算平台技术要求与测试方法》《区块链辅助的隐私计算技术工具技术要求与测试方法》等隐私计算产品功能标准，并于2021年启动编制《隐私计算多方安全计算产品性能要求和测试方法》《隐私计算多方安全计算产品安全要求和测试方法》《隐私计算联邦学习产品性能要求和测试方法》《隐私计算联邦学习产品安全要求和测试方法》等性能和安全标准。2020年，全国金融标准化技术委员会发布《安全多方计算金融应用技术规范》，同时在2021年制定了《联邦学习技术金融应用规范》。隐私计算产品在实现大规模应用的进程中，亟需完善统一的性能测试标准，在算法安全性、产品安全性、计算准确性的前提下规范性能考察指标。以下是关于隐私计算产品性能测试方案的设计思路。

　　2 隐私计算产品评估维度

　　基于以上原因，多方安全计算、联邦学习和可信执行环境需制定独立的性能测试标准，虽然各个技术差异较大，但性能测试的总体思路保持一致：如何利用给定资源和条件，安全、准确、高效完成特定计算任务。目的是：在特定硬件资源、特定数据集、特定算法要求和特定结果要求条件下，模拟实际需求场景，测试不同产品安全性、准确性、耗时三类维度指标。

　　基于以上思路目的，为使评估条件一致，性能测试应设定多方面的固定变量。固定变量模拟了实际场景、具体需求和给定资源，例如固定的数据方数量、固定的硬件资源（应设定上限）、数据集大小（分类设定）、算法要求（分类设定）、输出结果要求、安全性要求（应分类设定下限，包含通信安全、身份认证、结果安全、密码安全、算法安全、各类算法密钥长度要求等）、准确性要求（应分类设定下限）、规范数据预处理（例如公开数据集需要现场随机抽取维度，若采用生成三元组方案，三元组生成时间也需计入任务耗时等）、任务起始状态一致（数据已准备未读取等）、任务结束状态一致（计算结果已生成等）等。

　　2.1 安全性要求

　　隐私计算产品应满足协调方安全、通信信道安全、身份认证、计算结果安全、安全参数、密码安全等通用安全要求以及针对每项被测算法的专项安全性要求。例如，在安全参数要求中，对于每种密码学算法，产品也应满足该项算法层面的安全要求，对于对称密码学算法SM4、AES等和非对称密码学算法SM2、RSA等各类常见密码学算法应提出最低密钥长度要求，如RSA密钥长度应至少为2 048 bit，以保证在当前安全强度下，产品在使用过程中不会泄露用户数据隐私。

　　安全评估方法旨在确认产品实际方案与评审内容的一致性，通过对隐私计算产品使用的相关论文文献、产品设计手册、产品所采用算法的说明文档进行评审，并对产品的核心代码、关键的日志记录以及网络通信报文等内容做交叉核验。安全评估方法主要包括专家评审和一致性检验。在多方安全计算测试中，应保证计算过程中没有泄露用户输入数据，没有暴露各计算方本地的中间数据，没有暴露全局的中间数据。联邦学习测试中也要对各计算方本地的梯度等进行保护，不能暴露。

　　鉴于隐私计算产品的协议多样性与复杂性，性能测试应基于现有的密码学分析和计算分析手段对安全强度进行评估，任何新发表的攻击手段或者诸如量子计算的计算手段都可能影响安全强度，建议关注后量子密码等算法的研究与标准化过程。另外需要注意的是，隐私计算产品通常会使用多种密码学服务（密钥生成、完整性保护、安全性保护等）和多种密码学算法。一般情况下，隐私计算产品的安全强度由使用的最弱的密码学算法决定。在实际使用过程中，安全强度还会被算法的具体实现方式和功能模块之间的交互影响。总之，对于密码算法的选择和使用，应当相当谨慎以保护整个隐私计算产品的安全性。

　　2.2 准确性要求

　　由于隐私计算产品所使用的某些特定算法可能会存在部分精度的丢失的情况，这会导致加密计算结果与明文存在一定程度的偏差。但在实际应用中，往往存在可接受的小范围内的偏差。因此，应对不同算法的准确性要求做出不同的规范，满足该要求的计算结果即为有效结果。

　　在基础运算、联合统计、特征工程（如WOE、IV值计算）场景中，需要核验产品通过隐私计算所得结果与明文通过本地计算所得结果的相对误差是否保持在规定范围内；在隐匿查询、安全求交和联合预测场景中，需要核验产品通过隐私计算所得结果与明文通过本地计算结果是否保持一致；在联合建模场景中，使用隐私计算产品和与之相应的机器学习算法程序在保证样本数据集、特征选择和训练参数一致的前提下分别进行建模训练，若该产品通过隐私计算得到的模型的评价指标（如AUC和KS值）和相对应的明文机器学习训练得到的基准模型的评价指标保持在规定的误差范围内，则表示通过核验。

　　2.3 场景分析及算法举例

　　隐私计算产品的耗时由可能的离线阶段预处理操作和程序运行时的在线时间组成，其中在线时间又包含计算耗时和通信耗时，在不同带宽环境中所用的方法会不同。

　　2.3.1 基础运算

　　在隐私计算产品（尤其是多方安全计算产品）中，大部分复杂算法依赖于基础运算功能，通过组合基础运算算子来实现。针对基础运算，具体使用场景，如某隐私计算产品使用者想了解一批客户的总资产，应按照客户ID对各银行的数据进行的联合加法计算；或有时需要在不泄露双方信息情况下，比较两方数据中的客户年龄、资产等个人信息。

　　加法、乘法和比较是隐私计算产品中具有代表性且能体现产品特性的三种基础运算算子，在联合统计、安全求交和联合建模等场景中常被使用，因此在检验产品的基础运算性能时，可作为主要的测试场景。实际测试中应在限定计算方个数的前提下，记录多方基础运算耗时。以两方为例，每个计算方各拥有一列若干行的浮点数，按行分别做若干次的安全计算并批量输出结果，记录完整的任务耗时。

　　加法、乘法和比较算子常用秘密分享实现。各参与方分别将其每一条数据拆分成随机分片，自己持有一个分片，并将其余分片发送给其他参与方，各参与方完成本地分片计算后，再进行汇聚得到运算结果。在两方乘法运算的性能测试中，应注意检验辅助的Beaver三元组生成时间及安全性。

　　2.3.2 联合统计

　　联合统计是由多个基础运算算子构成的组合运算，包括了联合运算与本地运算，能够综合考量产品面对实际统计应用的计算效率。常用的联合统计包括方差、中位数计算等。与基础运算要求相同，应限定计算方个数的前提下，记录耗时。

　　在测试联合统计运算的性能时，为保证结果的公平性，应确定允许的本地运算以及可暴露的信息。方差计算时其中一方可先本地计算所有数的和以及平方和，将其连同样本量发送给另一方，然后通过对方数据和求出所有数总平均，再根据公式求得方差。中位数计算常用方法是找到第k个大元素，主要思想是本地对双方数组排序，然后比较特定位置的数值大小再进行截断过滤，其中比较数值大小需要基础运算中的比较算子

　　2.3.3 隐匿查询

　　隐匿查询功能常用于联合用户画像等场景中。隐匿查询要求在查询过程中保护查询方的查询信息，数据服务方为查询方提供了匹配的查询结果，却无法获知具体对应的查询对象，查询方也无法知晓数据服务方除了匹配命中内容以外的其他信息。

　　在实际的应用过程中，产品通常会考虑需求场景，平衡效率和安全，将待查数据进行分桶等操作以提升查询效率。但是，此类操作也会减小隐匿查询结果的不可区分度，在一定程度上牺牲了安全性。因此举例来说，测评中可以对百级不可区分度和百万级不可区分度的查询任务分别考量。百级不可区分的查询可满足实时查询任务的效率要求，百万级不可区分的查询可满足高安全需求的查询要求。

　　隐匿查询的主要实现方法是基于隐私信息检索技术（Private Information Retrieval，PIR），典型的实现方案如XPIR、SEALPIR等。此外，通常定义下的PIR只能定位到目标行，不能完成Keyword PIR的目标。因此，被测产品需使用Labeled PSI等Keyword PIR方法或在PIR中加入行和关键字的映射过程。在实际测评中，也应注意考虑行号和关键字映射过程的额外耗时以及该过程的安全性。

　　2.3.4 安全求交

　　安全求交（Private Set Intersection，PSI）用于找到多方共有人群，同时不暴露各参与方的其他用户。具体应用：一是作为纵向联邦学习的前置工作，二是可以根据多个规则筛选出目标用户群，三是找到共有人群后可用于人群筛选前后的统计分析工作，如在营销场景中，在保证本机构和外部数据方的数据安全前提下，得到本机构与外部数据方共有的用户群，进而得到与总量的比例。

　　考虑到当前实际场景中经常是两个或三个机构间进行隐私集合求交，因此计算方数量设置为两方和三方会有参考意义。其次，同一算法在参与方的数据规模差异程度不同的情况下性能表现也有不同，即有些算法适用于参与方数据集规模相差不大的情况下，有些算法在数据集规模相差大的情况下表现更好，所以设置平衡与非平衡场景更能体现产品能力。在平衡场景下，两个或三个计算方持有的数据量相同，如均为上亿级数据，相交率50%，进行安全求交。在非平衡场景下，其中一个参与方持有较小量级的数据，如十万或百万量级的数据，其他参与方持有上亿数据，相交率50%，进行安全求交。

　　上述的两方场景中典型的实现方式包括基于公钥体系的方案和基于不经意传输的方案。在基于公钥的体系中，主要包括基于非对称加密的方案，如适用于非平衡场景下的RSA盲签名的隐私集合求交，以及基于密钥协商的方案。基于密钥协商的隐私集合求交方案是两方在不安全信道中共同协商出一个密钥来用于后续数据加密，该方案的安全性依赖求解离散对数问题的困难，也有将基于椭圆曲线的加密算法和密钥协商相结合的方案（ECDH），其效率比一般的基于密钥协商的方案高。在实际测评中，使用以上方案需核验算法中的安全参数，如密钥长度或密钥协商方案中的所选质数的长度是否符合要求。

　　2.3.5 特征工程

　　特征工程包括特征预处理、特征选择和特征降维等。在针对隐私计算产品的性能测试中，应主要检验需要多方数据联合计算的特征工程任务，如数据纵向分布的WOE/IV值计算。通过计算WOE/IV值进行特征筛选可以有效提升建模效果，所以特征工程的数据集和场景选择与建模保持一致，场景分别为计算方两方和三方的场景，仅一方持有标签信息，有标签方本地计算WOE/IV值，无标签方使用有标签方的标签以隐私保护的方式计算。

　　在特征工程场景的实际测试中，应确定需要保护的信息以及可允许暴露的中间信息。例如，在多方联合计算WOE和IV值时，通常使用同态加密技术，有标签方A使用同态加密方法加密标签发送给无标签方B，B方根据加密标签对变量分桶，并将每个分箱内的正负样本数和连同桶样本量发送回A方，A方解密数据并结合自己每个分箱中的正负样本数来计算WOE和IV值。在该举例中，标签值是需要保护的关键信息，正负样本数量情况作为可允许暴露的中间信息应明确标注。

　　2.3.6 联合建模

　　联合建模广泛用于金融、政务和医疗等领域，在金融领域中场景包括授信风控、广告营销、反洗钱和反欺诈等。银行等金融机构通常作为数据使用方，借助外部数据，可以是纵向扩展特征维度完成信贷、风控或精准营销,也可以是横向扩展数据集提高反洗钱识别效果；在政务领域中，通过政务数据开放和共享的方式，可实现如商业选址、劳动就业，电信反诈骗和人口流动分析等应用；隐私计算在医疗领域，通过医院与医院间的数据流通、政务和企业内部数据的开放的方式，可应用于疫情防控、病情诊断和医学研究等场景。

　　联合建模测试的设置需充分考虑上述场景的实际情况，由于当前纵向方式的联合建模通常在两个或三个机构间进行，所以在测试中计算方也分为两方场景和三方场景，所有参与方均拥有数据的所有行，当是两方场景时，每个计算方各持有一半的特征，当有三个计算方时，每个计算方持有1/3总量的特征，并且两种场景下均是只有一个计算方持有标签信息。其次，建模数据集规模通常在十万至百万行间，特征总量在1 000 维左右，因此测试中的数据集规模也在这一量级，另外考虑到特征工程会极大影响建模效果，所以测试前数据集需完成归一化和标准化。最后，在算法上选择应考虑技术发展，当前主流建模算法中易于实现并且表现良好的是逻辑回归和XGBoost，测试中以这两种算法为例更具代表性，在未来随着其他算法更加普及也可将其纳入考察范围，如基于隐私保护的深度学习模型。在建模完成后使用创建的模型进行离线批量预测，场景与建模一致也为两方和三方的逻辑回归和XGBoost。

　　逻辑回归常见的方案包括纵向的联邦学习方式，即基于同态加密的方案和基于多方安全计算的建模方案，两种方案的安全要求不一样，基于联邦学习的建模由于存在第三方，第三方会解密再分发梯度导致中间数据泄露，而多方安全计算的建模方式要求不能泄露全局的中间数据，安全要求更高，所以在多方安全计算的性能测试中应核验所用算法的安全性是否达标。基于多方安全计算的逻辑回归方案通常无可信第三方，常见的方法包括仅使用同态加密的方案和秘密分享与同态加密相结合的方案，以及多方安全计算基础算子组合的协议ABY，是一种基于算术分享、布尔分享和混淆电路分享的两方协议，和其支持三方的ABY3协议等。

　　基于秘密分享的建模方案中需要三元组辅助计算，并且由于三元组在线计算开销大，该步骤通常在离线阶段进行，在测试时离线时间也需被记录在内。另一建模算法Xgboost的常见方案是SecureBoost，其基于同态加密，主要思想是通过找到特征的最佳分裂点进行多个树的生成，直至满足停止条件。由于初始模型和数据集会影响建模的效果及性能，所以上述的联合建模测试中应检查模型初始权重，避免预训练，也需核验训练中所有数据是否至少使用一次，以及是否在数据集上做数据抽样和特征筛选。

　　3 局限与展望

　　本文论述了隐私计算产品安全性、准确性和性能三个维度相关影响的关系，以及在不同算法类型下各个维度的标准化测试思路。主要采用的思路是首先固定硬件资源、每个算法的数据集和每个场景的计算方数量等，然后在每个算法下分类固定其安全性和准确性门槛要求，满足在该算法下的安全性和准确性门槛要求后测试其性能表现。由论述可知硬件资源、数据集和计算方数量等前置条件，每个算法场景的设置，以及安全性、准确性和性能三大测试维度均是隐私计算产品性能测试需要考量的重要因素。由于不同隐私计算产品技术路线、实现原理差异较大，未来仍需探索考虑上述种种因素以及更多变量下，如何更好更准确地量化衡量一个隐私计算产品。当然，除去已述当前理论问题外，很多现实问题和未来发展问题也会影响后续隐私计算产品性能测评标准化工作。

　　（1）隐私计算参与方的资源情况不同隐私计算通常由多方共同参与，各参与方的通信资源和计算资源可能差异较大，当出现一方因网络或计算资源不足无法继续参与的情况时，可能会引起整个计算过程被迫停止。因此，保障同步性和可用性是隐私计算面临的重要挑战之一，尤其是在多参与方、数据规模大的情况下。

　　（2）隐私计算产品安全边界和等级有待形成共识隐私计算产品多环节均可能存在风险，包括在算法协议上各产品差异化较大，并依赖安全假设；密码学算法里的安全强度和密钥证书的管理；以及产品方面的数据授权、监管性和系统稳定性等方面。在不同行业、不同技术中，隐私计算产品的安全边界和等级界定也不尽相同。也要平衡实际应用中准确性和计算效率的要求，作为一项促进数据合规流通的新技术，隐私计算因其技术复杂性，市场尚不成熟，为了实现实际应用中准确性和计算效率之间的平衡，就需要深入研究讨论形成安全等级统一划分的共识。

　　（3）隐私计算产品性能仍需提升也必然会继续提升隐私计算技术通过密码学算法实现数据计算的隐私性，却是一种通过“牺牲性能换取安全”的思路，虽然算法的不断改进、硬件的不断优化以及算力的不断增强促进了隐私计算的性能不断提升，但相对于无需加密的目标函数计算，由于其通信量和加密复杂度，在计算效率上仍存在先天劣势。当产品应用逐步向更大数据规模、更多数据方、更复杂场景推广时，性能不足仍将成为关键阻碍。提升性能可以从算法层面优化与硬件层面加速相结合。在算法层面，数据并行处理、算法并行操作或工作流水线并行进行可以充分利用现有资源提升效率。另一方面，可以通过包括GPU、FPGA和ASIC等硬件将复杂运算转移至硬件设备执行，以硬件加速方式缩短计算耗时。

　　4 结束语

　　当前，隐私计算技术和工程化发展仍在突飞猛进，本次结合实际场景对当前阶段特定条件下的产品的性能表现进行了初步探索。未来，行业组织、科研机构、技术厂商、行业应用方仍需继续合力探索，完善测试方法和测试手段，升级完善隐私计算相关规范标准，综合考虑产品的性能与安全，共同促进隐私计算行业健康高质量发展。

上一篇：沈昌祥：开创可信计算3.0时代，抢占核心技术制高点，摆脱受制于人
下一篇：最后一页