《个人信息保护法》指出,自动化决策是指通过计算机程序自动分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等,并进行决策的活动。《要求》将自动化决策进一步分解为特征生成和决策两个环节。特征生成是通过计算机程序自动处理个人信息,经过个人特征提取、特征选择、特征计算、特征输出等步骤,生成开展针对个人决策所需的输入信息的过程。决策是以生成的个人特征信息为输入,作出针对个人将采取具体行动的决定。自动化决策流程图如下:
自动化决策仅适用于对个人的决策,不涉及针对公司的自动化决策,例如自动评估供应商公司的风险。此外,自动化决策必须是利用个人信息进行的活动,不包含基于非个人信息的自动化决策活动。
自动化决策包含用户画像。《信息安全技术 个人信息安全规范》指出,用户画像是通过收集、汇聚、分析个人信息,对某特定自然人个人特征,如职业、经济、健康、教育、个人喜好、信用、行为等方面作出分析或预测,形成其个人特征模型的过程。全国人大常委会法工委发言人臧铁伟在2021年8月13日第十三届全国人大常委会第三十次会议记者会上指出,“自动化决策,包括用户画像、算法推荐等。”《要求》也将自动化决策分解为特征生成和决策,用户画像过程更像是特征生成环节。
《要求》提出需先做算法影响评估,并细化了具体的评估内容,同时针对可能对个人权益造成重大影响的情形进行了特殊规定,即需通过独立第三方或组建专家委员会开展评估、每半年评估一次。此外,为了进一步应对算法黑箱等问题,《要求》也提出要形成相应的配套技术文档以供相关方查阅,并细化了技术文档的具体内容,同时《要求》还特别强调人工介入的必要性。通过事前评估与披露、事中监测与追踪、事后及时处置来实现算法安全。
|
|
|
评估前 |
-
-
|
|
-
-
预期的自动化决策算法的行为表现及相应的效率或收益的提升;
-
明确非预期或错误的自动化决策算法的行为表现及相应的成本;
-
根据预期的自动化决策算法的使用情况、过去在类似情况下对自动化决策算法的使用、事件报告或其他数据,了解自动化决策算法可能产生负面影响的风险,特别是对个人权益的影响。
-
如果可能对个人权益造成重大影响,通过独立第三方或组建专家委员会开展自动化决策算法影响评估。
|
|
根据评估结果明确与算法支持的具体任务相适配的算法安全目标。
|
|
|
|
|
|
|
|
-
-
-
在任何特定情况下决定不使用自动化决策算法及其计算机程序,或忽略、推翻或撤销自动化决策算法的输出;
-
|
|
|
-
准确性、均衡性、相关性、充分性、可靠性、规范程度符合要求;
-
相关数据在最初选择、标注等环节不存在缺乏公平、包含偏见与歧视或者范围与算法目标不匹配的问题;
-
|
|
|
|
|
开发自动化决策算法应当形成配套的技术文档以供相关方查阅。
|
|
对自动化决策算法的一般描述、对自动化决策算法的要素及其开发流程的详细说明、对自动化决策算法训练过程的记录、使用的验证和测试程序的相关信息、对为符合人工介入要求所采取措施的评估情况。
|
|
|
-
明确针对技术特征、逻辑特征、人工介入要求的定量或定性监测指标和监测方法;
-
明确对应各个负面影响的定量或定性监测指标和监测方法。
|
|
-
-
基于监测结果定期开展算法影响评估,对个人权益有重大影响的自动化决策算法应每半年开展一次算法影响评估;
-
-
|
《要求》指出,输入的个人信息需要与业务目的相匹配,不能超范围收集个人信息,并要确保个人信息的真实性、准确性、合法性,在进行特征提取、特征选择、特征计算、特征输出的计算时也要保证公平公正、无歧视。
|
|
|
|
|
|
|
-
-
-
-
|
|
-
-
-
|
|
-
根据收集个人信息的不同阶段以及不同场景考虑选择适当的合法性基础;
-
在最小范围和数量内收集为实现特征生成所必需的具有直接关联的个人信息;
-
确保公开透明,通过清晰易懂的方式主动披露存在特征生成的动作,并宜事先告知处理逻辑。
|
|
|
-
-
排查所收集的个人信息的缺失值、异常值、重复值,规范个人信息的格式、结构、类型等要素;
-
-
|
|
-
-
考虑到选择特征之间的相关性,避免过多的相关性冗余;
-
-
确保选择数据特征时的平衡性,避免因偏重或缺失某一类型的个人信息导致特征计算和输出存在错误的情形;
-
开展进一步的特征计算,如发现选取的数据特征与实现特定业务目标之间存在不足关系时。
|
|
-
确保输出的对个人信息主体特征的描述不应表达对性别、民族、种族、年龄、宗教、残疾、疾病、性取向歧视的内容;
-
对特征生成所使用计算机程序中的函数机制、网络结构机制、数据机制、模型评价机制等进行审慎评估与测试,并采用特定的机制削弱程序输出可能带来的偏见与歧视,保障输出的准确性、适当性与公平性。
|
《规定》特别提出要履行明确的告知义务,提供自动化决策处理说明指引,并及时响应个人信息主体的权利请求,尤其是解释权和拒绝权。此部分的内容与《个人信息保护法》、《互联网信息服务算法推荐管理规定》的相关内容基本是一致的。
|
|
|
|
-
-
不应危害国家安全、荣誉和利益,煽动颠覆国家政权、推翻社会主义制度,煽动分裂国家、破坏国家统一,宣扬恐怖主义、极端主义,宣扬民族仇恨、民族歧视;
-
不应传播暴力、淫秽色情信息,编造、传播虚假信息扰乱经济秩序和社会秩序。
|
|
|
-
易于理解的自动化决策处理说明指引,包括但不限于自动化决策处理动作所基于的个人信息以及处理逻辑;
-
个人对自动化决策行为及结果享有的权利以及行使方式;
-
|
|
|
适当地说明决策逻辑、价值权重、个人数据利用情况等。
|
|
-
提供选择或者删除用于算法推荐服务的针对其个人特征的标签的机制;
-
在信息推送、商业营销场景,提供不针对其个人特征的选项,或向个人提供便捷的拒绝方式;
-
|
(文章来源:CCIA数据安全工作委员会)