AI聊天机器人作为政治顾问引发安全和透明度担忧

执行摘要

美国参议员伯尼·桑德斯（Bernie Sanders）公开使用Anthropic的Claude AI助手讨论隐私和人工智能政策，代表了将大型语言模型（LLMs）整合到高风险政府和政治流程中所出现的安全和运营风险的具体案例研究。这一事件由安全专家布鲁斯·施耐尔（Bruce Schneier）报告，强调了关于数据处理、模型完整性、影响操作和AI辅助决策透明度的关键问题，即使工具是由技术娴熟的操作者使用。

技术分析

核心技术问题不在于传统意义上的软件漏洞，而是由于将专有的、基于云的LLM整合到敏感政治对话中而产生的系统性风险。根据施耐尔的报告，桑德斯参议员以对话方式与Claude就AI和隐私等复杂话题进行了交流。虽然参议员指出该模型在“问题上相当好”，但互动本质上涉及将私人政治考虑的内容传输给第三方AI服务提供商。

主要的技术关注点是数据来源和提示注入。所有提交给类似Claude的服务的查询和对话都成为提供商运营数据流的一部分，可能用于模型改进或受到内部记录和分析。还有风险，尽管在这个特定实例中很小，即间接提示注入或操纵，其中行为者可能试图随着时间的推移影响模型的训练数据或微调，以塑造未来用户在政治主题上的输出。商业LLMs的黑箱特性使得用户，包括参议员，无法审计提供的信息来源或识别系统中潜在的偏见。

入侵指标

目前没有识别出任何指标。所描述的活动是商业AI服务的合法使用，不是系统的妥协。重点是程序和战略风险，而不是取证指标。

战术、技术与程序

恶意行为者利用这种AI在政治圈采用模式的潜在战术、技术与程序（TTPs）可能属于MITRE ATT&CK框架中的影响操作（TA0043）和收集（TA0009）。威胁行为者可以：

• T1589.001：收集受害者身份信息，通过分析访问AI服务的政治账户的元数据或模式。
• T1654：破坏AI服务，通过针对AI提供商获得对政治人物敏感查询日志的访问。
• T1647：生成AI生成内容，创建定制的、有说服力的政策简报或论点，可以间接地输入模型或直接输入给工作人员，旨在塑造政治话语。
• T1652：模型投毒，试图操纵已知被政治目标使用的模型的训练数据，这是一种长期和复杂的技术。

威胁行为者背景

虽然没有特定的威胁行为者与桑德斯参议员的行为联系起来，但这种行为模式为几个高级持续性威胁（APT）组织创造了一个有吸引力的表面。对美国政策有战略利益的国家行为者，特别是来自中国（例如，APT41）、俄罗斯（例如，APT29）或伊朗的国家，有明确的动机去理解或影响政治思考。商业间谍软件供应商和政治动机的黑客活动家也可能发现针对政治人物、工作人员和智库的AI辅助研究工作流程有价值。主要动机是情报收集和意识形态影响。

缓解措施与建议

减轻与政治和政府工作中的AI相关的风险需要政策和技术控制。

1. **建立明确的使用政策：**政府办公室和竞选活动应该创建正式的指导方针，规范官方业务中公共AI聊天机器人的使用，对必须不提交的信息类型进行分类。
2. **优先选择本地或主权云解决方案：**在可能的情况下，在受控的、隔离的或主权云环境中部署经过审查、开放权重的LLMs，以维护数据保管。美国政府的AI试点项目，如使用Llama 2或类似模型在安全环境中的项目，是一个模型。
3. **强制源验证：**实施严格的程序控制，任何来自AI聊天机器人的事实声明、立法参考或数据点在使用前必须与主要、权威的来源进行验证。
4. **进行安全培训：**对工作人员和负责人进行培训，了解使用第三方AI模型固有的数据隐私和影响风险，超越传统的网络钓鱼意识。
5. **要求供应商透明度：**政治和政府机构应该利用他们的采购能力，要求AI供应商提供关于数据保留、记录实践和训练数据集组成的更大透明度。