读数字时代的网络风险管理：策略、计划与执行12AI及其他(上)

1. AI及其他

1.1. 一些曾经只有极少数专业的技术人员才知晓的术语，如区块链、加密货币、物联网、量子计算等，现在已经成为商业世界和个人生活中的日常话题
1.2. CRMP基于长期确立的风险管理原则，最重要的是，我们需要平衡风险与回报，在保护企业免受威胁的同时确保企业保持活力和竞争力，并将这些原则扩展到以数字技术速度变革的世界

• 1.2.1. 意味着今天我们所做的一切都引入了网络相关的威胁，同时也带来了新机遇
  
• 1.2.2. 反过来又意味着，每一个风险及每项风险管理决策都包含了网络风险，使得企业在市场中更具竞争力
  

1.3. 我们生活和工作方式的改变、社会对企业行为的期待，以及法律和监管环境的变化，使得风险的识别、应对、缓释和利用变得比以往任何时候都要困难
1.4. 正式发布的CRMP允许前瞻性、战略性、互联互通的功能，并将引领战略性参与，保持适应性和灵活性，以实现未来可持续的风险管理方法
2. AI的定义

2.1. 美国国家标准与技术研究院（NIST）

• 2.1.1. 计算机科学的一个分支，致力于开发数据处理系统以执行与人类智能相关的功能，如推理、学习和自我改进
  
• 2.1.2. 计算机系统设备执行人类智能相关功能（如推理、学习和自我改进）的能力
  

2.2. 生成式AI是当前AI最大的热点所在

• 2.2.1. 是“标准”AI的一个子集，通过创建模型和算法扩展了AI的能力，能够基于训练数据生产新内容
  

2.3. 通用人工智能（AGI）

• 2.3.1. 通用人工智能（AGI）是一种处于假设阶段的AI，但全球各地的研发项目都在进行中，以期将AGI变为现实
  
• 2.3.2. AGI（有时被称为“强人工智能”​）至少在理论上能够执行人类完成的所有智力任务，甚至超越人类的能力
  

2.4. 机器学习（ML）

• 2.4.1. 人工智能和机器学习这两个术语经常被交替使用，这是不正确的做法
  
• 2.4.2. 机器学习是AI的一个基础且关键的组成部分，它专注于开发算法和统计模型，使得计算机能够从数据中学习，而无须为特定任务编程
  

2.5. 深度学习

• 2.5.1. 是机器学习的一个分支，它使用人工神经网络对数据进行学习
  
• 2.5.2. 神经网络在大型数据集上进行训练，可以用来完成分类图像、翻译语言，以及最重要的预测和决策等工作
  
• 2.5.3. ReCAPTCHA
  
• 2.5.3.1. 许多网站使用该工具来判断访问用户是否为真人，方式是要求用户识别道路、建筑物或其他事物的特征
  
• 2.5.3.2. 很少有人意识到他们的输入是用来提高在线地图服务和其他数据库准确性的
  

2.6. 大语言模型（LLM）

• 2.6.1. 是生成式AI应用（如ChatGPT和Bard）的核心。LLM是一种基于海量数据集（包括文本、图像和代码）训练而成的AI，它能够理解这些数据的含义
  
• 2.6.2. 庞大的数据集加上LLM理解数据的能力，是生成式AI能够回答问题、总结主题和翻译语言的关键所在
  

2.7. 循环神经网络（RNN）

• 2.7.1. 是一种人工神经网络，它本质上是一种模仿人类大脑工作方式的计算机编程形式，专门处理序列数据
  
• 2.7.2. RNN在一些最先进的新兴AI应用场景中发挥着核心作用
  

3. 全新的风险世界

3.1. 即使没有人知道AI将带来的所有风险，或者AI对特定企业或行业的影响将会是什么，但已经有一些风险逐渐清晰起来
3.2. 数据和算法偏见

• 3.2.1. AI应用的效果取决于输入的数据质量以及用来解释和应用这些数据的算法，这两个因素都可能受到偏见的影响
  
• 3.2.2. AI在年龄、种族、性别和社会阶层等方面会显示出偏见
  

3.3. 安全和隐私问题

• 3.3.1. AI和所有技术一样，都可能被黑客攻击，庞大的数据集对不法分子来说更是极具吸引力的目标
  
• 3.3.2. 像ChatGPT这样的生成式AI能够编写出复杂的、有针对性的恶意软件
  
• 3.3.3. 黑客发动攻击所需的技术成本更低，显著增加了网络风险，像语音助手这样的AI也会收集大量数据，但可能没有相应措施来保护机密数据
  

3.4. 知识产权（IP）和其他敏感信息的损失

• 3.4.1. 使用庞大的数据集时，确定特定数据所需要的保护级别是困难的，这增加了敏感数据泄露的风险，这可能意味着从专利等知识产权，到销售数据和市场计划，再到客户和员工的个人信息等都可能被泄漏
  

3.5. 欺诈

• 3.5.1. 罪犯总是最先认识到新技术的潜力，AI领域也不例外
  

3.6. 不透明性

• 3.6.1. AI的不透明性会使决策过程变得模糊，无法解释其功能的实现原理，这可能导致结果无法追责，也使得人们对技术失去信任
  

3.7. 企业控制力的丧失

• 3.7.1. AI系统变得越来越复杂、强大和自主，它们开始做出未经授权的决策并自行采取行动，这些可能都是在没有人类干预甚至不知情的情况下发生的
  

3.8. 劳动力市场波动

• 3.8.1. ChatGPT在2022年底问世后，市场最直接、普遍的反应是，人们预测数百万甚至数亿的工作岗位将会消失，许多职能工作也将被AI取代
  

3.9. AI的不当使用可能导致法律和监管责任以及公司声誉损害，客户、员工和商业伙伴的信心丧失，以及许多其他严重的问题，甚至是生存问题

• 3.9.1. 与AI相关联的风险不仅仅来自对它的恶意利用，也包括未能合理实施并对AI的使用进行监控
  
• 3.9.2. AI代表了世界运作方式的根本性改变，这使得风险管理工作（保持风险与回报的平衡）​，也变得比以往任何时候都要困难
  

3.10. AI是企业不能忽视的

• 3.10.1. 不过不论采用与否，它都会给企业带来严重的风险
  
• 3.10.2. 使得拥有一个全面、健全的风险管理计划的需求比以往更加紧迫
  
• 3.10.3. 为有效地管理AI风险，就像实现运营韧性一样，需要多个业务和运营风险职能部门的协调与合作
  

4. 对抗性机器学习

4.1. 对抗性机器学习用于帮助保护多种不同的AI应用的机器学习技术免受潜在威胁，涉及保护AI系统的所有组成部分，至少包括了机器学习数据、所使用的机器学习模型以及训练、测试和部署这些模型的过程，还有使用这些模型所需的基础设施
4.2. 规避攻击

• 4.2.1. 在对抗性机器学习领域，规避攻击成为一个热点问题
  
• 4.2.2. 攻击者的目的是在部署时生成能够改变机器学习测试分类的对抗性样本
  
• 4.2.3. 正处于一个新的对抗性攻击不断冲破旧有防御机制的循环中，要抵御这些对抗性样本极具挑战性
  
• 4.2.4. 业界已经提出了包括对抗性训练、随机平滑和形式验证技术等多种方法来对抗规避攻击，但每种方法都有其局限性
  
• 4.2.5. 在模型的鲁棒性与准确性，以及鲁棒性与公平性保障间，总是存在一种固有的权衡
  

4.3. 投毒攻击与应对措施

• 4.3.1. 投毒攻击是机器学习算法训练阶段的对抗性攻击，这是对机器学习系统的另一种威胁
  
• 4.3.2. 可能会影响训练数据的可用性或完整性，导致机器学习模型在所有样本上性能退化，或者在小部分目标样本上更难以检测隐蔽的违规行为
  

4.4. 隐私攻击

• 4.4.1. 隐私攻击日益普遍，这种攻击通过从聚合统计信息中重建隐私信息或记忆训练数据来实施
  
• 4.4.2. 两种常见的隐私攻击包括成员推断攻击和模型提取攻击
  
• 4.4.2.1. 在成员推断攻击中，攻击者可以确定特定记录是否被包含在训练数据集中
  
• 4.4.2.2. 模型提取攻击旨在提取有关机器学习模型的信息
  
• 4.4.3. 风险管理不可能孤立进行，特别是在涉及AI时这一点尤为明显
  
• 4.4.4. 管理AI风险和特定网络风险必须与组织内的其他风险管理职能协调一致
  
• 4.4.4.1. 数字系统相互连通的本质意味着AI在一个区域引入的漏洞可能会影响到整个企业的网络甚至更广的范围
  
• 4.4.4.2. 采用全面的防御方法，集结不同领域的专业知识，是绝对必要的
  
• 4.4.4.3. 随着对抗性攻击的日益复杂化，需要结合不同领域的专业技能，采取全面的方法来进行防御
  

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

过来提前占个楼