AI时代，如何应对生成式AI带来的宁静挑战？（生活宁静）ai制造 英文，

自ChatGPT走红以来，百度、360、阿里、百川智能等企业纷纷加入“战局”，生成式AI大模型在半年内密集上线，一次又一次地将“百模大战”推向新的高潮。据不完全统计，自2022年11月至今，国内已发布79个10亿参数规模以上的大模型，这其中不乏ChatGPT、Midjourney、TrueSync等现象级应用产物，且新的大模型还在诞生，数量正在连续增长。

亚马逊云科技大中华区解决方案架构部总监代闻

“正是因为生成式AI应用场景的井喷，业务部分需求旺盛，给企业的技术部分带来了前所未有的挑战。”亚马逊云科技大中华区解决方案架构部总监代闻在演讲中表现。生成式AI让人们看到了未来世界AI的无限潜力，但在技术结果涌现之时，内容和数据的宁静问题也第一次变得格外重要。

尤其是在今年4月份，国家网信办还发布《生成式人工智能服务管理措施(征求意见稿)》在黄暴政恐违禁、防止歧视、版权掩护、虚假信息防范、个人隐私掩护等方面均有明确要求。因此，关于生成式AI带来的宁静问题，我们迫切需要找到平衡创新与风险之间的关键之道，以确保AI的可连续发展与宁静。

生成式AI带来哪些宁静挑战？

事实上，AI在赋能财产应用、降本增效的同时，也带来了一系列新的宁静应用风险与挑战，诸如模型宁静、数据宁静、算法宁静、内容宁静、应用宁静等。这是因为，生成式AI需要依赖大量的数据和模型，任何一个环节的宁静疏漏，例如使用不宁静的模型训练及微调、模型的泄露、不宁静的应用、不宁静的应用访问等，都可能会导致企业自身数据及隐私的泄露，或者产生禁绝确甚至错误的结果。

代闻认为，模型宁静和数据宁静是构建AI应用的关键。他表现：“生成式AI的井喷对一个企业的数据平台有了更高的要求。要训练构建一个生成式AI的模型，需要大量的非结构化数据。如果一个企业直接去应用一个做好的模型进行微调，这时候又需要有高质量的专业化的数据来微调这个模型。这两个方面的要求目前对于大多数企业的数据平台都提出了更高的要求。”

具体而言，数据宁静主要涉及敏感数据和隐私信息宁静。一方面，在大模型训练过程中，一些高频用户的敏感或隐私信息，作为生成内容出现在其他用户的对话框中，这些个人身份信息、金融数据、医疗记录等敏感数据会被以某种形式记录或存储下来;另一方面，ChatGPT等大模型可以收集对话框数据，通过算法推断出潜在的敏感信息，基于推断出的信息进行精准的广告投放，这个过程可能侵犯用户的隐私。

在模型宁静方面，攻击者可以利用窜改训练数据、欺骗模型输入、利用对手学习攻击等方式对AI大模型进行攻击，从而使得模型的输出结果不可靠或误导性强。好比，攻击者使用DDoS攻击或入侵攻击来破坏或窃取数据。又好比，攻击者接纳模型逆向攻击，可以在不接触隐私数据的情况下，利用模型输出结果等信息来反向推导出用户的隐私数据，再好比，攻击者利用特殊设定的Prompt模版或对话，诱使ChatGPT输堕落误的答案或隐私相关的数据。

除了模型宁静、数据宁静外，应用宁静也是值得关注的部门，这涉及应用开发流程中的宁静，也涉及应用运行中的宁静。从开发到连续集成、连续摆设再到投产、监控、反馈，宁静应该贯穿整个过程。针对运行中的宁静，企业还应该将零信任与网络控制进行深度融合，尤其是在大模型时代，零信任与网络控制的结合才气实现端到端的应用宁静。

“大语言模型最后要酿成应用来提供服务，怎么样让大语言模型为企业内差别的人提供差别的API，以前是靠应用步伐和网络界限来隔离的，现在网络界限已经不敷够了，网络界限只是用户认证的基础条件，大语言模型的出现加速了零信任在企业中的落地。”代闻如是说。

如何应对生成式AI带来的挑战？

今年以来，生成式AI应用在成为全球热点的同时，其涉及的数据宁静问题也成为各国政府和监管机构的重点。

我国陆续出台一系列政策文件，为人工智能的发展提供更多的制度保障。在今年4月，中央政治局会议重点提及人工智能，指出要重视推动人工智能的发展，营造创新生态，重视防范风险，技术的厘革更是进入一个快车道，网络宁静行业更要以高质量发展为主基调。

应对生成式AI带来的宁静挑战，推动人工智能创新健康发展，不但需要政府出台支持政策、加强监管、完善相关法律，企业也应该履行主体责任，通过接纳先进技术解决方案，加强人工智能发展的潜在风险研判和防范，确保人工智能宁静可靠可控。同时，企业、高校、科研机构等加强合作，共同开展技术研发、人才培养和财产应用等工作。

在全新的网络宁静形势下，网络宁静解决服务提供商又该如何提供保障？对此，代闻认为，从构建开始需要将宁静作为企业AI战略发展中的核心环节。与此同时，还应该深度思考应该从哪里开始？依靠一个什么样的框架？

他表现：“这就要求我们不能只是关注AI应用自己，而是从一个全栈的角度，去全面审视应用、模型、数据、基础架构的宁静规范、技术计谋和平台工具。生成式AI应用就像是海面上的冰山，我们想要在企业里宁静地驾驭这项新技术，还需要关注海面下的冰川。”

对于企业而言，网络宁静已经渗透到供应链管理、风控反欺诈、客户优质数据资产和业务资产掩护等核心业务场景中，企业在进行宁静防御的时候必须变“被动”为“主动”，清晰界定自身的核心资产和价值，加强技术风险预判，关注和控制大模型在应用层面的风险，并建立起多方协同的宁静治理机制。

从数据、模型宁静到应用宁静，建立多层掩护

企业为构建生成式AI应用，首先应在数据流动的过程中确保端到端的数据宁静，为生成式AI应用提供宁静和有价值的数据输入。为此，亚马逊云科技提供了贯穿生成式AI全周期的数据治理，从数据源的获取到数据的存储和查询，再到将数据传输给 AI平台进行模型的训练、调优和推理，以及全面实施数据分类和治理。

“诸如敏感数据掩护、多条理掩护传输中的数据、掩护使用中的数据等一整套的解决方案、产物服务和最佳实践，能够资助企业加速落地端到端的云原生数据战略，给生成式AI 提供高质量的数据支持。”代闻如是说。

企业需要借助模型以及基础模型构建AI应用，要确保训练结果的准确性和有效性，模型训练的宁静性同样至关重要，企业应全方位地监控模型的宁静运行，包罗模型的访问宁静、模型的管理、模型运行的宁静监控等。

针对大模型，最新推出Amazon Bedrock和多种生成式AI服务和功能，以资助客户构建和扩展自己的生成式AI应用步伐。据悉，Amazon Bedrock提供了广泛的基础模型因此客户可以选择最能满足需求的模型。

生成式AI应用自己以及访问的宁静性也同样重要。亚马逊云科技利用自身经验，将Amazon CodeWhisperer、Amazon CodeGuru Security等AI防护应用到软件开发的全生命周期，让开发更便捷，更宁静。

针对应用的宁静访问，企业可构建零信任的应用宁静访问计谋。代闻表现：“零信任不是一个尺度的工具或者解决方案，而是一套机制，而且需要经过演练和考验。我们需要对访问大模型的应用进行权限管理，确保只有在拥有特定权限的应用，才气访问或者调用大模型里的指定API。”

据悉，最新推出的Amazon Verified Permissions，为用户构建的应用步伐提供细粒度授权和权限管理，用户可以使用该服务管理其应用步伐的角色和属性的访问控制。

写在最后

当前，AI技术带来了巨大的机遇，但我们也需要面对与之相关的宁静挑战。企业和个人通过加强网络宁静、数据隐私掩护、系统更新和意识培训，同时也应该接纳相关宁静防护步伐，有效应对攻击入侵和数据泄露，确保AI技术的宁静运营，从而构建一个宁静和可信赖的AI时代。