近日,中金金融认证中心(CFCA)与中国银联云计算中心携手进行前瞻性AI安全研究,揭示了当前具有联网功能的AI助手可能存在新型安全隐患。研究发现,开启联网搜索功能的AI大模型助手可能在特定条件下,向用户返回含有隐蔽恶意代码的内容,可能对用户信息安全乃至重要业务系统构成潜在威胁。
CFCA提示广大用户尤其是软件开发者,在使用AI助手时,务必提高警惕,防范风险。
具体而言,实现此类攻击需攻击者预先针对特定问题领域构造隐蔽内容(可以看作“埋雷”)。当用户向AI助手提出与这些内容相关的问题时,AI助手可能在不知情的情况下返回含有恶意指令或恶意代码的响应。这些隐蔽的恶意代码可被用于下载并执行病毒程序,尤其对使用AI进行代码生成、系统命令行操作等场景构成极大的安全风险。研究团队强调,此次发现仅为技术验证,未实际传播任何病毒,也未对任何真实用户造成影响。但研究成果充分表明,目前流行的联网AI助手都可能存在类似的安全隐患,攻击方式具备普遍有效性。
CFCA特别提醒广大用户:当使用AI助手处理代码编写、计算机系统命令等敏感任务时,务必进行人工检查,避免因过度信任AI生成的内容而引发安全风险。
近年来AI技术的迭代速度令人瞩目,尤其在辅助编写代码、提升开发效率方面展现出巨大潜力。但开发者在拥抱AI带来的便利与高效的同时,绝不能忽视或绕过软件工程长期沉淀下来的科学方法与原则。严谨的需求分析、细致的设计、规范的编码、严格的代码审查、充分的单元测试与集成测试、以及持续的安全评估——这些软件工程的基石,在AI辅助开发的时代不仅不应削弱,反而需要更加强调和落实。
责任编辑:方杰
免责声明:
中国电子银行网发布的专栏、投稿以及征文相关文章,其文字、图片、视频均来源于作者投稿或转载自相关作品方;如涉及未经许可使用作品的问题,请您优先联系我们(联系邮箱:cebnet@cfca.com.cn,电话:400-880-9888),我们会第一时间核实,谢谢配合。