随着人工智能在商业运营中的应用越来越广泛，新的安全问题和安全威胁也不断涌现，其速度之快甚至超出了传统网络安全解决方案的应对能力。
这种风险极高，可能会带来严重的后果。根据思科2024年AI就绪指数报告，仅有29%的受访组织表示自己完全有能力检测并防止对AI技术的未经授权篡改。
思科强调了持续模型验证的重要性。思科AI软件与平台负责人DJ桑帕斯表示：“模型验证并非一次性的任务。当模型发生变化，比如进行微调，或者出现新的攻击需要模型学习时，我们就会不断学习这些信息，并重新验证模型，以观察模型在新攻击下的表现。”此外，思科拥有一个先进的威胁研究团队，他们持续关注AI攻击，并研究如何进一步增强这些攻击。思科还参与了像MITRE、OWASP和NIST这样的标准组织内的工作组工作。
除了防止有害输出，思科还关注AI模型对恶意外部影响的脆弱性，这些影响可能会改变模型的行为。这些风险包括提示注入攻击、越狱和训练数据投毒等，每一种都需要采取严格的预防措施。
随着应用变得多模型化，AI安全的复杂性也在增加。IDC安全与信任副总裁弗兰克·迪克森指出，从本地部署到云端的转变，以及从单体架构到微服务的转变，都带来了一系列新的问题。同样，AI和大型语言模型的加入也带来了一整套新的问题集。多模型环境下，漏洞可能在不同层面出现，涉及开发者、终端用户和供应商等不同利益相关者。
与整合到单个模型中的传统安全措施不同，思科通过其新推出的AI防御为多模型环境提供控制。该解决方案能够自我优化，利用思科专有的机器学习算法来识别不断演变的AI安全和安全问题，这些算法由思科塔洛斯提供的威胁情报所指导。
思科执行副总裁兼首席产品官杰图·帕特尔认为，短时间内取得的重大进步虽然看似具有革命性，但很快就会变得习以为常。以谷歌的自动驾驶汽车Waymo为例，一开始人们觉得它非常神奇，仿佛生活在未来，但很快就会习以为常，甚至开始抱怨一些细节问题。
同样，人们对AI和ChatGPT的快速适应也说明了这一点。任何重大进步在短时间内都会显得特别先进，但随后就会出现一种正常化，大家逐渐习惯。杰图·帕特尔认为，通用人工智能也会经历这样的正常化过程。但他也强调，不能低估这些模型正在取得的进步，以及它们最终将解锁的用例类型。就像如今的智能手机，其计算能力强大，能做很多事情，已成为人们生活的一部分，人们甚至不会去想它的强大功能。企业也应该尽快适应这种变化。
