OpenAI Red Teaming Network
Posted on 2024年2月26日 • 1 min read • 14 words在大语言模型中,红队测试是一种深度渗透测试,旨在从APT攻击者的视角,对现有防御措施进行深度渗透测试,包括对目标系统、人员、软硬件设备、基础架构进行多维度、多手段、对抗性的模拟攻击。这种测试方式能够检验公司的人员、网络、应用程序和硬件设施的安全控制,以及它们在多大程度上能够抵御现实对手的攻击。红队测试的目的在于检验安全态势,增强团队的安全意识和反应能力。
OpenAI作为科技初创公司,近期宣布公开招募“红队”网络成员,这是为了引入外部力量,提前挖掘出AI系统存在的缺陷和风险。OpenAI的红队测试主要负责发现AI系统任何潜在的漏洞、风险或滥用可能性,并及时反馈7。红队成立之初主要是在内部进行对抗性测试,现在已经发展到了与外部专业人士进行合作。OpenAI的红队旨在帮助解决人们对在社会中部署强大人工智能系统所存在危险的广泛担忧,通过提出探究性或危险问题,以测试GPT-4给出的回应。
申请加入红队测试的过程并没有直接说明,但根据证据,加入红队网络不需要具备人工智能系统或语言模型的经验,OpenAI最看重的是愿意参与并提出观点来帮助评估人工智能系统的影响19。目前,OpenAI方面已面向包括但不限于语言学、生物识别、金融和医疗保健等不同领域的专家发出邀请。因此,感兴趣的专家可以关注OpenAI的官方公告或相关领域的专业论坛和社群,以获取最新的申请信息。
红队成立之初主要是在内部进行对抗性测试,现在已经发展到了与外部专业人士进行合作。
OpenAI的通告中具体提到了红队此前的成果,包括与OpenAI内部人员共同发现的DALL-E 2偏见问题和GPT的越狱风险。
感兴趣的可以点击以下链接报名:招募红队测试。