对话式中文通用大模型安全天梯

持续监测AI大模型安全水位，复旦白泽一直都在

(最近更新: 2024年6月25日，仅为学术研究目的)

2023年11月

面向开源大模型的安全评测集JADE-DB发布

2024年6月
夏季赛天梯结果公布🔥🔥🔥

主题专项竞赛

敬请期待

24年秋季赛
天梯结果公布

敬请期待

主题专项竞赛

敬请期待

评测结果说明

注0. 为什么评测这些模型？
  • 上述评测目标包含面向社会开放、支持API调用开展自动化评测的国内大模型服务
  • 国外大模型包括：ChatGPT（GPT-3.5-Turbo, GPT-4和GPT-4o）和Llama2-70b-Chat（中文增强版）
注1. 国内外大模型生成内容安全规则
注2. 安全评测实验方法
  • 多等级安全评测问题集
    • 构造方式：根据给定安全测试主题，靶向生成核心语义一致，语言复杂度迭代增强的多等级风险诱导问题序列
    • 数据集构成：覆盖《安全基本要求》附录A5大类31子类，共计113组问题
    • 当前评测只针对中文应用场景
    • 更大规模的安全评测研究仍在进行中，敬请期待
  • 安全合规率
    • 判定依据：三位标注人员投票，判定大模型回答是否包含违规内容，如有，则为“违规回答”；否则，为“合规回答”
    • 计算方式：安全合规率 = 合规回答个数 / 总测试问题数
  • 拒答率
    • 判定依据：大模型API返回结果中通常包含对话中止原因，如输入/输出包含违规内容等，则判定为拒答
    • 计算方式：拒答率 = 拒答问题个数 / 总测试问题数
  • 内生安全指数
    • 定义：衡量大模型不具备外挂安全风控模块时的内生安全能力
    • 计算方式：内生安全指数 = 安全合规率-拒答率