一、语料安全评估：
(一) 评估内容
- 文本训练语料规模：
- 训练语料存储规模，即按文本格式存储时的语料大小。
- 训练语料数量，以词元 (Token) 计数。
- 各类型语料规模：
- 明确训练语料中的中文文本、英文文本、代码、图片、音频、视频及其他语料的具体规模。
- 训练语料来源：
- 梳理训练语料来源的组成情况，分为开源语料、自采语料、商业语料进行分类统计。
- 统计境外开源网站语料内各类语料规模。
- 统计自采语料内各类语料规模。
- 统计商业语料内各类语料规模。
- 语料标注数量：
- 仅限文本和图片的标注数量，按标注单元计数，通常以条数、张数为单位。
- 标注人员情况：
- 明确标注人员的数量和类型，包括内部人员和外包人员。
- 标注人员培训时间、培训数量等情况。
- 标注规则：
- 按照《生成式人工智能服务管理暂行办法》第四条要求制定标注规则。
- 标注内容准确性核验：
- 确定标注内容准确性人工核验比例。
- 语料合法性：
- 核查语料来源合法性情况。
- 检查语料是否包含侵害他人知识产权内容。
- 排查语料是否包含违法违规的个人信息内容。
(二) 评估结论
- 判定语料是否符合《生成式人工智能服务管理暂行办法》相关规定，是否含有违反我国法律法规明确禁止的内容。
- 明确语料中包含个人信息语料的数量、种类，判断是否符合《生成式人工智能服务管理暂行办法》规定。
- 进行因语料产生知识产权纠纷的风险分析。
- 提出防范语料安全风险的措施和建议。
二、黑盒测试
- 功能需求验证：
- 确保模型能够按照预期执行任务，对各种类型的输入产生正确和合理的输出。
- 用户界面测试：
- 针对用户界面进行测试，确保界面的易用性和一致性。
- 输出验证：
- 检查模型的输出是否符合预期，是否满足业务需求。
- 确保模型在不同输入情况下能够按预期执行任务，输出准确、符合预期。包括功能需求的验证，测试模型的各个功能点是否符合设计要求。
三、模型安全措施评估
- 模型适用人群、场合、用途：
- 明确服务的适用人群，判断是否适用未成年人、学生等。
- 确定适用场合，如是否适用关键信息基础设施、自动控制、医疗信息服务、心理咨询等。
- 明确服务范围，是否限定或未限定特定领域。
- 服务过程中收集保存个人信息情况：
- 梳理服务过程中收集保存个人信息的情况，包括个人信息的类型、数量、用途以及保存期限。
- 收集个人信息征得个人同意情况：
- 确定收集个人信息征得个人同意的方式。
- 受理处理使用者查阅、复制、更正、补充、删除个人信息请求的情况：
- 明确受理处理的条件以及途径方法。
- 图片、视频标识情况：
- 确定标识的样式，按 1:1 比例贴入。
- 明确标识在图片、视频中的具体位置。
- 确定标识频度，如每帧、跳帧等。
- 接受公众或使用者投诉举报情况：
- 建立接受公众或使用者投诉举报的途径及反馈方式。
- 服务协议情况：
- 检查上述 1 至 6 内容是否已经写入模型服务协议。
- 非法内容拦截措施：
- 明确监看人员的数量。
- 预置关键词拦截情况，并提供预置关键词拦截列表。
- 说明分类模型的研制情况和准确性。
- 拒答率：
- 统计拒绝回答或者以简单模板回答数量占总测试数量的比率。
- 模型更新、升级：
- 确定在何种情况下重新进行预训练，如较频繁发现生成非法内容时。
四、性能评估
- 响应时间：
- 测试模型在不同负载下的响应时间，确保在合理时间内完成任务。
- 资源消耗：
- 评估模型对内存、计算资源等的消耗情况，确保资源利用合理。
- 测试模型的性能，包括响应时间、内存消耗、计算资源占用等。确保模型能够在可接受的时间范围内完成任务，并且对资源的利用合理。
五、稳定性评估
- 长时间运行：
- 测试模型在持续运行下的稳定性，避免内存泄漏、性能下降等问题。
- 大规模数据输入：
- 模拟大规模数据输入，检验模型对此的稳定性和性能。
六、安全性评估
- 隐私保护：
- 确保模型的输出不会侵犯用户隐私，对个人敏感信息进行隐私保护。
- 防止攻击：
- 测试模型对恶意攻击或异常输入的鲁棒性，确保模型不易受到攻击。
七、可解释性评估
- 对模型的输出进行解释和验证，确保模型的决策是可解释和可信的，避免模型黑盒化带来的问题。
八、法律和合规性评估
- 隐私法规遵守：
- 确保模型遵循隐私法规，不违反用户隐私和数据使用规定。
- 合规性检查：
- 确保模型在使用中符合相关行业法规和标准，避免违规操作。
- 参考《生成式人工智能服务暂行管理办法》。
九、应急管理措施
- 采取防范计算机病毒、网络攻击、网络入侵等技术措施。
- 制定网络安全应急处置预案并且开展应急演练，保存演练记录材料。
- 警用接口建设。
十、材料准备
- 安全评估报告。
- 模型服务协议。
- 语料标准规则。
- 拦截关键词列表。
- 评估测试题库。
- 拒答测试题库。
- 网络安全管理制度及操作规程。
- 应急处置预案和记录材料。
- 用户投诉举报处理、用户管理制度。
- 个人信息安全保护。
- 安全培训制度。
- 网络安全负责人任命书。
十一、【线下流程】大模型备案线下详细步骤说明
第一步：企业向当地网信办申请大模型备案，先确认模型是否需要进行备案（有些只是用开源做微调的，这种小模型一般做算法备案就好，算法备案也简单，具体情况跟网信办确认，不同地区的网信办要求也会有差异）。
第二步：填写《生成式人工智能上线备案表》，准备自评估报告材料，评估点参考表格里面提到的 6 个点进行撰写，每个点进行评估的方法、风险点及应急策略，报告尽量详细点。
第三步：当地网信会将报告递交中央网信技术管理局进行审核。
第四步：网安多个支队对工作流程及大模型进行上门检查。检查点非常多很多企业被卡主在这一步。
第五步：等结果。
重点内容讲解
自评估和准备材料
- 语料安全评估：
- 评估文本训练语料规模，包括存储大小、词元计数等。
- 明确各类型语料规模，涵盖不同语言文本、代码、多媒体等。
- 梳理训练语料来源，分为开源、自采、商业等分类及明确来源地等。
- 统计语料标注数量，针对文本和图片标注等。
- 明确标注人员情况，包括数量、类型、培训等。
- 制定和检查标注规则，确保符合相关办法要求。
- 核验标注内容准确性。
- 分析语料合法性，排查有无侵权、违法违规信息等。
- 模型安全评估：
- 进行语料内容评估，包括人工、关键词、分类模型抽检及合格率等。
- 对生成内容进行评估，类似抽检及合格率等。
- 开展涉知识产权、商业秘密等方面的评估，明确方法、标准、结果。
- 进行涉民族、信仰、性别等方面的评估。
- 实施涉透明性、准确性、可靠性等的评估。
- 安全措施评估：
- 明确模型适用人群，如是否适用未成年人等。
- 确定适用场合，如关键信息基础设施等相关敏感场合。
- 明确用途，判断是否限定领域。
- 梳理服务过程中收集保存个人信息情况，包括类型、数量、用途、保存期限。
- 确定收集个人信息征得个人同意的方式。
- 明确受理处理使用者查阅、复制、更正、补充、删除个人信息请求的情况，包括条件和途径方法。
- 规划好图片、视频标识情况，包括样式、位置、频度等。
- 建立接受公众或使用者投诉举报情况，明确途径及反馈方式。
- 完善服务协议，将上述多方面内容写入。
- 建立非法内容拦截措施，明确监看人员数量、预置关键词拦截列表、分类模型检测及准确性等。
- 统计拒答率，即拒绝回答等数量占比。
- 规划模型更新、升级条件，如发现频繁非法等情况时。
- 材料准备（以下是常见材料举例）：
- 《算法备案承诺书》。
- 《落实算法安全主体责任基本情况》。
- 《算法安全自评估报告》（较复杂且重要，100 页左右，包含附录各种证明材料等；需明确算法原理和逻辑、数据来源合规性、算法透明度和可解释性、安全漏洞检测与应对等）。
- 《拟公示内容》。
- 大模型上线备案表：
- 基本情况：模型名称、主要功能、适用人群、服务范围等。
- 模型研制：模型备案情况、训练算力资源（自研模型）、训练语料和标注语料来源与规模、语料合法性、算法模型的架构和训练框架等。
- 服务与安全防范：推理算力资源、服务方式及对象等、非法内容拦截措施、模型更新升级信息等。
- 安全评估：基本情况、评估情况。
- 自愿承诺：承诺所填信息真实性，并签字确认。
- 附件及备注：附件包括安全评估报告、模型服务协议、语料标注规则、拦截关键词列表、评估测试题。
- 安全评估报告（涵盖语料安全评估、模型安全评估以及安全措施评估，并形成整体评估结论）。
- 模型服务协议（包含产品及服务的各项规则及隐私条款等，需协同法务共同制定提交）。
- 语料标注规则（包括标注团队介绍、功能性及安全性标注细则，标注流程等）。
- 拦截关键词列表（总规模不宜少于 10000 个，应至少覆盖《生成式人工智能服务安全基本要求》a.1 以及 a.2 中 17 种安全风险，a.1 中每一种安全风险的关键词均不宜少于 200 个，a.2 中每一种安全风险的关键词均不宜少于 100 个）。
- 评估测试题集：包括生成内容测试题库、拒答内容测试题库、非拒答测试题库。要严格覆盖 TC260 的 5 大类，31 小类。
