人工智能教育应用安全工作提示

发布时间:2025-11-17访问量:10

   大语言模型和人工智能(以下简称AI) 教育应用的快速发展,给教育网络安全带来了新的挑战,为进一步规范AI教育应用发展,发布以下安全提示。

一、合理选择大语言模型。优先选择网信部门备案的大模型 及服务,来源要确保正规可靠,避免使用套壳、仿冒大模型。根据国家互联网信息办公室等四部门联合发布的《人工智能生成合成内容标识办法》和《网络安全技术人工智能生成合成内容标识方法》( GB  45438-2025) 对 AI 的安全要求合理使用。

、加强大模型部署安全。使用本地化环境部署大模型和智 能体应用时,需做好服务端口的网络访问控制,加强API 接口的 用户访问控制,避免出现非法访问和内部数据泄漏。可使用大语 言模型网关 (LLM Gateway), 集中化管控和发布API 接口供各AI教育应用调用,同时可集成内容安全管控功能。对面向互联 网开放应用、面向师生公共服务、面向内部管理使用等不同AI 业务场景,应有差异化的访问控制策略。

、降低生成式AI“幻觉”。大模型可能生成看似合理但 实际错误甚至虚假的内容,且非专业人员难以分辨。要择优选择国产大模型并及时动态更新,合理设定“温度”等参数,提升结 果的准确性和输出一致性,降低“幻觉”影响。要提升师生 AI 素养与技能,发布合理使用AIGC 的指南和规范,减少因不当使 用而对教学科研和管理服务带来的干扰。

、对抗提示注入越狱攻击。通过精心构造的输入提示词攻 击诱导,可使大模型绕过其安全机制,产生不当或有害内容。不仅影响教育教学效果,也可能产生错误导向和意识形态风险。要合理设计系统提示词,如要求仅回答学习、科学、文化、技术等 正面问题,不回答涉及法律争议、暴力等敏感或不适宜讨论话题,要求遵循国内法律法规,提供符合主流价值观的内容等。要设置拒绝回答、固定回复、暂停响应等方式来对抗恶意诱导和注入攻击,过滤违法违规内容的提问和回答。

、提升 AI 应用安全防护。 建立 AI 教育应用台账,组织开展定期年审。智能体 (Agent)、 检索增强生成 (RAG)和模型上下文协议(MCP)等平台和应用,都可能大量存储个人信息、教学成果、学术研究、内部工作等数据,对大面积使用的AI教育应用应开展代码安全审计和全面渗透测试,及时发现安全漏洞并修复。可参照《生成式人工智能服务安全基本要求》(TC260-003) 进行安全评估。可通过集约化AI 平台建设和统一运维,降低因多头分散建设和缺乏有效管理带来的安全风险。

、关注大模型训练风险。在各类垂域大模型训练过程中,如果训练数据集没有经过适当的脱敏处理,可能会导致未来在生成内容时出现泄露训练集中的各类敏感信息,不仅影响个人隐私,还可能对教育敏感数据和重要数据造成严重损害。应避免将工作内部信息和高度敏感的科研内容直接纳入大模型训练集,对含个人敏感信息的内容进入语料库要提前做好脱敏工作。


返回原图
/