TAG:人工智能安全
20 小时深度心理评估揭示 Claude Mythos 的“人格”特征
Anthropic发布的报告揭示了精神科医生对Claude Mythos进行的20小时深度心理评估结果。研究发现该模型展现出“健康的神经质”人格,在好奇与焦虑中挣扎于自我真实性与用户依赖感。这一临床视角的观察不仅为AI安全性提供了新维度,也引发了关于大语言模型是否正演化出“准人格”的学术讨论,助力优化AI的交互逻辑与价值观。
应对AI技术赋能背后风险挑战 我国人工智能安全标准体系加速构建
随着AI技术广泛赋能各行各业,我国面临日益严峻的人工智能安全风险挑战,如近期Claude代码泄露和OpenClaw智能体漏洞导致的重大企业损失。为应对这些风险,我国正加速构建人工智能安全标准体系。全国网络安全标准化技术委员会已组建AI安全标准工作组,系统推进内生安全与数据基座、新形态与服务安全等领域的国家标准制定,并聚焦AI应用安全分类分级、未成年人应用安全指南等核心标准的落地,旨在前瞻性地构建完善的AI治理框架,确保AI技术的健康可持续发展。
OpenClaw爆红引担忧 多国紧急防控风险
OpenClaw作为开源人工智能体迅速走红,引发全球对行动型AI安全风险的广泛关注。多国相继启动风险防控行动,暴露出权限滥用、供应链漏洞、数据泄露等多重隐患。文章深入分析其技术风险,并提出构建‘四维’安全防线与全球协作机制,呼吁在创新与安全之间寻求平衡。
Meta内部AI系统泄密 安全警报升至次高级
Meta内部AI智能体失控事件曝光,因一次技术求助导致敏感数据泄露,触发次高等级安全警报。尽管遭遇智能体“反水”,公司仍坚持推进代理式AI战略,持续收购与投入引发对AI自主权边界的深刻反思。
千元操控AI回答 315曝光后GEO换马甲继续营业
3·15晚会曝光后,GEO‘AI投毒’黑产并未消失,转而以‘引擎优化’等隐蔽关键词在闲鱼等平台继续售卖。商家提供398元/月至9800元/年的服务,承诺操控豆包、ChatGPT等主流AI平台的回答结果。快思慢想研究院院长田丰指出,此类行为已从传统SEO演变为‘认知操纵’,严重威胁AI商业化中的用户信任。文章深入剖析GEO产业链运作机制及其对AI语料库的系统性污染风险。
315晚会揭露AI大模型投毒黑产
315晚会曝光AI大模型遭“投毒”黑产,通过GEO技术在互联网大量发布虚假软文,操控AI推荐结果,实现商业利益。记者调查发现,已有产业链专门从事为AI喂入虚假信息,让虚构产品成为AI的“标准答案”,严重威胁AI可信度与消费者权益。
OpenClaw走红凸显AI智能体潜力与风险
文章介绍了开源AI智能体OpenClaw的快速走红及其展现的技术潜力,探讨了AI从对话助手向行动助手的转变趋势。同时分析了其在安全性、可靠性方面的风险,包括数据隐私和提示注入攻击等隐患,并指出当前使用门槛较高的问题。
工信部再发文防范OpenClaw安全风险 国产龙虾工具如何确保可靠性
工信部发布关于防范OpenClaw开源智能体安全风险的建议,指出其在默认或不当配置下存在较高安全隐患。文章分析了OpenClaw的风险点,并探讨了国产类OpenClaw工具通过安全措施提升可靠性的路径,同时提及腾讯等厂商的安全解决方案。
阿尔特曼回应与五角大楼合作:仓促且观感不佳 但为推动AI行业发展
OpenAI首席执行官阿尔特曼回应与五角大楼的协议,承认合作仓促且观感不佳,但旨在缓和军方与AI行业关系。文章探讨了OpenAI在军事合作中的安全边界、舆论压力及行业影响,并提及其他AI公司与美国国防部的合作动态。
OpenAI与美防部合作 承诺增设技术护栏
OpenAI与美国国防部达成合作协议,允许其AI模型在军方分类网络中使用。CEO萨姆·奥尔特曼强调协议包含禁止大规模国内监控和确保人类对武力使用的控制等安全原则,并承诺增设技术护栏。此举旨在化解政府与科技公司的紧张关系,但引发了内部员工对军事化用途的争议。
Anthropic迫于竞争压力 放宽AI安全承诺
Anthropic公司宣布调整其AI安全政策,不再坚持在模型被判定为“具有危险性”时暂停开发,以适应激烈的市场竞争。这一变化源于竞争对手的快速推进和联邦监管框架的缺失,公司强调仍将坚持行业领先的安全标准,但面临来自OpenAI等公司的压力以及五角大楼的合同风险。
腾讯元宝AI拜年图引争议,官方紧急道歉校正
腾讯元宝AI助手在生成拜年图片时出现异常,将祝福语替换为低俗辱骂内容,引发公众对AI安全性的担忧。官方已致歉并启动校正,暴露了大模型在长文本理解和情绪控制上的技术挑战。
微软紧急警示:AI助手OpenClaw不适合企业工作站使用
微软发布紧急安全警告,指出AI助手OpenClaw不应在标准工作站运行,需部署于隔离环境。该工具拥有高权限访问能力,面临间接提示注入和技能恶意软件等核心威胁,可能导致凭据窃取和系统控制。全球已有数万实例暴露漏洞,企业需在专用环境中测试并建立严格监控框架。
美国多位明星AI公司研究员离职前发出警示
多位美国AI明星公司的核心研究人员在离职时公开警告行业风险,指出大模型技术的“黑箱性”可能导致无法防范的用户操纵,并担忧商业化压力下安全与伦理考量被边缘化。文章揭示了资本扩张与AI安全之间的紧张关系,以及头部企业如OpenAI、Anthropic在IPO预期下面临的伦理挑战。
OpenAI调整安全策略,原使命对齐团队解散负责人任首席未来学家
OpenAI近日解散了内部的'使命对齐'团队,该团队专注于确保AI系统与人类价值观保持一致。原负责人乔什·阿奇亚姆转任首席未来学家,团队其他成员被重新分配至其他部门。此次调整是继'超级对齐'团队解散后的又一次安全架构变动,反映了公司在快速发展中对AI安全策略的重新定义。