“字节跳动大模型训练被实习生攻击，涉事者已被辞退”的消息冲上多个平台热搜。
10月18日，多个微信群流传一则消息：“某头部大厂的大模型训练被实习生入侵，注入了破坏代码，导致其训练成果不可靠，可能需要重新训练。据称遭到入侵的代码注入了8000多张卡，带来的损失可能超过千万美元。”
对此，证券时报·e公司记者联系字节跳动方面，截至发稿并未获得回应。但接近字节人士对e公司记者透露，确有实习生破坏AI模型训练，但损失金额和处理方式被夸大。
面临安全管理问题
据界面新闻报道，从知情人士处获悉，该头部大厂为字节跳动。此事发生在今年6月，起因是某高校的博士在字节跳动商业化技术团队实习，因对团队资源分配不满，使用攻击代码破坏团队的模型训练任务。
传闻显示，该田姓实习生利用了HF（huggingface）的漏洞，在公司的共享模型里写入破坏代码，导致模型的训练效果忽高忽低，无法产生预期的训练效果，而且AML团队无法核查原因。但传闻曝出之后，该实习生还在某微信群里辟谣称，自己发完论文后就从字节跳动离职，这个当口有另一个人钻漏洞改模型代码，把锅扣到自己头上。
据媒体从知情人士处了解到，字节跳动内部已经调查明确此事为田姓实习生所为。目前，该实习生已被辞退，字节跳动同时把此事同步给行业联盟和该实习生所在的学校。但这名实习生被辞退后到处“辟谣”甩锅，称是其他人所为。
另有报道称，一位技术安全专家向媒体表示，HF漏洞的产生通常与单一性集中训练有关，此次事件暴露出字节跳动在技术训练中的安全管理问题。公司既未实施权限隔离，也未做好共用代码的审计工作。在正常情况下，每次大的代码变动都应进行审计，并记录操作痕迹，以确保无法单独篡改代码。
该技术安全专家指出，目前行业通用的做法是实施三级隔离导向性部署，每一级仅包含镜像，并在每次操作前进行扫描。调用需按次计算，并必须提供密钥。每一级完成后，才能进入下一级，同时上一级将自动删除，以实现分级训练。
实际上，e公司记者注意到，大模型在安全性方面的问题已经受到业内高度关注。今年8月，中国信通院发文称，近年来，以大模型为核心的人工智能技术飞速发展，成为数字经济增长新动能。然而，作为新质生产力的大模型在安全性方面仍存在较多缺陷，这为其大规模落地应用带来了不确定性。近期，中国信通院发布的大模型安全基准AI Safety Benchmark的测试结果显示，大模型（尤其是开源大模型）在恶意诱导手段下的攻击成功率均较原始输入有明显提升。因此，对大模型进行安全对齐防护刻不容缓。
加码大模型应用
今年以来，作为头部互联网大厂，字节跳动正在加码大模型建设和应用。5月15日，字节跳动豆包大模型在火山引擎原动力大会上发布。火山引擎是字节跳动旗下云服务平台，火山引擎总裁谭待现场介绍，豆包大模型正成为国内使用量最大、应用场景最丰富的大模型之一，目前日均处理1200亿Tokens文本，生成3000万张图片。豆包主力模型在企业市场的定价只有0.0008元/千Tokens，0.8厘就能处理1500多个汉字，比行业便宜99.3%。
此后，各大厂的大模型开启大幅降价，价格战愈演愈烈。
今年8月，字节跳动火山引擎宣布推出对话式AI实时交互解决方案，搭载火山方舟大模型服务平台，通过火山引擎RTC实现语音数据的采集、处理和传输，并深度整合豆包·语音识别模型和豆包·语音合成模型，简化语音到文本和文本到语音的转换过程，提供智能对话和自然语言处理能力，帮助应用快速实现用户和云端大模型的实时语音通话。
近期，字节跳动还宣告进军AI视频生成。9月24日，字节跳动旗下火山引擎发布了豆包视频生成-PixelDance、豆包视频生成-Seaweed两款大模型，面向企业市场开启邀测。据火山引擎介绍，全新设计的扩散模型训练方法攻克了多镜头切换的一致性难题。据火山引擎披露，截至9月，豆包语言模型的日均tokens使用量超过1.3万亿，相比5月首次发布时猛增十倍。
10月15日，在2024火山引擎视频云技术大会上，火山引擎正式发布大模型训练视频预处理方案，该方案能够有效解决视频大模型训练的成本、质量和性能等方面的技术挑战，并已应用于豆包·视频生成模型中。
还没有评论，来说两句吧...