字节跳动起诉前实习生田某并索赔800万

琉璃翻书声 2024-11-29 04:57:05

什么是大模型训练?

字节跳动的众多业务,如抖音、今日头条、西瓜视频等,拥有海量的用户数据和丰富的内容生态。通过大模型训练,可以更好地理解用户行为、兴趣和需求,从而为用户提供更精准的内容推荐、个性化搜索结果。

火山引擎大模型训练框架veGiantModel,支持数据并行、算子切分、流水线并行等多种分布式并行策略,可同时支持自动化和定制化的并行策略,能够在GPU上高效地支持数十亿至上千亿参数量的大模型,并且对带宽要求低,在私有化部署时无强依赖RDMA,大大降低了训练成本和难度。

顺序是,收集海量的文本、图像、视频等多模态数据,清洗、标注、分类等预处理,先在大规模无监督数据上进行预训练,让模型学习到通用的语言知识和语义表示。模型通过预测文本中的下一个单词、填空、文本分类等任务,自动从数据中发现模式和规律。然后,在具体的下游任务上,如情感分析、文本生成、机器翻译等。

大模型训练需要大量的计算资源来支持,字节跳动为此投入了海量的GPU服务器、CPU服务器、存储设备等硬件资源,构建了大规模的数据中心和计算集群。

田某进行了哪些破坏?

田某某通过编写、篡改代码等形式对模型训练任务进行恶意攻击,利用 huggingface 的 load ckpt 函数的漏洞注入代码 ,动态修改别人的 optimer 随机 sleep 一小段时间,以及修改参数梯度的方向,并且设置了只有 256 卡以上的任务才会触发此条件,导致模型训练效果忽高忽低,无法产生预期的训练成果,影响了广告部门的部分技术工作。

田某某潜伏在集群 debug 群里,查到相关信息就进行修改,以达到破坏的目的,其行为持续了近两个月,对公司近 30 位各级员工造成巨大伤害,让同事近一个季度的工作白费。

田某造成了哪些损失?

算力和电力资源损耗:田某某通过编写、篡改代码等形式恶意攻击团队研究项目的模型训练任务,导致模型训练过程中消耗了大量不必要的算力和电力等资源。基础成本损失。

其行为致使团队在排查问题时陷入困境,投入了大量的人力和时间来查找故障原因、修复受损的模型训练任务,使得相关技术人员的精力被分散,影响了正常的研发工作进度和效率。人力成本浪费。

破坏行为导致模型训练效果极不稳定,偏离预期,影响项目计划推进。潜在收益损失。

事件被曝光后,引起了公众和行业的关注,可能会对公司的声誉和在行业内的形象造成一定的负面影响。信誉度损失。

0 阅读:0

琉璃翻书声

简介:感谢大家的关注