AI创业公司DeepCogito初试啼声,模型表现直逼先进模型

逢纪说科技 2025-04-12 03:11:59

人工智能因开发成本过高,故门槛也高,但DeepSeek出现后,有更多挑战者加入市场。旧金山AI创业公司Deep Cogito最近推出Cogito v1全新开源大型语言模型(LLM)系列,基于Meta Llama 3.2微调,有混合推理力,快速回答问题,或像OpenAI的o系列和DeepSeek R1能“反思”。

Deep Cogito核心在独特训练法──蒸馏和增强(IDA),与传统人类反馈强化学习(RLHF)或教师模型蒸馏不同,IDA分配更多计算资源产生解决方案,然后将推理过程蒸馏至模型参数,创建反馈循环。Deep Cogito CEO兼联合创办人Drishan Arora比喻为Google AlphaGo自我对弈,只不过改用于自然语言处理。

Deep Cogito首批模型系列有五种基本规模:30亿、80亿、140亿、320亿和700亿参数。已在AI程序代码共享网站Hugging Face、Ollama、Fireworks和Together AI应用程序编程接口(API)开放。遵循Llama条款,允许商业使用,第三方企业可用于付费产品,每月用户数不超过7亿,超过需向Meta取得付费许可。Deep Cogito几个月内会发布更大模型:参数高达6,710亿。

基准测试结果,Cogito模型通用知识、数学推理和多语言任务都表现优异。Cogito 3B(标准模式)在MMLU测试比LLaMA 3.2 3B高6.7个百分点(65.4%对58.7%),推理模式,Cogito 3B在MMLU得分72.6%,ARC得分84.2%,超过自身标准模式,展示基于IDA的反思效果。更大规模Cogito 8B(标准模式)在MMLU得分80.5%,比LLaMA 3.1 8B高12.8个百分点。

Cogito模型原生支持工具调用,是代理和API集成系统日益重视的功能。Cogito 3B支持四种工具调用(简单、并行、多重和并行多重),LLaMA 3.2 3B不支持。Cogito 3B简单工具调用得分为92.8%,多重工具调用超过91%。

企业可受益低成本AI

Deep Cogito开源混合推理模型显示开源商业许可的特性使企业能低成本部署高性能AI模型,无需负担昂贵的专有模型订阅费。对中小企业而言,降低AI应用门槛,更容易业务自动化和智能化。同时混合推理能力给企业更灵活AI应用场景,需要快速回应的客户服务场景中,标准模式可以提供即时答案;而在涉及复杂问题解决或决策支持的场景中,推理模式能够提供更深入的分析和更可靠的结果。企业可以根据不同业务需求,灵活切换模型的工作模式,提高整体效率和准确性。

工具调用原生支持也使企业开发更复杂AI时更方便。企业可将Cogito模型与系统和API集成,开发更强操作功能的AI助理或代理人,从查询资讯到操作无缝过渡。客服AI不仅回答问题,还能直接查询订单系统、更新客户资讯或触发特定流程。对有技术力的企业,Deep Cogito蒸馏和增强(IDA)提供值得研究的方向。企业可尝试用类似方法,根据特定范畴数据和任务优化基础模型,开发更适合业务场景的专业AI系统。

开源模型逐渐逼近闭源优势

Deep Cogito出现与技术路线反映AI界几个关键趋势。首先,开源LLM性能差距快速缩小,甚至某些方面超越封闭模型。趋势可推动更多企业采开源AI解决方案,促进开源生态系统成熟。AI自我改善将成为下阶段竞争焦点。Deep Cogito的IDA代表减少依赖人类监督,将来可能会看到更多类似自我优化出现,推动AI系统向更高层次自主性发展。

模型规模也继续增长,但更重要的是训练法和架构创新。Deep Cogito之后671B参数模型是开源界的里程碑,但真正价值在如何创新训练法使大模型发挥更大效用。混合推理能力也将成为标准规格,将来AI系统能自主决定何时需深入思考,何时直接回应,在效率和准确性间取得平衡。

开源AI生态系统蓬勃发展代表AI成本持续下降,功能提升。现在是时候开始规划如何将先进开源模型集成至业务流程,以取得竞争优势。企业也应关注AI自我提升能力进度,为将来更强大自主AI系统做好准备。

(首图来源:shutterstock)

#创业# #模型公司# #开放源代码# #deep# #人工智能#

0 阅读:0

逢纪说科技

简介:感谢大家的关注