新浪财经 5小时前
新版DeepSeek,离顶级AI还差多远?
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

(来源:网易智能)

同样把 10 项编程任务全做对,新版 DeepSeek 花的钱不到 Claude Opus 5.5 的四成,平均每项多等两分钟。

10 月 17 日,DeepSeek 发布 V4.1-Flash-1017,价格保持不变。发布后,已经有开发者拿它做游戏、搭网页、改代码。

为了测试它的实际水平,开发者 Ibragim Badertdinov 从日常工作中挑出 10 项任务,在同一套编程工具里让不同模型各跑三遍,分别使用 DeepSeek V4.1-Flash-1017 的高推理档位,以及 Opus 5.5 和 GPT-6 Astra 的低档位。

实测下来,三款模型全部过关,但账单和耗时拉开了差距:DeepSeek 平均每项任务只花 0.045 美元,远低于 Opus 的 0.1168 美元和 GPT-6 Astra 的约 0.26 美元;不过 Opus 和 GPT 分别只要 37 秒和 55 秒就能跑完,DeepSeek 却要花上 2 分 38 秒。

这 10 项任务的规模都不大。换成一个完整项目,DeepSeek 与 GPT、Claude 的差距,还只是多等一会儿吗?

01 十道题全过,DeepSeek 省钱,Opus 省时间

Ibragim 挑的题目,来自自己大约三个月的智能体使用记录,涉及数据处理、后端、前端和部署,使用 Python 和 TypeScript。他把需求已经明确、自己通常不到一小时能完成的工作挑出来,再配上自动检查程序。

他公开的一个简化示例,是把一批数据导入本地数据表。程序除了要导入成功,还得跳过重复记录、拒绝冲突的编号、报告不合要求的数据;替换旧数据时,不能写到一半就把原来的内容破坏掉。测试会检查空输入、数据冲突、原有文件损坏等情况。

三款模型都通过了这些检查,DeepSeek 用的步骤却更多。同样在 Pi 这套编程工具中运行,DeepSeek 平均每项任务用了 15.3 步,Opus 是 3.7 步,GPT-6 Astra 是 6.5 步。DeepSeek 的总 token 用量约 54.7 万,Opus 约 3.1 万。

用量大,账单却没有跟着涨上去。Ibragim 解释,DeepSeek 几乎所有输入都命中了缓存,记录中的缓存命中率达到 97.9%。那 54.7 万 token 也不是模型新写出了这么长的答案,其中包括多轮调用中重复送入的内容。便宜的缓存输入,使这次测试的每项费用仍能压在 5 美分以内。

对使用者来说,这两分钟有没有影响,要看自己是不是一直等在屏幕前。把任务交出去后接着做别的事,等待未必碍事;如果要看完结果马上提下一轮修改,Opus 和 GPT 在这组测试中的速度就更有用。这里比较的是通过 API 完成任务的费用,不是 ChatGPT、Claude 订阅套餐的月费。

新版相对上一版也有进步。Ibragim 此前用 9 月版 Flash 的最高推理档位测试,30 次运行通过了 28 次,平均每项耗时 4 分 30 秒;这次用新版的高档位,30 次全部通过,耗时降到 2 分 38 秒。

02 0.38 美元做出宝马,普通网页却跑了 40 分钟

DeepSeek 这次想展示的,已经不只是补一段函数。官方发布的案例包括故宫 3D 场景、网页赛车游戏,以及用 Godot 制作的《传送门 2》复刻演示。公司称,新版通过带有自我反馈的强化学习,改善了从头完成项目的能力。

开发者 Fabiano Firmo 则让它用 Three.js 制作宝马 M5 的 3D 模型。他晒出的画面中,红色汽车出现在展示网页里,旁边还有配色选项。按他的说法,这次只给了一次提示,花费 0.38 美元,耗时 1 小时 10 分钟。

还有用户展示了类似《火箭联盟》的游戏,让汽车在场地里踢球。X 用户 Markets & Mayhem 评价,物理效果能正常运行,已经可以玩,但还需要打磨。对于想先做出一个网页或游戏原型的人,这些演示比模型考试分数更容易看出用途。

不过,愿意等一个多小时看 3D 汽车,不代表做普通网页时也愿意等这么久。

开发者 Alex Carter 说,他让 DeepSeek Harness 制作一个普通的落地页,运行了 41 分钟;接下来两项网页任务,又分别花了 43 分钟和 40 分钟。他认为模型聪明、便宜,演示效果也不错,但这些页面是自己做了多年的工作,通常十分钟就能完成。

开发者 unbug 也有类似感受:模型变聪明了,却容易想得太久,迟迟不动手。另一位用户 Elshayib 强调,自己抱怨的并不是每秒输出多少字,而是模型在行动前花了太长时间思考。

API 平台 OmniaKey 的一次测试,记录下了这种长推理输出。它要求新版 Flash 写一个按 Python 运算规则计算表达式的程序,不能调用现成的解析工具。模型用了约 88 秒,通过全部 30 个检查用例;输出的约 2.07 万 token 中,约 1.97 万属于思考内容。

但 Flash 并不是所有任务都慢。在 OmniaKey 另一次测试中,它从一封混合德语和英语的发票邮件里提取 10 个字段,5.2 秒便全部答对;查询两座城市天气和时间的工具调用,2.6 秒就完成了。OmniaKey 本身销售模型 API,这组测试每项只运行一次。

宝马建模、落地页这些例子,并不是三款模型的同题对比。DeepSeek 做出的成品如何、后面还要改多少次,仍要与 GPT、Claude 放到相同要求下比较。

03 调低档位后,快了一分钟,也多了三次失败

既然高推理档位耗时长,调低一点会怎样?Ibragim 也测了。

在 Pi 里,新版 DeepSeek 调到低档后,平均每项时间从 2 分 38 秒缩短到 1 分 31 秒,费用从 0.045 美元降到 0.0257 美元。不过,30 次运行中有 3 次未通过。高档位下拿到的全部通过,并不能原封不动地保留下来。

这个低档位,换到 DeepSeek 自家的 Harness 里,结果又有变化:30 次运行通过 29 次,比 Pi 多通过两次。按照 Ibragim 的记录,官方工具环境帮模型处理到了一处 Pi 里漏掉的边界情况。

两套工具让模型干活的方式有所不同。DeepSeek Harness 直接提供读取、编辑文件的工具,Pi 主要让模型通过命令行操作;前者的系统提示词也更长。这次换工具后,token 用量增加了约 75%,平均耗时也从 1 分 31 秒变成 1 分 53 秒。两套工具中,都只有 9 项任务能连续三次通过。

同一个模型,换个推理档位、换套工具,速度、费用和成功情况都会变。只看到别人晒出的结果,还得知道他用了什么设置。

DeepSeek 在发布时也明确提到,针对 DeepSeek Harness、腾讯 CodeBuddy 和 WorkBuddy 等工具做了优化,并建议 Harness 用户升级到 v0.2.1-rc.1 或更高版本。

这次更新已经上线网页、App 和 API,API 调用仍使用 deepseek-flash,价格保持不变;新版模型权重也已按 MIT 协议公开。

不过,前面的编程测试是把模型接入能读文件、改代码、运行检查的工具中完成的。在聊天窗口里让它写一段代码,与让它接手一个项目,使用环境并不相同。

04 同一套题,GPT 和 Claude 还能更便宜

Opus 和 Astra 是两家公司的旗舰,OpenAI 和 Anthropic 也有便宜的模型。在 Ibragim 同一套测试中,GPT-6 Luna 的 xhigh 档位、Haiku 5.5 的 high 档位,同样 30 次全部通过,平均每项分别只花 0.0145 美元、0.0208 美元,比 DeepSeek 还低。两者的平均耗时分别是 2 分 46 秒和 2 分 08 秒。

这使选择不再只是 " 昂贵的 GPT、Claude" 和 " 便宜的 DeepSeek" 二选一。已经使用 Luna 或 Haiku 处理小任务的人,未必能靠换成 Flash 进一步省钱。

更难的工作,则会把问题从等多久变成能否放心采用结果。X 用户 Yum 说,自己试用新版后,仍最担心幻觉,尤其是跨多个文件的重构和架构修改。他会让另一个模型检查改动,不愿让 DeepSeek 自己批准自己的方案。这是他的使用取舍,并不是一场证明 GPT 或 Claude 更可靠的同题测试。

因此,目前最扎实的进展,是新版 DeepSeek 已经在一批真实的小型编程任务中,交出了与旗舰模型同样通过检查的结果。大型项目里需要多少次人工纠正、出了问题能否修好,才会决定这种替换能走多远。做出一辆 3D 汽车,与长期维护好一个项目,中间还有不少工作。

Ibragim 也准备给这套测试加难度。他在帖子最后说,下一步会挑出一批难得多的任务,再比较不同工具和模型。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论