量子位 08-24
刚刚,马斯克开源Grok 2.5:中国公司才是xAI最大对手
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

就在刚刚,马斯克一手开源动作,引发了大伙儿的高度关注——

xAI 现在正式开源 Grok 2.5,Grok 3 将在半年后开源。

其实早在本月初的时候,马斯克就公开表示过:

是时候开源 Grok 了,将会在下周。

虽然开源的时间已经超过了他说的节点,但也正如网友所说:

迟到总比没有的好。

42 个文件,500 个 G

xAI 官方建议用 SGLang 来运行Grok 2,具体步骤如下。

你可以把 /local/grok-2 换成任何你喜欢的文件夹名字:

hf   download xai-org/grok-2   — local-dir /local/grok-2

第二步,启动服务器

xAI 官方建议安装最新版的 SGLang 推理引擎(版本号 >= v0.5.1,地址为:https://github.com/sgl-project/sglang/)。

然后用下面的命令来启动推理服务器:

python3   -m sglang.launch_server — model /local/grok-2   — tokenizer-path /local/grok-2/tokenizer.tok.json — tp   8   — quantization fp8 — attention-backend triton

值得一提的是,这个模型需要 8 个 GPU(每个都得有超过 40GB 的显存)才能运行。

最后一步,就是发送请求

这是一个经过预训练的模型,所以我们需要确保使用的是正确的聊天模板:

python3 -m sglang.test.send_one — prompt "Human: What   is   your name?<|separator|>nnAssistant:"

发送请求后,我们就应该能看到模型会回复它的名字了,即 Grok。

那么 xAI 最新开源的 Grok 2,到底是什么水平?

虽然其能力定然是不及当下的各种最先进的主流模型,但我们可以从去年 xAI 发布的 Grok 2 相关模型的技术博客中略知一二。

当时,它在 LMSYS 排行榜上,总体 Elo 分数已经超越了 Claude 和 GPT-4。

并且在一系列学术基准测试中,Grok 2 系列在研究生级别科学知识(GPQA)、一般知识(MMLU、MMLU-Pro)和数学竞赛问题(MATH)等领域达到了与其他前沿模型相竞争的性能水平。

不过有一说一,网友们虽然觉得马斯克开源的动作还挺好的,但也有不少诟病的言论。

例如在 HuggingFace 中,我们并没有看到 xAI 明确指出开源模型的参数权重

因此网友们就只能根据以往的信息,猜测它是 2690 亿个参数的 MoE 模型。

其次,就是开源协议的问题,因为 xAI 在 HuggingFace 中的表述是这样的:

用网友的话来说,这基本上就是一个非商业许可的:

Mistral、Qwen、DeepSeek、微软,甚至是 OpenAI 都在用 MIT 或 Apache 2.0 许可来开源模型。

以及,也是最重要的一点,就是运行这个开源模型的条件:

谢谢,我现在只需要 8 块显存超 40GB 的 GPU ……

Two More Thing:

除了开源动作之外,马斯克还发布了 Grok APP 上的一些新功能。

这次的更新(v1.1.58)主要是聚焦在了AI 视频生成,具体效果如下:

感兴趣的小伙伴可以在 APP 上体验喽。

以及马斯克还发了一段有趣的言论:

xAI 很快就会超越谷歌,但中国公司才是最大对手。

参考链接:

[ 1 ] https://x.com/elonmusk/status/1959379349322313920

[ 2 ] https://x.com/HuggingPapers/status/1959345658361475564

[ 3 ] https://x.com/elonmusk/status/1959384678768447976

[ 4 ] https://x.com/elonmusk/status/1959388879888302363

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

—    —

专属 AI 产品从业者的实名社群,只聊 AI 产品最落地的真问题   扫码添加小助手,发送「姓名 + 公司 + 职位」申请入群~

进群后,你将直接获得:

  最新最专业的 AI 产品信息及分析  

   不定期发放的热门产品内测码

   内部专属内容与专业讨论

点亮星标

科技前沿进展每日见

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

马斯克 开源 数学竞赛 gpu 研究生
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论