就在刚刚,马斯克一手开源动作,引发了大伙儿的高度关注——
xAI 现在正式开源 Grok 2.5,Grok 3 将在半年后开源。
其实早在本月初的时候,马斯克就公开表示过:
是时候开源 Grok 了,将会在下周。
虽然开源的时间已经超过了他说的节点,但也正如网友所说:
迟到总比没有的好。
42 个文件,500 个 G
xAI 官方建议用 SGLang 来运行Grok 2,具体步骤如下。
你可以把 /local/grok-2 换成任何你喜欢的文件夹名字:
hf download xai-org/grok-2 — local-dir /local/grok-2
第二步,启动服务器。
xAI 官方建议安装最新版的 SGLang 推理引擎(版本号 >= v0.5.1,地址为:https://github.com/sgl-project/sglang/)。
然后用下面的命令来启动推理服务器:
python3 -m sglang.launch_server — model /local/grok-2 — tokenizer-path /local/grok-2/tokenizer.tok.json — tp 8 — quantization fp8 — attention-backend triton
值得一提的是,这个模型需要 8 个 GPU(每个都得有超过 40GB 的显存)才能运行。
最后一步,就是发送请求。
这是一个经过预训练的模型,所以我们需要确保使用的是正确的聊天模板:
python3 -m sglang.test.send_one — prompt "Human: What is your name?<|separator|>nnAssistant:"
发送请求后,我们就应该能看到模型会回复它的名字了,即 Grok。
那么 xAI 最新开源的 Grok 2,到底是什么水平?
虽然其能力定然是不及当下的各种最先进的主流模型,但我们可以从去年 xAI 发布的 Grok 2 相关模型的技术博客中略知一二。
当时,它在 LMSYS 排行榜上,总体 Elo 分数已经超越了 Claude 和 GPT-4。
并且在一系列学术基准测试中,Grok 2 系列在研究生级别科学知识(GPQA)、一般知识(MMLU、MMLU-Pro)和数学竞赛问题(MATH)等领域达到了与其他前沿模型相竞争的性能水平。
不过有一说一,网友们虽然觉得马斯克开源的动作还挺好的,但也有不少诟病的言论。
例如在 HuggingFace 中,我们并没有看到 xAI 明确指出开源模型的参数权重。
因此网友们就只能根据以往的信息,猜测它是 2690 亿个参数的 MoE 模型。
其次,就是开源协议的问题,因为 xAI 在 HuggingFace 中的表述是这样的:
用网友的话来说,这基本上就是一个非商业许可的:
Mistral、Qwen、DeepSeek、微软,甚至是 OpenAI 都在用 MIT 或 Apache 2.0 许可来开源模型。
以及,也是最重要的一点,就是运行这个开源模型的条件:
谢谢,我现在只需要 8 块显存超 40GB 的 GPU ……
Two More Thing:
除了开源动作之外,马斯克还发布了 Grok APP 上的一些新功能。
这次的更新(v1.1.58)主要是聚焦在了AI 视频生成,具体效果如下:
感兴趣的小伙伴可以在 APP 上体验喽。
以及马斯克还发了一段有趣的言论:
xAI 很快就会超越谷歌,但中国公司才是最大对手。
参考链接:
[ 1 ] https://x.com/elonmusk/status/1959379349322313920
[ 2 ] https://x.com/HuggingPapers/status/1959345658361475564
[ 3 ] https://x.com/elonmusk/status/1959384678768447976
[ 4 ] https://x.com/elonmusk/status/1959388879888302363
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法!
— 完 —
专属 AI 产品从业者的实名社群,只聊 AI 产品最落地的真问题 扫码添加小助手,发送「姓名 + 公司 + 职位」申请入群~
进群后,你将直接获得:
最新最专业的 AI 产品信息及分析
不定期发放的热门产品内测码
内部专属内容与专业讨论
点亮星标
科技前沿进展每日见
登录后才可以发布评论哦
打开小程序可以发布评论哦