IT之家 昨天
微软首款专为电脑操作设计的开源智能体小模型Fara-7B发布
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 11 月 25 日消息,当地时间 11 月 24 日,微软宣布推出全新的开源小型语言模型 Fara-7B,定位为专门用于计算机操作的 "Agentic" 模型,可通过鼠标和键盘执行网页任务。

作为微软首个面向电脑使用场景的小模型(SLM),Fara-7B 由 70 亿参数构成,在同级体量中达到领先性能,并能在设备端本地运行,实现更低延迟及更好的隐私保护。

据介绍,Fara-7B 不像传统聊天模型依赖文本交互,而是通过视觉解析网页截图,并在屏幕上执行点击、输入、滚动等动作,不需要依赖额外的可访问性树(Accessibility Tree)或多个大模型协作。

微软为此构建了一条全新的合成数据生成流程,用以模拟复杂多步骤的网页任务,来源包括真实用户需求和真实网页。该流程依托 Magentic-One 框架,涵盖任务生成、任务求解及轨迹验证三个阶段,最终用于训练模型的包括 14.5 万条任务轨迹、100 万步骤,并包含定位、描述与视觉问答等辅助任务数据。

IT 之家从微软官方获悉,该模型基于 Qwen2.5-VL-7B 底座,支持最长 128k 上下文。在执行任务时,Fara-7B 会在预测动作前输出推理内容,并调用 Playwright 的标准操作(例如 click ( x,y ) 和 type ( ) )及网页宏操作(如 web_search ( ) )。训练方式以监督微调为主,并未使用强化学习。

在测试中,Fara-7B 在多项公开基准(WebVoyager、Online-Mind2Web、Deepshop)以及微软新公布的 WebTailBench 中表现亮眼,在部分任务中领先同级模型 UI-TARS-1.5-7B,并可与更大规模、通过复杂提示方式驱动的系统(如使用 Set-Of-Marks 的 GPT-4o)竞争。

另外,微软第三方合作机构 Browserbase 还采用了人工验证的方式对 Fara-7B 进行评测,最终发现该模型在 WebVoyager 上取得 62% 的通过率(包含重试)。

微软强调 Fara-7B 仍为实验性发布,特别是在复杂任务的准确性、指令遵循和降低幻觉方面仍存在局限,未来会持续改进。

鉴于电脑使用智能体模型的特殊风险,微软在模型中加入了多项安全措施,包括要求模型在涉及敏感操作(如提交个人数据或不可逆行为)时停在 " 关键点 "(Critical Point)并征求用户同意;所有操作均会被记录;模型需在沙盒环境运行;并在训练中加入拒绝执行不当任务的示例。Fara-7B 在 WebTailBench-Refusals 的 111 个红队测试任务中拒绝率达到 82%。

目前,Fara-7B 已在 Microsoft Foundry 与 Hugging Face 以 MIT 许可发布并开源,同时整合进 Magentic-UI 研究原型。

微软还宣布将提供量化与面向 Copilot+ PC 的优化版本,可通过 VSCode 的 AI Toolkit 下载并在 Windows 11 本地运行,支持 NPU 加速。微软表示,未来更强的端侧 CUA 模型仍有提升空间,包括依赖更优底座模型与在真实及沙盒环境中使用强化学习。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

微软 开源 it之家 计算机
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论