Llama2：百度的大模型跨境电商新动向

在8月2日的百度文心千帆大模型平台媒体圆桌会议上，百度与自己的大模型合作伙伴一同在文心千帆上开设了模型的“百货超市”。

国内的大型模型竞争已经进行了半年。大型模型的巨头们已经在从大模型研发到建立合作伙伴、渠道和生态方面取得了快速的进展。

此前，字节跳动的火山引擎和阿里巴巴的通义千问已经建立了“模型货架”，吸引了一批AI公司或大型模型公司到他们自己的平台，提供从云计算到人工智能开发等服务。

而现在的文心千帆更像是一个“跨境电商”平台：一方面，文心千帆接入了大量的第三方模型，数量达到了33个，规模超过了之前联合了7家国内大型模型厂商的火山方舟。

另一方面，RWKV、Stability Diffusion以及Meta在7月19日发布的Llama2等国外知名大型模型也陈列其中。

文心千帆上线的部分第三方大模型

此外，此次文心千帆还上线了130套预制提示词模板和插件功能。所谓的“提示词模板”，就是教会用户如何更好地向大型模型提问，从而获得更优质的反馈，而百度提供的“预制提示词模板”，则是将提问的标准答案直接呈现给用户。至于新增的插件，首先在百度的内部办公软件“如流”上进行了测试，未来将陆续登陆文心千帆。

发布会上，百度智能云AI与大数据平台总经理忻舟介绍，这次入驻的第三方大模型的特色在于性能互补，能够满足不同用户的需求，比如支持无限上下文长度的RWKV，和英文能力较强的Llama2，弥补了文心一言相应的短板。

针对上架的第三方模型，百度主要在3个方面做了调控：

不过，在开源生态愈发体系化的当下，不少开源模型第三方机构对开源商用许可做出了严格的规定。即便开放了免费商用的Llama2，Meta对用户也进行了约束：如果产品的月活跃用户（MAU）超过7亿，用户必须申请特殊的商业许可证。

对此，忻舟表示，百度在引入大多数开源模型时，都会和开发团队进行沟通，比如智谱的ChatGLM2-6B既有开源版，同时也有商用版，那么针对商用版百度会与智谱进行分成。但由于上线时间紧张，因此目前百度和Meta等国外模型团队正在保持沟通。

针对已上线的第三方模型，百度将根据市场和客户反馈采取上新和淘汰机制。忻舟告诉36氪，为了降低用户的选择成本，文心千帆的模型库不会是无限扩张的状态，最终仍会根据市场选择更新或者下架。

在用户实际使用模型的过程中，提问的方式往往会影响模型输出的内容。这是因为，一个好的问题模版往往能够帮助预训练模型“回忆”起预训练时学习到的内容——这一问题模板就被称为Prompt。

不过，文心千帆并不打算花时间教用户如何写Prompt，而是直接帮用户写完问题。

此次上线的103个预制Prompt模板，覆盖了对话、编程、电商、医疗、游戏、翻译、演讲等十多个场景。据百度智能云AI平台副总经理李景秋介绍，预制Prompt模板来源于百度智能云在产业实践中积累的Prompt模板，也源自文心一言的高频用户。

文心千帆上线的103个预制Prompt模板

比如当用户希望文心一言对电影《芭比》做出评价时，简单提问“电影《芭比》好看吗？”与使用预制Prompt模板后得到的影评在质量、篇幅上均有较大差距。

用“电影《芭比》好看吗？”提问后，文心一言的回答

用文心千帆预制Prompt提问后，文心一言的回答

文心千帆推出了插件功能，新增了文档摘要功能。所谓的插件就像是大型模型中的小程序，用于补充和拓展模型的能力。

之前，ChatGPT已经上线了74个插件，涵盖了购物、求职、营销、票务预定等领域。然而，过多的第三方插件也带来了安全风险。据媒体报道，安全研究人员指出，ChatGPT插件的运行方式存在潜在风险，可能导致用户数据泄露甚至被黑客滥用。

作为国内首个推出模型插件的平台，文心千帆此次上线的“百度搜索”和“ChatFile”插件均为百度自主研发。

文心一言上线的两款插件

值得一提的是，“ChatFile”可以检索PDF/Doc格式文档中的知识点，并实现文本摘要等功能。

ChatFile插件对《正午之魔：抑郁是你我共有的秘密》一书的总结

李景秋表示，文心千帆的插件已经应用于百度办公软件“如流”中。目前，如流已经接入了20个插件，包括文档搜索、会议纪要、会议室预定等功能。未来，文心千帆的插件生态也将向第三方开发者开放。

“如流”接入的20个插件

忻舟认为，一站式大型模型平台最终会更受开发者青睐。随着技术的不断成熟，底层设施和工具的开发会逐渐放缓，更多的精力将放在保证自身业务不被技术发展淘汰上。这时，上层应用对平台工具的需求会增加，平台之间的竞争将侧重于服务能力。在激烈的竞争中，一定会有一些优秀的头部平台脱颖而出，成为主要的玩家。