文心一言：百度全新一代知识增强大语言模型

网站介绍

文心一言(英文名：ERNIE Bot)是百度全新一代知识增强大语言模型，文心大模型家族的新成员，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。基于飞桨深度学习平台和文心知识增强大模型，持续从海量数据和大规模知识中融合学习具备知识增强、检索增强和对话增强的技术特色。

2023年3月16日，百度开启文心一言邀请测试。文心一言从数万亿数据和数千亿知识中融合学习，得到预训练大模型，在此基础上采用有监督精调、人类反馈强化学习、提示等技术，具备知识增强、检索增强和对话增强的技术优势。

2023年5月，百度文心大模型3.5版本已内测可用。在基础模型升级、精调技术创新、知识点增强、逻辑推理增强、插件机制等方面创新突破，取得效果和效率的提升。

2023年8月31日，文心一言率先向全社会全面开放。9月13日，百度发布文心一言插件生态平台“灵境矩阵”。文心一言面向全社会开放至百度世界2023召开，40多天的时间，文心一言用户规模已经达到4500万，开发者5.4万，场景4300个，应用825个，插件超过500个。

2023年10月17日，百度世界2023大会上，李彦宏宣布文心大模型4.0正式发布，开启邀请测试。文心大模型4.0是迄今为止最强大的文心大模型，实现了基础模型的全面升级，在理解、生成、逻辑和记忆能力上都有着显著提升。

主体功能

百度文心一言定位于人工智能基座型的赋能平台，将助力金融、能源、媒体、政务等千行百业的智能化变革，最终“革新生产力工具”。文心一言有五大能力，文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。

文学创作

在文学创作场景中，“文心一言”可根据对话问题把文学作品的核心内容进行了总结，提出续写作品的建议角度。对于新兴的文学作品衍生版本，“文心一言”能够回答相关事实性问题。

商业文案创作

就商业文案创作而言，“文心一言”能够满足为公司起名、写slogan、写新闻稿等的要求。

数理逻辑推算

以“鸡兔同笼游戏”为例，“文心一言”在满足理解题意、罗列解题思路并得出正确答案的基础上，还能辨析题目本身是否正确。

中文理解

在中文理解能力方面，“文心一言”能够正确解释成语的含义及其对应的理论知识，并能够根据给定成语创作藏头诗。

多模态生成

“文心一言”能够生成文本、图片、音频和视频，甚至能够生成诸如四川话的方言语音。

模型升级

文心大模型 4.0对比基础模型优势

文心大模型4.0是迄今为止最强大的文心大模型，实现了基础模型的全面升级，在理解、生成、逻辑和记忆能力上都有着显著提升。其中理解和生成能力的提升幅度相近，而逻辑和记忆能力的提升则更大，逻辑的提升幅度达到理解的近3倍，记忆的提升幅度也达到了理解的2倍多。

在理解能力方面，解决复杂任务能力有显著提升，能够处理更精细的多个指令;

在生成能力方面，风格文案创作表现更佳，可以输出多种用户期望的风格文案;可更为精准的遵循用户中长文本字数限制输出要求;

在逻辑能力方面，能够解决较为复杂的推理问题、代码解释更加准确完善、能够处理更加复杂的错误调试，错误识别更加精准;

在记忆能力方面，具有更长的上下文记忆能力，能够更好的保持当前对话任务。

在识别思维陷阱能力方面，有显著提升，能成功避开问题中较为隐蔽的思维陷阱;

在综合分析能力方面，能更准确地结合外部知识与给定信息进行综合分析，具有更强的概念辨析、比较分析、归纳提炼、原因分析等能力。

可处理更复杂的多任务复合型文本;有更强的、丰富的角色带入能力。

文心大模型4.0在多个关键技术方向上进一步创新突破。在万卡算力上运行飞桨平台，通过集群基础设施和调度系统、飞桨框架的软硬协同优化，支持了大模型的稳定高效训练。建设了多维数据体系，形成了数据挖掘、分析、合成、标注、评估闭环，充分释放数据价值，大幅提升模型效果。基于有监督精调、偏好学习、强化学习等技术进行多阶段对齐，保证模型更好地与人类的判断和选择对齐。可再生训练技术通过增量式的参数调优，有效节省了训练资源和时间，加快了模型迭代速度。

文心4.0在输入和输出阶段都进行知识点增强。一方面，对用户输入的问题进行理解，并拆解出回答问题所需的知识点，然后在搜索引擎、知识图谱、数据库中查找准确知识，最后把这些找到的知识组装进prompt送入大模型，准确率好，效率也高。另一方面，对大模型的输出进行反思，从生成结果中拆解出知识点，然后再利用搜索引擎、知识图谱、数据库，以及大模型本身进行确认，进而对有差错的点进行修正。

在强大的基础大模型的基础上，百度进一步研制了智能体机制，包括理解、规划、反思和进化，能够做到可靠执行、自我进化，并一定程度上将思考过程白盒化，让机器像人一样思考和行动，自主完成复杂任务，在环境中持续学习实现自主进化。