百度文心大模型
本地来源：seo-llm/SEO实战密码-markdown/第09章 人工智能与 SEO/使用中的人工智能搜索算法/百度文心大模型.md
百度文心大模型
2019 年3 月，百度发布基于飞桨深度学习平台的知识增强型文心大模型ERNIE 1.0，这是现在百度生成式 AI 文心一言的前身。
文心大模型是无监督学习的深度神经网络预训练模型，大幅提升了自然语言处理的效果。根据百度的测试，在语言推断、语义相似度、命名实体识别、情感分析、问答匹配等各类中文任务方面，文心大模型效果全面超越 Google 的 BERT 模型。后续的 ERNIE 2.0 及 ERNIE 3.0 版本多次获奖，包括其英文模型 2021 年在国际权威的复杂语言理解任务评测 SuperGLUE 上，以超越人类水平 0.8 个百分点的成绩位列全球第一。
之所以称为知识增强型，也是与 BERT 的区别在于，文心大模型学习了海量文本中蕴含的潜在知识，建模对象不仅是原始语言，还通过建模海量数据中的实体概念等先验语义知识，增强了模型语义表示能力。
图 9-6 是百度给出的例子。
图 9-6 百度文心大模型与 BERT 模型的区别
在 BERT 模型中，通过“哈”与“滨”在训练语料中的共同出现，即可判断出中间的“尔”字，但模型没有学习与“哈尔滨”相关的知识。而 ERNIE 通过学习词与实体的表达，使模型能够建模出“哈尔滨”与“黑龙江”的关系，学习到“哈尔滨”是“黑龙江”省会，以及“哈尔滨”是个冰雪城市。
2019 年 7 月发布的 ERNIE 2.0 能够全面捕捉训练语料中的词法、语法、语义等潜在信息，如人名、地名、机构名等词语概念知识，句子间顺序和距离关系等结构知识，文本语义相似度和语言逻辑关系等语义知识。
2021 年 7 月发布的ERNIE 3.0 通过对海量文本和知识的学习，参数达到 2600 亿个，在文学创作能力方面也有了显著提升，能写小说、歌词、对联，也就是说，ERNIE 3.0 不
仅能理解文字，也能生成文字。实际上，由于具备记忆和推理能力，ERNIE 3.0 是可以与
用户进行对话的，与后来横空出世的 ChatGPT 功能、水平类似，比 ChatGPT 发布还早了一年多。百度具备了相应的 AI 技术水平，但没能首先推出 ChatGPT 这种聊天机器人，失去了这个划时代产品的首发权，十分可惜。当然，Google 也没拔得头筹。
本文档为站内渲染。原始文件本地路径：saas/source/seo-llm/SEO实战密码-markdown-第09章-人工智能与-SEO-使用中的人工智能搜索算法-百度文心大模型-a4b99f.md（仅本地保留，不入库不部署）