文/赛博禅心
写在前面
本篇基于论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。
论文地址：网页链接
该论文由Jacob Devlin、Ming-Wei Chang、Kenton Lee和Kristina Toutanova撰写，于2018年发布。它详细介绍了BERT模型的架构、预训练方法以及在多项自然语言处理任务上的表现。这篇论文在自然语言处理领域产生了深远的影响，推动了后续一系列基于Transformer的模型的发展。
Powered by 「大聪明GPT」
有没有想过，为什么你的智能手机几乎总能预测你接下来要输入的单词，或者似乎能理解你的问题呢？这很可能是因为你在不知不觉中遇到了一个叫做BERT的聪明程序。今天，我们就来了解一下这位幕后的智能语言高手BERT。
想象你有一个名叫BERT的朋友，但他不是人，而是一个超级智能的计算机程序。BERT非常喜欢阅读，甚至可以说是非常非常喜欢。你可以想象BERT深入浩瀚的书海，涉猎网站、报纸，以及互联网上的一切文字。为什么BERT要阅读这么多呢？嗯，这和你通过阅读来了解世界、学习如何使用单词的方式是一样的，BERT也是通过阅读来理解人类的语言。
但是，BERT面临一个特别的挑战。你知道，英语有时候挺复杂的。我们有很多听起来相似或者拼写相同但意义完全不同的单词。比如“crane”这个词，它可能指的是长腿的大鸟、一种举重的机器，甚至是你为了看清楚人群而伸长脖子的动作。那么，BERT如何确定我们到底在讨论什么呢？
这就是上下文发挥作用的地方了。上下文就像一个解码的秘钥，帮助你根据周围的词来理解一个单词的含义。比如你读到一句话：“I saw a crane flying over the lake(我看到一只鹤在湖上飞过)”你很聪明，会想到“flying(飞行)”和“lake(湖)”，就知道我们不是在谈论一台飞行的机器，对吧？这就是你利用上下文来理解意义的过程。
BERT也采用了相同的理念来理解语言。当它阅读句子时，会注意到所有单词及其使用方式。这帮助BERT弄清楚每个单词的意义，即便是那些可能有多重含义的单词。BERT通过一种名为“掩码语言模型”（Masked Language Model, MLM）的技术训练，变得擅长于此。可以把它想象成一种填空游戏。BERT会看一个有缺词的句子，然后尝试用周围的词来猜测缺失的词。这种游戏帮助BERT越来越擅长理解我们使用单词的不同方式。
更让人惊叹的是，BERT能够在理解一个词时考虑到它之前和之后的内容，这就是所谓的“双向”处理。例如，当BERT遇到“bank”这个词时，它会考虑前后的词来判断我们是在谈论河岸还是银行。
所以，现在你明白了！BERT是一个超级智能的程序，通过阅读大量文本并了解词语周围的上下文，来学习理解我们复杂的语言。它就像一个通过阅读世界上最大的书籍而成为语言天才的机器人伙伴。而这，只是它在文字世界探索的开始。现在，让我们来看看BERT是如何练习它的技能，从而在理解语言方面变得越来越擅长！
BERT 如何像你一样学习语言
来看看BERT是如何从语言新手成长为高手的。在学校学习新知识时，我们从理解基本规则开始，无论是语法规则还是数学规则。通过练习和老师的指导，我们逐渐进步。BERT也在经历类似的学习之旅，它通过处理句子来不仅学习语法，还要掌握整个语言。
想象一下，如果你需要通过阅读整个图书馆的书籍来学习英语。这听起来很吓人，对吧？但对BERT来说，这简直小菜一碟。BERT在网上阅读大量文本，从经典文学到最新新闻，它都不放过，以此来拼凑人类语言这个庞大的拼图。
在初始的“预训练”阶段，BERT通过一个高级版的填空游戏来学习。它从完整的句子开始，然后隐藏一些单词。和我们在测验中一样，BERT需要猜测这些缺失的单词。但BERT不是随机猜测，而是利用空白处前后的单词来进行有根据的推断，这就是“上下文”的力量。
每个隐藏的单词都是对BERT的一次小测试。和学生一样，BERT并不总是一次就猜对。它每次猜测后都会得到反馈，就像老师批改试卷一样。这些反馈帮助BERT从错误中学习，这个不断学习和调整的过程被称为“迭代学习”，是提高智力的超有效方式。
除了猜谜游戏，BERT还在学习句子之间的关系。例如，它会观察一对句子，尝试判断第二个句子是否逻辑上符合第一个句子。这就像老师让我们在课堂上写故事或论点时，每个句子都必须和前一个句子连贯。
这一切学习都不是徒劳的。BERT的学习目的是为了更好地理解语言，从而在现实世界中发挥作用，比如帮你在搜索引擎中找答案，或者将西班牙语翻译成英语而不显得怪异。就像学习历史能帮你理解新闻，学习数学能帮你计算找零一样。
BERT最神奇的地方是它不会感到疲倦或厌倦。它可以不停地从数百万句子中学习，这让它学习速度远超人类。它处理的大量文本让它接触到了语言的每一个角落，包括俚语、成语和人类喜欢用的各种古怪表达方式。
所有这些学习最终都会得到回报。BERT变得非常擅长预测单词，理解语言的结构和细微差别，也就是说它理解我们的意思了。就像你玩得越多，游戏技能越好一样，BERT也是通过不断练习而提高语言能力的。最酷的是，BERT学得越多，它帮助我们的能力就越强，从让Siri设定计时器到翻译网页都变得更容易。
现在你已经了解BERT是如何学习的，让我们看看它是如何根据周围的词来判断单词含义的。BERT会观察一个词的左右两边来猜测其意义。这样无论单词处于句子的哪个位置，BERT都能通过观察它所处的词语来理解其意思。
BERT的超能力：理解上下文
那么，BERT如何利用周围词语的上下文来准确把握一个特定词语的含义呢？这就像在单词侦探游戏中成为超级侦探，每个线索都至关重要。
当你和朋友玩猜词游戏时，你会依靠提示猜出隐藏的单词，对吧？BERT也是这样，它仔细观察神秘词前后的单词来推断其可能的意义。就像解谜一样，利用周围的词作为线索。
举个例子，假设有句话是“我把充电器忘在家里，现在我的手机电池没电了”。如果我们把“充电器”这个词替换成一个空白，你仍然可以根据线索——在家、手机、电池——来猜出缺失的词。这就是上下文的力量。
现在，想象一下BERT在极大规模上做这件事。它查看有缺词的句子（就像充电器的例子），并使用周围的词作为线索来预测这些词应该是什么。对BERT来说，这些缺失的词就像是要解决的谜题，而周围的词是帮助解答的线索。
BERT的方法更加高明——它同时阅读神秘词的左右两边。我们人类阅读时，通常更多关注未知词后面的单词。但BERT不同，它考虑整个句子，从头到尾。这种“双向”方法让BERT全面理解问题词，帮助它更准确地猜测。
为了实现这种技术，BERT运用了一种称为“Transformer架构”的技术。这就像一种高科技放大镜，专注于句子中每个单词及其与其他单词的关系。这非常重要，因为在语言中，单词不是孤立存在的，它们是句子中的一部分，意义通常取决于它们的邻居。
例如，考虑单词“bank”。如果BERT看到句子“He went fishing by the river bank(他在河岸边钓鱼)”，它会使用“fishing(钓鱼)”和“river(河)”这些词来判断这里的“bank”指河边的陆地。但如果句子是“She needs to go to the bank to withdraw money(她需要去银行取钱)”，上下文则帮助BERT理解这里的“bank”指的是金融交易的地方。
理解上下文是BERT的超能力。它让BERT能够把握一个词在不同情境下可能有的微妙差异。这一点至关重要，因为正如你所知，语言中充满了听起来相同但意义完全不同的词。BERT越擅长使用上下文线索，它猜测词语和句子正确含义和细微差别的准确性就越高。
这种技能不仅酷炫，而且非常实用。这意味着当你使用搜索引擎或与语音助手对话时，即使你使用的词语可能有多种含义，BERT也能帮助准确理解你的需求。这就像有一个不仅听你说话，而且真正理解你的个人助理。
理解上下文使BERT与早期的语言模型不同，早期模型通常只能考虑它们试图理解的单词之前的词语。但因为BERT能够一次性看整个句子，它能以一种更接近人类的方式理解语言——通过考虑整体情况。
所以下次你玩猜词游戏时，想想BERT。就像你根据朋友的提示猜单词一样，BERT利用周围单词提供的线索来对语言做出聪明的猜测。这就是BERT如何在人类语言的庞大复杂世界中，利用上下文的超能力。
训练BERT：读得越多，越聪明
如果你尝试过学习一门新语言或技能，就会理解“熟能生巧”这个道理。BERT作为一个旨在理解人类语言的智能计算机程序，同样遵循这一原则。就像我们通过阅读教科书、故事和文章来增长见识，BERT也在进行相似的活动，只是规模远大于我们。
当BERT开始它的学习旅程时，对人类语言几乎一无所知。它的目标是理解我们如何使用词汇和句子来交流。为此，BERT需要阅读大量材料，这些不只是文本，还包括小说、新闻、博客和社交媒体帖子。
BERT是如何阅读这些内容的呢？想象一下，就像给BERT提供了一个词汇和短语的自助餐。它虽然不吃东西，但通过吸收庞大文本集合中的句子来处理信息。在这个过程中，BERT会遇到像语言练习中的填空题一样的空白，然后利用上下文线索来猜测这些缺失的单词。这种训练方式被称为“掩码语言模型”（Masked Language Model, MLM），对BERT来说就像一个持续不断的测验。
除此之外，BERT还需要学习句子是如何相互关联的。这就是“下一句预测（Next Sentence Prediction, NSP）”的作用。BERT会检查句子对，判断第二句是否逻辑上紧接第一句，帮助它理解对话或故事中的思想流动。
在阅读时，BERT运用特殊的编程部分——“Transformer架构”，这使它能同时关注句子的不同部分，深入理解每个词与其他词的关系，掌握语法和词汇用法。
想象一下，同时为所有科目做作业和学习，且速度极快，这就是BERT训练的过程！这需要大量计算能力，并非一夜之间就能完成。BERT需要很多时间来处理所有“阅读材料”并从中学习。
随着训练的进行，BERT变得越来越聪明，开始识别单词使用的模式和它们在不同上下文中的含义变化。就像“set”这个词可以指放置某物，也可以指一套东西，如一套餐具。BERT通过在不同句子中见到“set”的使用来学习区分这些含义。
BERT的训练不只是一项孤独的探险。研究人员和计算机科学家会监控其表现，适时调整训练过程，就像老师会在难题上给予学生额外帮助一样。
BERT不会像我们那样感到“疲倦”，因为它是机器。当阅读了足够多的资料后，BERT会对语言有相当扎实的掌握，就像我们准备好参加考试一样。
初始训练完成后，BERT可以针对特定任务进行微调。例如，如果BERT要帮助回答问题，它会通过大量问答示例进行额外训练，以便在这项工作上更加熟练。
经过广泛的训练，BERT能够协助处理涉及语言的各种任务。当你与Siri、Alexa交谈或在Google上输入问题时，BERT在背后发挥作用。它利用所学知识来理解你的意图，即使你的表达方式之前未曾遇到过。BERT就像一名语言侦探，随时准备解读我们言语中的线索，理解我们的话。
这就是BERT如何接受训练的故事，它是认真学习、巧妙计算和大量语言体操的结合体。BERT之所以重要，是因为它帮助计算机更好地理解我们。当你与Siri、Alexa交谈或在Google上输入问题时，你希望它们真正理解你的意思，而BERT正是在这里发挥作用，确保计算机不会混淆，给你滑稽的答案。
BERT在帮助计算机理解我们
BERT为什么重要，对我们又有何意义呢？想象一下你经常会做的事情。你可能会要求Siri或Alexa播放你最喜欢的音乐，或者你可能会在Google上输入一个问题，例如“太阳系里有多少颗行星？”你肯定希望得到一个清晰、直接的答案，而不是含糊其辞的回答。
这正是BERT成为游戏规则改变者的原因。经过大量训练，BERT开始变得非常擅长理解你的问题和命令，即使你表达得不够直接。比如你问：“有很多免费书籍可以阅读的地方叫什么？”BERT足够聪明，能理解你在说图书馆。
在BERT出现之前，计算机并不总能完全理解问题。它们可能只关注一些关键词，但未能准确捕捉你真正想问的内容。假设你问：“海星能看见东西吗？”旧系统可能只会简单地列举关于海星的信息，却没有回答你关于它们视觉的具体问题。而BERT，作为一名语言专家，能理解你是好奇海星是否有眼睛并能看到东西。因此，它能给出更准确、更贴切的回答。
再来谈谈BERT如何改变搜索引擎的运作，例如Google。以前当你搜索内容时，经常会得到一系列含有部分关键词但未必能回答你问题的链接。但有了BERT，情况就不一样了。BERT帮助搜索引擎理解你搜索背后的真正意图。它关注那些能改变整个查询含义的小词，如“from”或“to”。
这里有一个很好的例子：想象你在搜索“从芝加哥到纽约的航班”。如果没有BERT，你可能会得到从纽约到芝加哥的航班结果，而这并不是你想要的。但有了BERT的智能，搜索引擎明白航班的方向——它从哪里出发，要去哪里——非常重要。这样你就能精确地找到你所需的信息，无需额外麻烦。
语音助手也因为BERT而变得更加先进。以前，你可能需要以一种类似机器人的方式说话才能被理解。比如，“天气，纽约，今天。”但现在，它就像和了解你的朋友聊天一样。你可以直接说，“纽约今天的天气怎么样？”BERT帮助你的语音助手理解你说话的自然方式。
BERT在理解口音和方言方面的帮助也很出色。世界各地的人说话方式都不一样。一些词或短语在一个地方可能非常通俗，但在其他地方可能就让人困惑。BERT广泛的阅读量帮助它理解这些差异。所以，无论你是带着德州口音还是苏格兰腔调说话，BERT都有更好的机会理解你的意思。
BERT还能帮助处理后续问题，而你无需重复整个情景。比如你问：“《哈利波特》的作者是谁？”接着你只说：“她多大了？”BERT会记得你在谈论《哈利波特》的作者，并理解你在问J.K.罗琳的年龄。不需要重新开始，BERT可以让对话流畅地进行。
BERT不仅仅在问答方面表现出色。你是否使用过Google Translate这样的服务？BERT对语言的理解帮助提高翻译的准确性，这样你就不太可能得到一个在另一种语言中毫无意义的句子。它考虑整个句子并理解词语是如何协同工作的，这意味着你可以向法国的笔友说“你好”，而不会意外地告诉他们你是一把雨伞。
BERT的智能技术并没有止步。随着BERT学习更多，阅读更多，它在帮助我们处理日常数字任务方面的能力就越强。我们正在谈论的是一个未来，也许你可以把一大块作业交给电脑并说：“帮我总结一下”，它就会知道怎么做。这很神奇，对吧？
随着我们继续教会BERT更多关于我们如何使用单词和句子的知识，它也将改善我们与各种技术的互动方式，不仅仅是我们的手机和电脑。这可能意味着更有帮助的机器人、更聪明的汽车系统能更好地理解我们，甚至更有效的学习新语言的工具。
想象一下，如果你的电脑能像朋友一样和你聊天，或者理解你的家庭作业问题并帮你解答，会是怎样的场景？BERT正在帮助构建这样的未来。通过更好地理解语言，电脑将能以我们甚至还未想到的新奇方式帮助我们！
BERT的未来：计算机都在说人话
当我们展望未来，思考BERT在理解人类语言中的角色时，我们所面临的可能性是令人激动的。我们正在谈论一个电脑和小玩意能像我们最好的朋友那样理解我们的世界。
想象一下你在做家庭作业，遇到了一个数学难题。未来，你可能只需要向电脑求助。因为BERT了解语言如何运作，电脑不仅能给出答案，还能以对你有意义的方式进行解释。
再来看看游戏领域。目前，当你玩视频游戏时，通常是按照固定的故事情节进行，角色重复相同的台词。但如果游戏角色能与你交谈，对你说的话做出反应，甚至创造出它们自己的故事，那会怎样呢？随着BERT在理解我们方面变得更加出色，游戏开发者可以创造出每次玩都不同的游戏，这些游戏是基于你与角色的对话。
我们也不要忘记了机器人。目前，机器人在对话方面还很基础。但随着BERT变得更加智能，机器人可能会更好地理解指令，回答你的问题，甚至在你感到沮丧时开个玩笑。它们可能会成为家庭中的帮手，做家务或提醒你做作业，同时像家庭成员一样与你聊天。
购物也可能变得更加简单。假设你在为妈妈的生日寻找礼物。你可以告诉你的电脑妈妈喜欢什么，BERT会理解哪些东西能让她开心。然后，它可以帮助你找到完美的礼物，甚至是你之前没想到的礼物！
在教室里，BERT可能会改变我们学习语言的方式。与其只是听录音或用抽认卡练习，BERT可以创建一个会说你正在学习的语言的虚拟对话伙伴。你可以与之交谈，犯错，并像身处一个每个人都说那种语言的国家那样学习。
说到口音，有时口音会让电脑难以理解我们。但随着BERT更多地了解不同人的说话方式，它将更好地理解各种口音。因此，无论你来自德克萨斯、澳大利亚还是印度，电脑都会像理解任何其他人一样理解你。
想象一下未来，你可以向电脑讲述一个故事，它会帮你将其变成一本书，甚至附上图片。或者你有一个歌曲创意，电脑可以帮你写出音乐。随着BERT在理解我们的意图和我们使用语言的创造性方式上变得更加出色，它可以帮助我们实现各种想法！
残疾可能也会变得不那么成为障碍。不能说话的人可以使用一台代替他们说话的电脑。如果这台电脑像BERT一样理解语言，它可以将任何手势或眼神转化为他们想说的确切词语。
安全性也可能得到提升。汽车开始实现自动驾驶，但它们需要理解乘客的指令。有了BERT的帮助，自动驾驶汽车可以理解某人是否因为上学迟到而匆忙，或者因为道路结冰需要慢行。这样，它们可以按照你的需要把你送到目的地。
最后，想想如果电脑能更好地理解我们，会有多少新发明诞生。像你们这样的孩子，与这项技术一同成长，可能会想出前所未有的点子——使用BERT的方式，甚至是最聪明的科学家们都未曾想象过的！
在一个BERT每天都在变得更聪明的世界里，我们与技术互动的方式可能会以很多酷炫的方式改变。这就像我们乘坐宇宙飞船前往一个未来，在那里我们的技术伙伴们能够确切地知道我们的意思、我们的需求，甚至可能知道我们接下来要说什么。准备好冒险吧，因为有了BERT，技术的未来看起来非常光明——而且超级健谈！