4.2 解决传统 GNN 训练限制
传统的 GNN 训练依赖于标记数据。然而，获取高质量的标记数据往往伴随着大量的时间和成本。与 GNN 相比，LLMs 展示了强大的零样本/少样本能力，并拥有广泛的开放世界知识。这一独特的特性使 LLMs 能够直接利用节点信息进行预测，而不依赖于大量的标注数据。因此，研究人员探索使用 LLMs 生成注释或预测，减轻了图机器学习中对人类监督信号的依赖。根据图数据中结构信息的处理方式，我们将这些方法分为以下三类：
忽略结构信息：仅使用节点属性构建文本提示，忽略邻接标签和关系。
隐式结构信息：用自然语言描述邻接信息和图拓扑结构；
显式结构信息：使用 GNN 模型对图结构进行编码。
4.2.1 忽略结构信息 在文献 [122] 中探索了 LLMs 在不使用结构信息的情况下解决图任务的有效性。在引文网络中，他们使用文章的标题和摘要构建提示，并指导 LLM 预测文章的类别。由于这种范式没有结合图的结构信息，LLM 实际执行的任务是文本分类而不是与图相关的任务。
4.2.2 隐式结构信息 研究人员通过用自然语言描述图结构来隐式地利用结构信息以解决图任务。例如，Hu 等人 [122] 提出了两种使用结构信息的方法。第一种方法涉及将所有相邻节点的数据直接输入 LLM，而第二种方法使用基于检索的提示引导 LLM 仅关注相关的邻居数据。类似地，Huang 等人 [129] 使用 LLM 为相邻节点分配分数，然后选择高分节点作为结构信息。NLGraph [123] 引入了一种构建图的提示策略，以提高 LLM 对图结构的理解。该策略涉及在提供图数据描述后附加“让我们首先用节点和边构建一个图。” [20] 提出了 InstructGLM，它使用自然语言进行图描述，并通过指令调整对 FlanT5 进行微调。他们通过组合四个配置参数生成了一组 31 个提示：任务类型、包含节点特征、最大跳数和使用节点连接。值得注意的是，最大跳数和节点连接隐式地向 LLM 传达了图结构信息。GraphEdit [133] 利用 LLM 理解图结构，并通过删除噪声边和揭示隐式节点连接来完善它。具体来说，它使用边缘预测器为每个节点识别前 k 个候选边缘，然后将这些候选边缘和图的原始边缘一起输入 LLM。LLM 被提示决定哪些边缘应该整合到最终的图结构中。除了使用自然语言表达，一些研究人员还利用结构化语言来描述图。例如，GPT4Graph [21] 使用图形建模语言 [147] 和图形标记语言 [148] 以 XML 格式表示图结构。GraphText [28] 为每个图构建了一个图语法树，包含节点属性和关系信息。通过遍历这棵树，可以生成结构化的图-文本序列。GraphText 的优势在于能够通过构建各种图语法树来整合 GNNs 的典型归纳偏差。
4.2.3 显式结构信息 尽管用自然语言隐式描述结构已经取得了初步成功，但这些方法仍然面临某些局限性。首先，由于输入长度的限制，LLMs 只能获得局部结构信息，冗长的内容可能会削弱它们的推理 [149] 和指令遵循能力 [26]。其次，对于不同的任务和数据集，通常需要大量的提示工程工作。在一个数据集上表现良好的提示可能无法有效地推广到其他数据集，导致缺乏鲁棒性。因此，研究人员调查了如何明确表示图结构，通常包括三个基本模块：编码模块、融合模块和 LLM 模块。更具体地说，编码模块的目标是处理图结构和文本信息，生成图嵌入和文本嵌入。然后，融合模块将这两个嵌入作为输入，产生一个模态融合嵌入。最后，包含图信息和指令信息的模态融合嵌入被输入到 LLM 中以获得最终答案。鉴于研究重点是 LLM 如何显式利用图结构信息，我们将详细探讨各种研究的编码和融合模块，而不是主要关注 LLM 模型本身。
编码模块。编码模块负责图和文本编码，我们将分别为每个模块提供总结。
图编码。预训练的 GNN 模型通常用于图编码。例如，GIT-Mol [139] 采用预训练的 MoMu 模型 [80] 中的 GIN 模型来编码分子图。KoPA [137] 使用预训练的 RotateE 模型来获取知识图中实体和关系嵌入。此外，GIMLET [138] 提出了一个统一的图-文本模型，无需额外的图编码模块。特别是，GIMLET 提出了一种基于距离的联合位置嵌入方法，利用最短图距离来表示图节点之间的相对位置，使变换器编码器能够编码图和文本。GraphToken [144] 评估了一系列 GNN 模型作为图编码器，包括 GCN、MPNN [105]、GIN、Graph Transformer、HGT [56] 等。
文本编码。由于 LLMs 在理解文本信息方面的巨大能力，大多数现有方法，如 ProteinChat [141] 和 DrugChat [136]，直接将 LLMs 用作文本编码器。在 GraphLLM [134] 中，利用 LLM 的分词器和冻结的嵌入表来获取节点文本属性的表示，与下游冻结的 LLM 对齐。
融合模块。融合模块的目标是将图和文本模态对齐，生成一个融合嵌入作为 LLM 的输入。为了实现这一目标，一个直接的解决方案是设计一个线性投影层，将 GNN 生成的图表示直接转换为 LLM 兼容的软提示向量 [136]、[137]、[140]。此外，受到 BLIP2 的 Q-Former [150]、[139] 的启发，提出了 GIT-Former，它使用自注意力和交叉注意力机制将图、图像和文本与目标文本模态对齐。除了上述方法，G-Retriever 被提出来整合显式和隐式的结构信息 [143]。具体来说，GAT 被用来编码图结构，同时通过文本提示来表示节点和关系细节。为了适应具有更大规模的真实世界图，G-Retriever 引入了一个专门设计的 RAG 模块，用于检索与用户查询相关的子图。
4.3 异质性和泛化
尽管图神经网络（GNNs）在图任务中取得了令人瞩目的成绩，但它们也存在一些不足之处。一个显著的缺陷是邻居信息聚合机制的不足，尤其是在处理异构图时。当相邻节点缺乏相似性时，GNN的性能会显著下降。此外，GNN在面对分布外（OOD）泛化时也面临挑战，导致模型在训练数据之外的分布上的性能下降。这一挑战在实际应用中尤为突出，主要原因在于，包含所有可能的图结构在有限的训练数据中是非常困难的。因此，当GNN对未见过的图结构进行推断时，它们的性能可能会大幅下降。这种泛化能力的降低使得GNN在面对现实世界场景中不断演变的图数据时变得相对脆弱。例如，GNN可能在处理社交网络中新出现的社会关系时遇到困难。LLMs已被用来缓解上述限制。特别是，GraphText [28]通过将节点属性和关系封装在图语法树中，有效地解耦了深度和广度，与GNN基线相比，在异构图上取得了更好的结果。Chen等人[26]研究了LLM处理OOD泛化场景的能力。他们使用GOOD[151]基准作为标准，结果表明LLM在解决OOD泛化问题上表现出色。OpenGraph[145]旨在解决跨不同领域的零样本图任务。在这个模型中，LLMs被用来在数据稀缺情况下生成合成图，从而增强OpenGraph的预训练过程。
5 图对 LLMs 的增强
LLMs 在各种领域中展示了令人印象深刻的语言生成和理解能力。然而，它们仍然面临几个紧迫的挑战，包括事实意识、幻觉、推理过程中的有限可解释性等。为了缓解这些问题，一种潜在的方法是利用知识图谱（KGs），它们以结构化格式存储高质量、人工策划的事实知识 [5]。最近的综述 [152]–[154] 总结了利用 KGs 增强 LLMs 的研究。Hu 等人 [152] 回顾了知识增强预训练语言模型在自然语言理解和自然语言生成中的研究。Agrawal 等人 [153] 系统地回顾了通过利用 KGs 在三个维度上减轻 LLMs 中的幻觉的研究：推理过程、学习算法和答案验证。Pan 等人 [154] 提供了 KGs 和 LLMs 整合的全面总结，从三个不同的角度：KG 增强的 LLMs、LLM 增强的 KGs 和相互加强的 LLMs 和 KGs，其中 LLMs 和 KGs 相互加强。在本节中，我们将深入探讨相关研究，探索使用 KGs 实现知识增强的语言模型预训练，减轻幻觉，并提高推理的可解释性。
5.1 KG 增强的 LLM 预训练
虽然 LLMs 在文本理解和生成方面表现出色，但它们仍可能产生语法正确但事实上错误的信息。在 LLM 预训练期间明确整合 KG 中的知识，有望增强 LLM 的学习能力和事实意识 [155]–[157]。在本小节中，我们将概述 KG 增强预训练语言模型（PLMs）的研究进展。虽然针对 LLMs 的 KG 增强预训练的工作有限，但关于 KG 增强 PLMs 的研究可以为 LLM 预训练提供见解。现有的 KG 增强预训练方法可以分为三个主要类别：修改输入数据、修改模型结构和修改预训练任务。
5.1.1 修改输入数据
一些研究人员通过修改输入数据来整合 KG 知识，同时保持模型架构不变。例如，Moiseev 等人 [158] 直接在由 KG 的事实三元组和自然语言文本组成的混合语料库上训练 PLMs。E-BERT [159] 将实体向量与 BERT 的词片向量空间对齐，保持结构并避免额外的预训练任务。KALM [160] 使用实体名称字典来识别句子中的实体，并使用实体标记器对它们进行标记。变换器的输入由原始词嵌入和实体嵌入组成。此外，K-BERT [161] 通过构建句子树将原始句子与相关三元组整合在一起，其中树干代表原始句子，分支代表三元组。为了将句子树转换为模型输入，K-BERT 在嵌入层中引入了硬位置索引和软位置索引，以区分原始标记和三元组标记。
5.1.2 修改模型结构
一些研究设计了知识特定的编码器或融合模块，以更好地将知识注入 PLMs。ERNIE [162] 引入了一个 K-Encoder 来注入知识到表示中。这涉及将标记嵌入和标记嵌入与实体嵌入的连接输入到融合层，以生成新的标记嵌入和实体嵌入。相比之下，CokeBERT [163] 通过在预训练期间整合来自 KGs 的关系信息来扩展这种方法。它引入了一个语义驱动的 GNN 模型，根据给定的文本为关系和实体分配相关分数。最后，它使用与 ERNIE 类似的 K-Encoder 将选定的关系和实体与文本融合。KLMO [164] 提出了一个知识聚合器，在预训练期间融合文本模态和知识图谱模态。为了在知识图谱嵌入中整合结构信息，KLMO 利用知识图谱注意力机制，该机制通过将可见性矩阵与常规注意力机制相结合，促进知识图谱中相邻实体和关系之间的交互。随后，令牌嵌入和上下文知识图谱嵌入通过实体级交叉知识图谱注意力进行聚合。一些研究避免修改语言模型的整体结构，而是引入额外的适配器来注入知识。为了保留 PLMs 中的原始知识，Wang 等人 [165] 提出了 KAdapter 作为一个可插拔模块来利用知识图谱知识。在预训练期间，K-Adapter 的参数被更新，而 PLMs 的参数保持冻结。KALA [166] 引入了一个知识条件特征调制层，其功能类似于适配器模块，通过使用检索到的知识表示来缩放和平移 PLMs 的中间隐藏表示。为了进一步控制适配器的激活水平，DAKI [167] 引入了一个基于注意力的知识控制器模块，这是一个带有额外线性层的适配器模块。
5.1.3 修改预训练任务
为了明确模拟文本和知识图谱知识之间的交互，提出了各种预训练任务。这方面的三条主要工作线包括实体中心任务 [162]、[168]–[171]、关系中心任务 [155]，以及除此之外的任务。对于实体中心任务，ERNIE [162] 随机掩盖一些标记-实体对齐，并要求模型根据对齐的标记预测所有相应的实体。LUKE [168] 使用 Wikipedia 文章作为训练语料库，并将其中超链接视为实体注释，训练模型预测随机掩盖的实体。KILM [169] 也使用 Wikipedia 文章中的超链接作为实体。然而，它在相应实体后插入实体描述，任务是重建被掩盖的描述标记，而不是直接掩盖实体。除了预测掩盖的实体之外，GLM [170] 进一步引入了一个抑制干扰排名任务。该任务利用知识图谱中的负面实体样本作为干扰项，增强模型区分各种实体的能力。关系中心任务也通常在知识图谱增强的 PLMs 中使用。例如，JAKET [172] 提出了关系预测和实体类别预测任务，以增强知识建模。Dragon [173] 在知识图谱链接预测任务中进行预训练。给定一对文本-知识图谱，模型需要预测知识图谱中被掩盖的关系和句子中被掩盖的标记。ERICA [174] 引入了一种关系鉴别任务，旨在语义上区分两个关系之间的接近性。具体来说，它采用对比学习方法，鼓励属于相同关系的实体对的关系表示更接近。此外，还有一些创新的预训练任务用于知识图谱增强的预训练。KEPLER [175] 提出了一个知识嵌入任务，以增强 PLMs 的知识意识。具体来说，它使用 PLMs 来编码实体描述作为实体嵌入，并在同一个 PLM 上共同训练知识嵌入和掩蔽语言建模任务。ERNIE 2.0 [176] 从词、结构和语义角度构建了一系列连续的预训练任务。
5.2 KG 增强的 LLM 推理
知识图谱中的知识可以动态更新，而更新 LLMs 中的知识通常需要调整模型参数，这需要大量的计算资源和时间。因此，许多研究选择在 LLMs 的推理阶段使用知识图谱。LLMs 的“黑箱”特性在理解模型如何做出特定预测或生成特定文本方面带来了重大挑战。此外，LLMs 经常因生成虚假、错误或误导性内容而受到批评，通常称为幻觉 [29]、[30]、[177]。鉴于知识图谱的结构化和基于事实的特性，将其集成在推理阶段可以增强 LLM 答案的可解释性，从而相应减少幻觉。虽然有几种方法根据用户查询从知识图谱中提取相关三元组，并在提示中以自然语言描述这些三元组 [178]、[179]，但这些方法忽略了知识图谱中固有的结构信息，仍然未能阐明 LLMs 如何得出其答案。因此，广泛的研究利用知识图谱来辅助 LLMs 进行推理，并生成中间信息，如关系路径、证据子图和理由，形成解释 LLM 决策过程和检查幻觉的基础 [32]、[34]、[35]、[180]–[182]。一些研究人员调查使 LLMs 能够直接在知识图谱上进行推理并生成关系路径以解释 LLM 的答案。每个步骤中的关系路径有助于提高答案的可解释性和推理过程的透明度。通过观察每个步骤所做的推理决策，可以识别和解决 LLMs 推理中产生的幻觉。RoG [32]、Knowledge Solver [181] 和 Keqing [33] 都使用关系路径作为 LLM 响应的解释。具体来说，给定知识图谱模式和用户查询，RoG [32] 引导 LLMs 使用文本提示如“请生成有助于回答问题的关系路径”来预测多个关系路径。随后，LLMs 根据有效关系路径的检索结果生成最终答案。与 RoG 方法不同，Knowledge Solver 方法 [181] 使 LLMs 能够逐步生成关系路径。Keqing [33] 最初将复杂问题分解为几个子问题，每个子问题都可以通过知识图谱上预定义的逻辑链来解决，然后 LLMs 将根据子问题的答案生成带有关系路径的最终答案。Mindmap [180] 使用明显的子图来解释 LLM 生成的答案，其中引入了基于路径和基于邻居的方法来获取几个明显的子图。Mindmap 中的 LLM 被提示合并这些明显的子图，使用合并的图生成最终答案。与之前的方法不同，这些方法涉及逐步检索知识并获得答案，KGR [34] 采取了不同的方法。最初，LLM 直接生成一个草稿答案。随后，它从这个答案中提取需要验证的声明，并检索知识图谱的信息来纠正带有幻觉的声明。基于修正后的声明，LLM 调整草稿答案以获得最终答案。上述研究使用关系路径或明显的图作为解释 LLM 决策过程和检查幻觉的基础。相比之下，一些研究探索使用固有可解释的模型而不是 LLMs 来进行最终预测。ChatGraph [183] 提出了一种创新方法，增强了 ChatGPT 的文本分类能力和可解释性。它利用 ChatGPT 从非结构化文本中提取三元组，随后基于这些三元组构建知识图谱。为了确保分类结果的可解释性，ChatGraph 避免直接使用 LLMs 进行预测。相反，它利用一个没有非线性激活函数的图模型，并在文本图上训练该模型以获得预测。给定一个问题和一系列可能的答案，XplainLLM [184] 提出了一个解释器模型来解释 LLMs 选择特定答案的原因，同时拒绝其他答案。具体来说，该方法涉及基于问题和候选答案中出现的实体构建一个元素图。随后，使用 GCN 模型为元素图中的每个节点分配注意力分数。显示出高注意力分数的节点被识别为原因元素，然后 LLMs 被提示基于这些选定的原因元素提供解释。
为了评估 LLMs 的透明度和可解释性，提出了各种基准。例如，Li 等人 [35] 引入了一项名为知识感知语言模型归因（KaLMA）的新任务，并开发了相应的基准数据集。该基准评估 LLM 从知识图谱派生引用信息以支持其答案的能力。KaLMA 还提供了一个自动评估，涵盖文本质量、引用质量和文本-引用对齐的答案方面。此外，XplainLLM [184] 引入了一个数据集，更好地理解 LLMs 从“为什么选择”和“为什么不选择”的角度做出决策。
6 应用
在本节中，我们将介绍实际应用，展示了 GFMs 和 LLMs 的潜力和价值。如表 2 所示，推荐系统、知识图谱、科学领域的 AI 和机器人任务规划成为最常见的领域。我们将全面总结每个应用。
6.1 推荐系统
推荐系统利用用户的历史行为来预测用户可能喜欢的项目 [185]–[187]。在推荐系统中，图扮演着至关重要的角色，其中项目可以被视为节点，协作行为如点击和购买可以被视为边。最近，越来越多的研究探索直接使用 LLMs 进行推荐 [188]–[191] 或利用 LLMs 增强图模型或数据集以进行推荐任务 [112]、[115]、[116]、[192]、[193]。对于直接使用 LLMs 作为推荐模型，liu 等人 [194] 构建特定任务的提示，评估 ChatGPT 在五个常见推荐任务上的表现，包括评分预测、序列推荐、直接推荐、解释生成和评论总结。Bao 等人 [195] 使用提示模板引导 LLM 根据用户的历史互动决定用户是否喜欢目标项目，并在LLM 上进行指令调整以提高其推荐能力。对于使用 LLMs 增强传统推荐方法或数据集，KAR [192] 利用 LLMs 生成项目的事实知识和用户偏好的推理依据；这些知识文本随后被编码为向量并整合到现有的推荐模型中。像 LLM-Rec [117]、RLMRec [115] 和 LLMRec [116] 这样的方法通过整合 LLM 生成的描述来丰富推荐数据集。相比之下，Wu 等人 [193] 利用 LLMs 来压缩推荐数据集，其中 LLMs 被用来为基于内容的推荐合成一个压缩数据集，旨在解决对大型数据集进行资源密集型训练的挑战。虽然前面讨论的方法探索了在某些推荐任务或领域中使用 LLMs，但一个新兴的研究方向旨在开发针对推荐的基金会模型。Tang 等人 [189] 提出了一个基于 LLM 的领域不可知的序列推荐框架。他们的方法整合了跨域的用户行为，利用 LLMs 基于多域历史互动和项目标题对用户行为进行建模。Hua 等人 [196] 试图解决由 LLM 偏见引入的推荐系统潜在的不公平性。他们提出了一种反事实公平提示方法，以开发一个无偏见的推荐基础模型。为了总结推荐基础模型领域的进展，Huang 等人 [197] 提供了现有方法的系统概述，将它们归类为三种主要类型：语言基础模型、个性化代理基础模型和多模态基础模型。
6.2 知识图谱
具有强大文本生成和语言理解能力的 LLMs 在知识图谱相关任务中找到了广泛的应用，包括知识图谱完成 [137]、[198]、[199]、知识图谱问答 [179]、[181]、[200]–[202]、知识图谱推理等。Meyer 等人 [204] 引入了 LLM-KGBench，这是一个框架，可以自动评估模型在知识图谱工程任务（如修复 Turtle 文件中的错误、事实提取和数据集生成）中的熟练程度。KGLLM [199] 提出以评估 LLMs 在知识图谱完成方面的性能，包括三元组分类、关系预测和链接预测任务。Kim 等人 [200] 提出 KG-GPT，使用 LLMs 进行知识图谱上的复杂推理任务。ChatKBQA [201] 为 LLMs 在知识库问答上引入了一个生成-检索框架。Wu 等人 [179] 提出了一个知识图谱增强的 LLM 框架，用于知识图谱问答，该框架涉及微调一个 LLM 以将结构化三元组转换为自由形式文本，增强 LLMs 对知识图谱数据的理解。LLMs 在知识图谱构建、完成和问答等任务中的成功应用为推进对知识图谱的理解和探索提供了有力支持。受到语言和视觉领域基础模型的启发，研究人员正在深入研究为知识图谱量身定制的基础模型。这些 GFMs 旨在概括知识图谱中的任何未见过的关联和实体。Galkin 等人 [205] 提出了 Ultra，通过利用关系之间的交互学习通用图表示。这项研究基于这样一个洞见：这些交互在不同数据集之间保持相似并且可以转移。
6.3 科学领域的 AI
AI 的快速发展导致越来越多的研究利用 AI 辅助科学研究 [206]、[207]。最近的研究已经应用 LLMs 和 GFMs 于科学目的，如药物发现、分子属性预测和材料设计。值得注意的是，这些应用包括涉及图结构数据的场景。分子图是一种表示分子的方式，其中节点代表原子，边代表原子之间的键。随着 LLMs 的出现，研究人员已经探索了它们在与分子图相关的任务中的性能。像 MolReGPT [131] 和 GPT-MolBERTa [118] 这样的方法采用了类似的将分子图转换为 SMILES 语言的文本描述的方法。他们基于 SMILES 数据创建提示，要求 LLM 提供有关官能团、形状、化学性质等的详细信息。然后将这些信息用于训练较小的 LM 进行分子属性预测。与直接使用 LLMs 进行预测的方法不同，ReLM [128] 首先使用 GNNs 预测高概率的候选产品，然后利用 LLMs 从这些候选中做出最终选择。除了上述研究，LLMs 还被进一步用于药物发现和材料设计。Bran 等人 [100] 提出了 ChemCrow，这是一个集成了 LLMs 和 18 个专业工具的化学代理，用于药物发现、材料设计和有机合成等多样化任务。InstructMol [208] 提出了一个两阶段框架，用于在药物发现中对齐语言和分子图模态。最初，该框架保持 LLM 和图编码器参数不变，专注于训练投影仪以对齐分子图表示。随后，在 LLM 上进行指令调整以解决药物发现任务。Zhao 等人 [209] 提出了 ChemDFM，这是化学领域的第一个对话基础模型。ChemDFM 在广泛的化学文献和一般数据上进行训练，表现出在各种化学任务（如分子识别、分子设计等）中的熟练程度。
6.4 机器人任务规划
机器人任务规划旨在将任务分解为一系列高级操作，由机器人逐步完成 [210]。在任务执行期间，机器人需要感知周围环境的信息，这些信息通常使用场景图表示。在场景图中，节点代表场景对象，如人和桌子，而边描述对象之间的空间或功能关系。使 LLMs 能够进行机器人任务规划的关键取决于如何以场景图的形式表示环境信息。许多研究探索了使用场景信息的文本描述，并为 LLMs 构建提示以生成任务计划。Chalvatzaki 等人 [211] 引入了 Graph2NL 映射表，使用相应的文本表达来表示具有不同数值范围的属性。例如，大于 5 的距离被表示为“远”，小于 3 的距离被表示为“可到达”。SayPlan [212] 将场景图以 JSON 形式描述为文本序列，迭代地调用 LLM 生成计划并允许自我纠正。Zhen 等人 [213] 提出了一个有效的提示模板，Think Net Prompt，以增强 LLM 在任务规划中的性能。与依赖于语言描述场景图信息的方法不同，GRID [113] 使用图变换器对场景图进行编码。它利用跨模态注意力对齐图模态和用户指令，最终通过解码器层输出动作标记。LLMs 的强大理解和推理能力在机器人任务规划中展示了巨大的潜力。然而，随着任务复杂性的增加，搜索空间急剧扩大，使用 LLMs 生成可行任务计划的效率面临着挑战。
7 结论
在本综述中，我们已经全面回顾了 LLMs 时代图应用和图 ML 的最新进展，这是一个图学习中的新兴领域。我们首先回顾了图 ML 的演变，然后深入探讨了 LLMs 增强图 ML 的各种方法。由于 LLMs 在各个领域都具有显著的能力，它们有很大的潜力将图 ML 增强为 GFMs。我们进一步探索了使用图增强 LLMs，突出了它们在增强 LLM 预训练和推理方面的能力。此外，我们展示了它们在分子发现、知识图谱和推荐系统等多样化应用中的潜力。尽管取得了成功，但这个领域仍在发展中，并为进一步的进展提供了许多机会。因此，我们进一步讨论了几个挑战和潜在的未来方向。总的来说，我们的综述旨在为研究人员和从业者提供系统和全面的回顾，激发这个有前途领域的未来探索。