（本文编译自Semiconductor Engineering）
尽管大语言模型（LLMs）广受欢迎，但它们同时也存在几个众所周知的设计问题，其中最棘手的一个就是“幻觉*”现象，即LLM试图将其基于统计的构造作为事实来传递。“幻觉”是LLMs的一个基本的、根本性的问题。LLMs以及其它深度神经网络（DNNs）的内部工作原理只有部分为人所知，这意味着对于最终用户和设计师来说，它们本质上就是黑箱。
（*幻觉现象是指在大型语言模型（LLMs）和其他深度学习模型中，模型有时会生成看似合理但实际上并不真实或不符合事实的输出。这种现象发生是因为模型在生成文本或进行预测时，会基于其训练数据和算法来构造输出，但有时候这些输出并不反映真实世界的实际情况。幻觉现象可能是由于模型对训练数据的过度拟合、统计噪声或其他因素导致的。）
LLM的基本结构是一个输入、一个输出，以及它们之间一系列还尚未被完全理解的交互。随着半导体行业越来越依赖人工智能/机器学习，这种不确定性似乎可能对设计师和客户产生潜在的负面影响，例如无法追溯来源的错误。尽管这个问题是业界关注的重点，但专家表示，可以通过熟悉的工具和工作流程方法来解决。
“目前，大型复杂计算系统在整个超大规模计算环境中的透明度和可见性是一个重大问题，”Alphawave Semi首席技术官Tony Chan Carusone表示，“监控处理器网络中数据流的能力是必需的。一般来说，就意味着信息越多越好，但不应以牺牲性能或消耗更多功耗为代价。”
可解释性
黑箱问题催生了一个新术语——可解释人工智能（XAI），注意不要将其与埃隆·马斯克的新创业公司xAI混淆。
“可解释性是一个大问题，”imec机器学习和人工智能研发副总裁Steven Latré表示，“然而，重要的是不要将所有不同的机器学习软件算法都归为一类，因为我们在可解释性方面也取得了很大进展。但是，我们取得的这些成功，如生成式人工智能，在很大程度上仍然是一个黑箱，它们存在两个问题。一是，因为它们是一个黑箱，过程就是模式匹配，完全没有可解释性的特征，这本身就是一个问题。例如，想想深度伪造和幻觉。这些例子表明，很难对它们的工作原理有一个很好的理解。”
“这个问题还因为当前模型规模的不断扩大而加剧，其中一些模型的参数已经接近2000亿，这使得它们几乎不可能进行分析，更不用说直观地理解了，”Latré表示，“我们仍能够了解传统计算机视觉系统的工作原理。传统的计算机视觉深度学习系统接收一个RGB图像作为输入，然后输出图像上的实际内容。虽然在可解释性方面仍然是一个挑战，但你仍然可以查看其内部运作，看它是如何结合像素并形成模式，比如一条线，然后将不同的线组合成形状，等等。但是，生成式人工智能模型的规模之大简直令人难以置信，除此之外，我们别无所知。它就是一个巨大的未知数。”
数据科学领域尤其热衷于破解黑箱，因为越来越多的企业和财务决策都是基于人工智能模型的预测。可解释性的两种流行方法是模型无关的局部解释（Local Interpretable Model-Agnostic Explanations，LIME）和沙普利加法解释（SHapley Additive exPlanations，SHAP）。
如何应对
人类的期望进一步加剧了这种不确定性。消费者可能会原谅一个人因为心情不好而犯错，但他们却期望人工智能能够表现完美，这很可能是基于一个天真的假设，即人工智能是专家训练的，因此必须具有精确的重复性。
Quadric首席营销官Steve Roddy指出，由于当前的LLM可能无法实现这样的需求，因此公司最好能够设定一个基准错误率。“在如何测试和修正模型的问题上，大多数公司首先需要做的，就是确定可接受的错误率，确定哪些可能造成严重后果的错误需要完全消除，然后使用这些标准来监控模型。”
Expedera解决方案架构师Patrick Donnelly表示，大多数半导体行业都是这样务实地处理黑箱问题的。事实上，这个问题其实并不陌生。“如果我们从客户那里获得一个模型，我们可以逐层进行，调试该模型，并准确地找出模型中的准确性可能不匹配的地方。然而，从最终用户的角度来看，这些都像是一个黑箱。以一家EDA公司为例，他们可能试图调试出错的东西，最后会想，‘我完全不清楚这个模型是如何生成这些设计建议的。’”
不过，Donnelly表示，这与其说这是黑箱问题，还不如说是白箱问题。“白箱和黑箱一样，你可能认为无法调试其内部机制的运行情况。但有了一个白箱，对于具有相关知识的人来说，他们确实可以逐步检查并找出可能出现问题的地方。目前，就我们和最终用户所拥有的工具和知识而言，要完成这样的调试工作耗时过长。因此，如果模型出错，任何形式的调试可能都不会有用。”
那么，当无人知道模型是如何实现的时候，如何将AI/ML的测试/验证纳入工作流程呢？答案没有那么简单。
Axiomise公司首席执行官Ashish Darbari对“没有人知道模型是如何实现的”这一前提持不同意见。“最多是模型的细节不可见。这两者之间是有区别的。我的感觉是，即使我们不知道实施了怎样确切的模型，我们仍然可以针对设计模型对该模型进行测试。在半导体行业，面临的问题没有软件领域的专家那么严重，比如架构师、设计师和验证工程师，他们都倾向于能够了解对设计模型的期望。这意味着对设计进行广泛的针对黑箱AI模型的测试，将揭示I/O中的可接受和不可接受的模式，这将更容易建立对AI生成的黑箱模型的信任。可以独立开发覆盖模型来验证黑箱模型的质量。再次强调，指南是从领域专家（设计师和架构师）那里获得的覆盖规范。解决黑箱模型的另一种方法是引入符号AI来构建替代模型，这些模型的优势在于可以解释它们，获得更深入的见解，并使用这些可解释的AI模型与黑箱模型进行比较和等价性检查，以验证其有效性和完整性。这将允许黑箱模型的开发者或许拥有更为优化的实现方式，而不必透露‘秘密配方’，但仍可以根据可调查的内容进行验证，例如可解释的AI模型。”
西门子EDA集成电路部门营销总监Neil Hand表示，这个问题是多层次的。“设计师应该确保通过构建得到正确的答案，这意味着底层算法不会产生幻觉或给出错误的结果，并且在AI用于缩小设计空间后，输出的结果得到验证。然后，还需要验证这些输出。如今有一些工作流程，我们使用结果验证来确保在向人们展示之前结果是正确的。然后，使用强化学习来纠正AI，以确保它只给出好的结果。”
专家们认为，黑箱问题应该通过传统技术来解决，因为这与人类实践中已经发生的事情是一样的。Hand举了一个与专家设计师互动的例子，这位设计师可能直觉某处出问题了。“你不会回过头来对那位设计师说，‘你为什么让我看那里？’他可能回答，‘我不知道，我只是觉得看一下比较好。’”
Arteris公司解决方案与业务发展副总裁Frank Schirrmeister表示，情况可能并没有那么糟糕。他指出，对黑箱的恐惧可能源于一个误解，即人类并未参与其中。Schirrmeister将大语言模型（LLMs）比作一个可能才华横溢但还不能完全独立行动的实习生。“这就像是一个实习生给你提供工作建议，但你仍然需要对其进行控制。领导就是‘信任和验证’。”
此外，黑箱问题对设计师来说已经司空见惯。“可以将其视为IP，”他说，“芯片中的大部分内容都在被重复使用。我也不知道Arm内核的内部是怎样的，也不了解解每一个位和每一个信号，而且我也不应该了解，因为这实际上是别人的IP。从验证的角度来看，我会查看那段代码。然后，我需要查看那段代码产生的结果，并进行验证。”
将AI/ML集成入EDA工具中
在将AI/ML集成入EDA工具时，这些工具依赖于参考模型进行任何以功能验证为导向的测试。“模型通常由构建测试平台的工程师开发，他们了解底层设计领域，”Darbari表示，“他们是了解设计规范和实施细节的专家，能够构建完整的测试环境。他们是使用软件仿真、硬件仿真还是形式验证并不重要。”
EDA工具已经利用自动化执行了许多测试任务或实用程序，如linting（代码审查）、自动检查、X检查、CDC（跨时钟域）、复位和时钟分析，以及静态时序和其他功能。“这些领域已经广泛使用了机器学习，并将继续使用，因为设计规则已经被很好地理解，”Darbari表示，“这些模式可以很容易地从使用不同客户的不同设计上的不同运行模式中学习。
设计类型和客户类型的多样性提供了一系列丰富的模型，这些模型增强了AI模型做出更精准预测的能力。例如，在使用复杂的通用验证方法学（UVM）或形式验证进行功能验证时，情况就很有趣。EDA传统上使用AI来利用回归信息，使后续运行更快、更高效。在UVM的情况下，已经大量使用基于AI的学习来生成智能序列，以缓解UVM的激励挑战，但仍需收集足够的不同设计类型的数据。”
结语
西门子的Hand表示，最终，AI/ML可能只是日常工作中的一项重要转变。“AI之所以如此有趣，是因为你必须稍微放下防备，才能看到其潜力。你还必须愿意接受其所带来的一些不确定性，因为当你思考AI模型是什么时，它是一个统计问题。你看我们最大的统计引擎，它展现了惊人的智能化，告诉我们最有可能使用的下一个词就是这个。这种统计问题对EDA来说并不新鲜。如果看整个半导体行业面临的制造问题，它也是统计性的。不能保证每次都能制造出好的芯片，每次都存在变数。对于半导体行业来说，不确定性并不是新鲜事物。AI只是再增加了一些。但是，我们能否利用它，让我们对不确定性感到更自在些呢？”
END