我理解的人工智能发展史—神经网络原理、路线分歧以及科技为何涌现

发布于: 雪球转发:0回复:0喜欢:0

本文主要说了人工智能是如何模仿人类大脑神经元结构的,以及目前人工智能发展的路线分歧,最后,也是最重要的,我还是希望从经济学来探讨一下,为何人工智能在这个时间和地点涌现出来。

AI神经网络

AI神经网络的本质,是对人类大脑的模仿,下图是人类大脑神经元结构和工作原理:

上图来自《深度学习的数学》一书。

人类大脑神经元结构的原理,就是大脑神经元在接收信号超过某个阈值时,触发点火,不超过则不点火。这就跟麦卡洛克和皮茨发表的题为《神经活动中内在思想的逻辑演算》的论文里首次提出神经元的M-P模型一样。

在《深度学习的数学》一书中,用一个更复杂和生动的例子,诠释了AI神经网络的工作原理,本质上和人类大脑神经元结构的原理一致。

问:建立一个AI神经网络,用来识别通过4×3的长方形像素图像读取的手写数字0和1,下图都是0。

答题:

第一步:设定-输入层

4×3的长方形像素图像分为12个格子,每个格子分别编号为1-12:

第二步:组合-隐藏层

这一层,负责特征组合12个格子其中的2个并形成3个模式。比如有如下三种主要特征,分为为模式A、B、C:

不同的模式对应着不同格子的组合。比如模式A对应的是数字4和7,B对应5和8,C对应6和9。

第三步:答案-输出层

这一层是输出的答案,从隐藏层那里获得信息。

上图就是这个案例的导图,从下向上触发:

开始,输入层的2、5、8、11点火;

接着,5和8组合所对应的隐藏层被识别,隐藏恶魔模式B点火;

最后,隐藏恶魔模式B对应输出恶魔1。

结局,识别出图像为数字1。

在上面的例子里,AI可以精确地识别出0和1,但它并不懂0和1,它的眼里只有像素。

难道人工智能和大脑神经元仅仅是二进制代码结构?而不是更深邃或者智慧的什么东西?

这很难让人接受。

相关和因果

那么,人类大脑懂不懂0和1?

对此,人工智能的大佬们产生了分歧:

OpenAI的联合创始人兼首席科学家伊利亚·萨特斯基弗的老师辛顿是这么认为的:

首先,是相对简单的处理元素,也就是松散的神经元模型,就跟上面的案例一样。然后神经元会连接起来,每一个连接都有其权值,这种权值通过学习可以改变。

接着,神经元要做的事就是将连接的活动量与权值相乘,然后累加,再决定是否发送结果。如果得到的数字足够大,就会发送一个结果。如果数字是负的,就不会发送任何信息。

你要做的事就是将无数的活动与无数的权重联系起来,然后搞清如何改变权重,那样就行了。问题的关键就是如何改变权重。

这就是ChatGPT的核心思路:重视相关,忽视因果。

辛顿认为“深度学习足以复制人类所有的智力”,将无所不能,只要有更多概念上的突破。例如“transformers”利用向量来表示词义的概念性突破。

此外,还要大幅度增加规模,包括神经网络规模和数据规模。例如,人脑大约有100万亿个参数,是真正的巨大模型。而GPT-3有1750亿个参数,约比大脑小一千倍。

神经网络模仿了人类的优势:处理有大量参数的少量数据。但人类在这方面做得更好,而且节能许多倍。

也就是说,他认为完全模仿大脑神经网络,这就是答案。

而另一派,Google的DeepMInd创始人戴密斯·哈萨比斯则不同意这个观点:

哈萨比斯认为不管是ChatGPT,还是自家的Gopher,尽管可以帮你写作,为你绘画,“有一些令人印象深刻的模仿”,但AI“仍然不能真正理解它在说什么”。

所以,他说:“(这些)不是真正的意义上的(智能)。”

哈萨比斯的老师,MIT的Poggio教授更尖锐地指出:深度学习有点像这个时代的“炼金术”,但是需要从“炼金术”转化为真正的化学。

另外一位大佬杨立昆也持有同样观点,反对炼金术的提法,但他也认为要探究智能与学习的本质。人工神经元受到脑神经元的直接启发,不能仅仅复制大自然

“我认为,我们必须探究智能和学习的基础原理,不管这些原理是以生物学的形式还是以电子的形式存在。正如空气动力学解释了飞机、鸟类、蝙蝠和昆虫的飞行原理,热力学解释了热机和生化过程中的能量转换一样,智能理论也必须考虑到各种形式的智能。”

这个流派的核心思路就是:重视因果,忽视相关。

因果派和概率派继续千年论战。

当然还有和稀泥派,不少科学家认为应该给人工智能加上常识,加上因果推理的能力,加上了解世界事实的能力。所以,解决方案也许是“混合模式”。

不过目前无论谁都同意,ChatGPT明显走在的前面。

但谁又知道结局呢?诺基亚曾经也是手机一哥啊。

所以结局未分,但卖铲子的英伟达无论如何都是最大的赢家。

科技为何涌现

格林斯潘在《繁荣与衰退》中这样自夸过:“美国人的天赋隐藏在三个方面,其一是能把伟大的发明做成用户方便使用的产品,其二是能让把新发明商业化的企业成长壮大,其三是能用新的手段使企业经营获得成功。”

发明→产品→市场→财富,这是科技涌现的密码。

历史上三次工业革命,前两次的历史性发明都没诞生在美帝:

第一次工业革命,由蒸汽动力技术所推动,发明者是英国;

第二次工业革命,则由电力和内燃机等技术牵引,核心驱动力是电力和内燃机技术,其大部分专利都诞生于欧洲,尤其是英、德两国;

第三次工业革命,引擎是芯片和软件等信息技术,1945年,世界上第一根晶体管在贝尔实验室被点亮,紧接着,信息革命先后掀起了至少10次产业创新浪潮,分别是:晶体管/集成电路、大型机、PC机、企业软件、数字通信、互联网、云计算、智能手机、移动互联网和人工智能——这些创新几乎全部源起于美国,并且每一次技术突破,都伴随诞生了新的商业巨头。

用不着10次,1次就足以杀死苏联。

苏联不是没有追赶过,苏联在追赶美国时几乎用上所有招数,包括仿造、抄袭、间谍、国家立法、财政补贴、贸易壁垒、人才引进……

但最关键,也是唯一缺的,就是消费市场。

回到这次人工智能涌现,为何又诞生在美国?

当2020年疫情来袭,美联储为了拯救美国经济,疯狂扩表。美国总共推出3轮共计6万亿美元的财政刺激,其中对居民直接现金补贴总规模8700亿美元,相当于美国GDP的4%。第一轮在2020年3~4月,符合条件家庭每成人1200美元,儿童500美元;第二轮2020年12月增加补贴每成人儿童均600美元;第三轮2021年3月每成人儿童均1400美元。三轮大规模补贴使得居民收入不降反升,支撑了消费的强劲增长,当然也导致了核心通胀居高不下。

有统计数据,疫情以来大规模财政刺激导致居民增加了2.3万亿美元的超额储蓄,这些钱让美国消费持续繁荣。

疫情首先让因疫情居家办公的人们产生了一个刚性需求,就是升级电脑进行在线会议,毕竟人虽然在家,但企业还得运转,而且大家口袋里都很有钱,于是ZOOM被开发出来,随着在线会议的功能多元化以及在线娱乐的需求爆发,诞生了元宇宙,甚至FACEBOOK直接ALLIN了元宇宙,接着,ChatGPT横空出世。

这还能说是巧合么?

消费市场是技术创新的原动力,苏联虽然很早也出了晶体管、计算机、移动通信电话,但是,后来这些技术都被美国碾压了。为什么?因为苏联国内没有足够的消费需求,无法支持技术发展。比如,移动电话这种产品具有天然的网络效应,接入的用户越多,市场价值就越大。但是,苏联没有这方面的消费支撑,只能沦为实验品。苏联只有唯一一个技术买家,那就是政府。

那么,消费市场如何才能繁荣?

消费是居民财富的函数。简单来说普通家庭要有钱,包括有储蓄,有社会保障,有工资收入,有经营性收入,有资产收入,还有收入预期。

米塞斯说的:“没有市场的地方,哪怕是立意最佳的指令,也不过是僵化的文字而已。”

尾声:

杨立昆估算,需要10万个GPU才能接近大脑的运算能力。一个GPU的功率约为250瓦,而人类大脑的功率大约仅为25瓦。

这意味着硅基智能的效率是碳基智能的一百万分之一,人类还没有被背弃。

但这场竞争,无疑是残酷的,谁都想获得通往下一个时代的船票。

任正非说的:“我们不能因美国打压我们,就不认为它不是老师,不向美国学习,这样会走向自闭。”

消费市场,这是美帝皇冠上的刻印,也是苏联用血书写的遗书。

全文完。

如怕丢失,请加作者微信。