亚马逊贝索斯:用软件架构造就商业模式的底层

导读:研究一个伟大的公司和伟大的管理层,最好把这个公司历史上的股东信都看一遍,看看管理层是怎么想的,又是怎么做的。今天我们继续分享亚马逊股东信的翻译,在2010年贝索斯就从软件架构的角度,讲解了亚马逊的商业模式,而过去10年正是软件在吃掉这个世界的10年!

译者 | 贾东琦

致我们的股东:

随机森林、朴素贝叶斯估计、RESTful服务(一种网络应用程序的设计风格和开发方式)、Gossip协议(一种通信协议)、最终一致性、数据库分片、逆熵、Byzantinequorum(分布式存储应用)、纠删码(一种数据保护方法)、向量时钟(一种在分布式环境中为各种操作或事件产生偏序值的技术)……走进亚马逊的会议,你可能以为自己误入了计算机科学讲座。

如果翻一翻最新的软件架构的教科书,你会发现亚马逊几乎应用了所有的模式。我们使用高性能的事务处理系统,复杂的呈现和对象缓存,工作流和排队系统,商业智能和数据分析,机器学习和模式识别,神经网络和概率决策以及多种其他的技术。尽管我们的许多系统都基于最新的计算机科学研究,但这往往还不够:我们的软件架构师和工程师不得不朝着学术界尚未研究的方向推进研究。我们面临的许多问题都没有教科书式的解决方案,因此我们很高兴地发明了新方法来尝试解决这类问题。

我们的技术几乎完全以服务的形式实现:逻辑位封装了它们所操作的数据,并提供了强化的接口,这是访问其功能的唯一方法。这种方法减少了副作用,允许服务以自己的节奏开展,而不会影响整个系统的其他组件。面向服务的架构(或SOA)是亚马逊技术的基本构建抽象。得益于一个富有思想和远见的工程师和架构师团队,这种方法早在SOA成为业界流行语之前就已在亚马逊上应用。我们的电子商务平台由数百个协同工作的软件服务联合组成,以提供从建议到订单执行再到库存跟踪的功能。例如,要为访问亚马逊的客户构建产品详细信息页面,我们的软件将调用200至300种服务,以为该客户提供高度个性化的体验。

状态管理是任何超大规模的系统的核心。许多年前,亚马逊的要求达到了这样的程度,即我们的许多系统都无法再通过任何商业解决方案来满足:我们的关键数据服务存储许多PB的数据,每秒处理数百万个请求。为了满足这些苛刻和非同寻常的要求,我们开发了几种替代的,专门构建的持久性解决方案,包括我们自己的键值存储和单个表存储。为此,我们在很大程度上依赖于分布式系统和数据库研究社区的核心原理,并以此为基础进行发明。

我们首创的存储系统展示了极高的可扩展性,同时保持了对性能,可用性和成本的严格控制。为了实现其超大规模特性,这些系统采用了一种新颖的数据更新管理方法:通过放宽需要分发给大量副本的更新的同步要求,这些系统能够在最苛刻的性能和可用性条件下运行。这些实现基于最终一致性的概念。亚马逊的工程师开发的数据管理的进步已经成为AWS提供的云存储和数据管理服务基础架构的起点。例如,我们的简单存储服务,弹性块存储和SimpleDB都从独特的亚马逊技术中获取其基本架构。

亚马逊业务的其他领域也面临着类似的复杂数据处理和决策问题,例如产品数据的获取和分类,需求预测,库存分配和欺诈检测。基于规则的系统可以成功使用,但是随着时间的推移它们可能难以维护并且变得脆弱。在许多情况下,先进的机器学习技术可以提供更准确的分类,并且可以自我修复以适应不断变化的条件。

例如,我们的搜索引擎采用在后台运行的数据挖掘和机器学习算法来构建主题模型,并且我们应用信息提取算法来识别属性并从非结构化描述中提取实体,从而使客户能够缩小搜索范围并快速找到所需的内容产品。我们在搜索相关性中考虑了大量因素,以预测客户感兴趣的可能性并优化结果排名。产品的多样性要求我们采用现代回归技术,例如经过训练的决策树随机森林,以在排名时间灵活地包含数千种产品属性。所有这些幕后软件的应用的最终结果是什么?快速,准确的搜索结果可帮助你找到所需的内容。

如果我们将技术保留在某种研发部门的一边,那么我们投入技术的全部精力可能并没有太大关系,但是我们不采用这种方法。技术为我们所有的团队,我们的所有流程,我们的决策以及我们在每个业务中的创新方法注入了活力。它与我们所做的一切紧密结合。

一个示例就是Whispersync,这是我们的Kindle服务,旨在确保无论您身在何处,都可以访问您的阅读库以及所有精彩集锦,便笺和书签,并在Kindle设备和移动应用程序上同步。要实现这一目标的技术挑战是,在全球100多个国家/地区的数以百万计的Kindle用户和拥有数亿册的书籍和数百种设备类型实现24x7的可靠性运行。Whispersync的核心是最终一致的复制数据存储,其应用程序定义的冲突解决方案必须而且可以处理持续数周或更长时间的设备隔离。作为Kindle的客户,我们当然会向您隐藏所有这些技术。因此,当您打开Kindle时,它会同步显示在右侧页面上。用亚瑟·克拉克(译者注:科幻小说家)的话来解释,就像任何足够先进的技术一样,它与魔术是没什么区别的。

现在,如果此时忠实地阅读这封信的一些股东的眼神呆滞了,我将指出我认为这些技术并非空洞地追求,它们会作用在自由现金流上。

我们生活在一个可用带宽,磁盘空间和处理能力显着增加的时代,所有这些将继续迅速变得便宜。我们的团队中有一些世界上最先进的技术人员帮助解决了当今可能出现的挑战。正如我之前多次讨论的那样,我们坚信,股东的长期利益与客户的利益完全一致。

我们喜欢这样。发明是我们的DNA,技术是我们用来发展和改善我们为客户提供的体验的各个方面的基本工具。我们还有很多东西要学习,我希望我们将继续有很多乐趣。我为成为这个团队的一员而感到自豪。

与往常一样,我附上我们1997年原始信件的副本。我们的方法保持不变,仍然是第一天。

杰夫贝索斯

---END---

雪球转发:5回复:1喜欢:10

全部评论

小松bj08-05 00:18

学习