一是“利益平衡”的概念。买家与卖家的平衡,卖家与卖家的平衡,买家/卖家与淘宝的平衡,淘宝内部部门间的平衡,短期与长期的平衡,局部与整体的平衡……我们发现,凡事都要有个度,而且这个度是动态变化的。
二是心态的修炼。面对你不喜欢的人,是罚,还是度?为了共赢,似乎,你对“坏人”也要好一点。
三是事物的发展规律。我们发现,搜索和很多事物一样,都是先整体长大,出现瓶颈以后,再局部精细化。不同的阶段,需要用不同的方式来成长。
11.从通用搜索到淘宝搜索
淘宝搜索,目前最重要的部分是淘宝商品(宝贝)搜索,所以下面阐述的实际是指淘宝商品搜索。此外,还有店铺搜索、同店购等搜索产品,因为复杂度相对较低,所以不展开说。由于搜索是一个挺专业的产品,所以要讲搜索的产品故事,我们先得讲一下它的一些主要特点。
淘宝搜索的首要目标就是让用户尽可能快地找到适合自己需求的商品,它也是一种典型的导购产品。与传统搜索相比,淘宝搜索在很多方面有相同点,例如用户均需要输入关键词然后返回若干条搜索结果,在搜索框输入时的下拉提示以及相关搜索等,但也有不少区别,这里先说说产品层面突出的不同。
► 导航。导航即类目属性体系,是淘宝搜索特有的,其根本在于商品类似线下货架一样分类陈列,第15节(第63页)会展开讲。通用搜索,比如百度的搜索结果页是没有这个区域的。
► 多维度排序。例如,可以按照销量、价格、人气分别排序,这是通用搜索没有的。
► 突出图片。这是由用户需求决定的,因为大多数行业(尤其是服饰类)的商品,用户的第一感受是外观,而通用搜索通常突出标题和文本摘要。
► 商品信息和筛选。淘宝搜索有较多的筛选功能,这些筛选与商品的各种详细信息(价格、所在地、销量等)的披露组合在一起,降低了用户决策和购买的门槛,相对于线下购物,是一种进步,也部分弥补了看不到实物的劣势。
……
这些区别更多是由我们的用户需求和处理的信息不同造成的,大致上传统搜索偏向广度,而淘宝搜索偏重于深度。
更关键的区别,是下面提到的一些淘宝搜索独有的元素,这些元素大多不是具体产品或技术上的特色,更多是淘宝搜索在独特的环境下所需要特殊考虑的方面,也是淘宝搜索做起来真正复杂和挑战之处。
► 公平与效率、卖家和买家的平衡。卖家要公平竞争,买家要购物效率,第12节(第51页)细说。
► 大卖家和中小卖家的平衡。一个可持续的生态系统,两者一定是平衡的,所以搜索有一个指标是基尼系数,仿照经济学领域的概念,来衡量搜索流量分配的合理性和健康性。
► 短期和长期利益的平衡。很多做法对提高短期的数据指标会有明显好处,但长期来看可能会损害淘宝搜索的公平性,使买家黏性降低,卖家感到无所适从。
► 手握卖家的生杀大权。相比传统搜索,卖家对淘宝搜索的依赖更强,他们需要稳定的经营环境。流量变化的大起大落可能是灾难性的,后面会多次谈到这一点。
……
总之,上述几个方面是传统搜索不需要过多考虑的,而淘宝搜索必须要处理好。所以,它并不是简单满足某方面的需求,或提升数据指标就完成任务,而是充满了挑战。因此,淘宝搜索的工作充满了韵味,需要更多专注、思考、决心和毅力。
要做好淘宝搜索的工作,不仅需要互联网的用户视角和搜索技术与算法,还需要了解淘宝、天猫市场中的商业规律和特点,需要懂消费者、懂卖家,需要有经济学、社会学等多方面的视角。
淘宝搜索的发展主要分为三个阶段。
第一阶段,list时期。
淘宝建立之初,实际上是没有搜索的。一直到2008年,所谓的“淘宝搜索”实际上还只是一个拥有关键词查询的list,说白了就是一个目录检索工具,有点类似网址站,用户通过一级一级地点击类目,找到想要的宝贝。随着商品量的增多,数据库检索的方式逐渐在性能和功能层面都受到了很大限制。
list最初是无关键词的,主要是靠“点、点、点”;而search是有关键词的。当然,现在有无关键词也互相渗透了,list也可以搜关键词,search也可以点导航,所以现在两者主要是入口的区分。到了2012年,list仍有不少访问量,前端是淘宝集市自己在管,后期探索方向是“面向消费者的导航产品”。
第二阶段,isearch时期。
在list时期,早期技术同学就想专门做一个搜索引擎,来查找淘宝的商品,正巧B2B那边已经有搜索团队做了一个isearch搜索引擎,所以当时就直接把isearch复用到了淘宝。
isearch最早是B2B自主开发的分布式检索引擎,具有独立的知识产权,它的第一个版本是2002年在阿里当时的CTO吴炯主持下开发的。随着isearch搜索引擎的引入,淘宝搜索加入了关键词搜索(search)功能,但这个时候淘宝的search与list仍然合并在一起。
第三阶段,淘宝搜索时期。
随着淘宝的快速发展,为了更好地支持整个公司的搜索业务,包括淘宝集市、商城等,2008年成立了搜索中心。
2009年七八月间推出了主要针对有关键词场景的新版搜索,即s.taobao.com,并在2010年2月份的时候,将关键词搜索流量全部切到新版搜索。2012年的情况是,search、list及天猫搜索的后台都由搜索部门统一支持(算法略有不同),而前端分别由搜索、淘宝和天猫团队各自负责。
12.效率与公平,买家与卖家
我们将围绕着搜索最关键的问题——“排序”来讲述。卖家选择淘宝,目的是为了赚钱。如何通过搜索赚钱?方法就是让自己的宝贝在搜索结果中排名靠前,获取更多流量,让更多的买家来到自己的店铺。我们熟悉的“下架时间”、“橱窗推荐”、“人气排序”和“阿基米德”等,背后都是利益的平衡、博弈的升级、思考的深入。
故事就从最早的“下架时间”排序开始。所谓按照下架时间排序,是指卖家在上传宝贝时,可以设置宝贝的下架时间(7天或14天),距离下架时间越近的宝贝,在list中的排序就越靠前。
为什么这么排,是很有时代背景的。先说个浅层次的原因——模仿eBay。2003年在淘宝创立之前,易趣在国内的C2C市场占据着绝对的领先优势,淘宝最初的交易模式也继承了eBay的传统,以拍卖为主,主要的排序因素就是下架时间。
而深层的考虑,是因为淘宝早期,最为重要的策略是“吸引和培养尽可能多的卖家”。有了卖家才有了商品,有了商品才会有买家来买。我们发现,最初几年,淘宝交易额的增长和商品数的增长是正相关的。早期的淘宝,卖家数量还不像后来这么庞大,我们希望每个卖家的商品都有曝光的机会,按下架时间排序无疑是对所有卖家最公平(程序公平)的排序规则,充分考虑了卖家之间的平衡。
很快,出现了大家都能想到的缺点。这种公平,仅仅是针对卖家的。下架时间排序就像是大锅饭,绝对公平了,可是效率不高。一些卖家不思进取,开始动下架时间的心思,并且出现了一些投机取巧的工具,甚至组建了专业的重复上下架团队。另外,当时开始出现卖家作弊的现象,比如,有的卖家会发布一万件商品来恶意引流。之后,我们会看到,只要有新的规则,卖家就会想出新的对策,spam和anti-spam永远是一对好基友。
经过了2004年、2005年、2006年商品数量的剧增,按下架时间排序出来的结果变得鱼龙混杂,对于买家,越来越难以找到自己满意的商品,体验逐渐变差。
于是,我们开始把“公平vs效率”的天平向右侧倾斜,2004年年底,推出了“橱窗推荐”。
橱窗推荐是什么?简单地说,就是每个卖家都可以给自己的宝贝打上橱窗推荐的标记,在list中,有橱窗推荐的宝贝会在排序上优先展示,就像线下的街边橱窗展位一样,这些位置的商品更容易获得消费者的关注,其实这已有广告位的概念。而这些广告位,淘宝是免费的,这对于在互联网上做买卖的生意人来说,简直就是天上掉下的大馅饼。
这么做背后的道理也很简单。我们需要一种规则,把优质的商品在排序中顶上来,但当时的算法还做不到准确地判断,所以自然地想到了让卖家来帮忙判断,卖家最清楚自己的商品孰优孰劣。橱窗推荐,其实是一种机制,借助每一个卖家帮我们筛选优质商品。
具体来说,橱窗推荐里面还有卖家间的流量调节作用,其规则是针对部分卖家做政策倾斜,比如说奖励新卖家和做得特别好的卖家。一个新卖家进来,我们就给他额外奖励10个橱窗推荐宝贝,让他获得有更多流量的机会,然后有相应的机制去评估他的表现。如果三个月后,他表现不好,那我们就降低奖励的力度,把更多的流量给更合适的卖家。
通过橱窗推荐,我们有了一个宏观调控、平衡流量的工具。在淘宝初期,它起到了很好的扶持卖家和规范市场的作用。直到现在的搜索排序中,橱窗推荐仍然是一个很重要的因子。对卖家来说,原来只是和别人竞争,而且是无成本的流量,有了橱窗以后,他需要考虑自己的哪些商品更好,客观上大大提升了买家体验。
好,跳出来思考一下,我们说很多互联网上的东西在线下都能找到类比。下架时间其实是模仿线下的柜台——平铺,找了一种随机、公平的排序方法;橱窗也是模仿,柜台里有一些突出的位置,比如临街。但是,线上的优势是可以披露很多线下难以披露的信息,如历史销量、浏览量、评价……如果不利用起来,以降低买家的挑选成本,从哲学角度讲,就太傻了。
而这些新的信息背后,就是买家的群体智慧。线下因为客观条件所限,你没法知道其他买家与这个商品发生的各种交互,卖家也只会有选择地透露给你;而线上,好玩的东西来了。
我们说,卖家知道哪些宝贝好,通过橱窗推荐把这个知识榨取出来了。其实,买家也知道哪些宝贝好,怎么榨取?
2006年下半年,“人气排序”在这个思考下诞生了。何为人气?顾名思义,指宝贝的受欢迎程度,再简单一点,其实就是看宝贝的转化率、销量等若干买家行为产生的指标。当然,这个排序是基于一个假设——卖得好的宝贝,质量和买家认可度要高于卖得不好的宝贝。买家通过浏览、购买等行为投票,这也是一种机制,借助海量买家帮我们筛选优质商品,而且这在线下很难做到。
借助人气排序,转化率高、销量高的优质宝贝更容易排名靠前,获得更多的流量,从而有了更高的销量,进入良性循环。而销量低的宝贝只能在原地踏步,这很好地执行了“优胜劣汰”的法则。人气排序把流量聚焦于转化率高的宝贝和大卖家,靠机制从海量商品中挖掘出最好的一批,带来了搜索引导交易量的大幅提升,也助推了那几年淘宝的飞速发展。
但没过多久,我们就体会到其中隐藏的一个大问题——生态系统的平衡。
买家只关注自己是否能买到满意的商品,而且大多数希望尽可能有折扣、低价,其购买过程也希望“简单、傻瓜”,恨不得自己想要的东西直接就摆在面前。所以,不考虑个性化的模式,如果对买家都采用相同的排序,则通常把热销、低价、少数大卖家的商品排在前面,这些商品可能获得较好的数据表现。但这对大多数卖家没有好处,卖家都希望能获得用户和流量,淘宝平台的健康发展也需要卖家的多样性和繁荣。另外,如果过于强化低价促销,对卖家的正常经营和淘宝平台的正常发展也会有冲击,所以我们通常要把买家和卖家的利益结合起来考虑。
这时的天平,似乎过于倾向了买家。
这就像自然界中草原上的狼把羊都吃了,短期内自己成长很快,但很快就没有了食物;兔子失去了天敌,疯狂繁殖,很快又会使得草料不够,自己陷入困境……生态系统的长期可持续发展,是靠物种丰富性支撑的。
我们仔细分析了人气排序,发现主要有两大弊病。
► 一是马太效应。人气排序的结果形成了一个封闭的循环,搜索结果页的前几位长期被少数大卖家占据,流量分配极度不平衡,两极分化越来越明显,中小卖家生存空间被挤压。在人气巨大的搜索流量面前,卖家开始通过打造“爆款”的方式使得排名靠前,给店铺引流。这样一来,虚假交易、刷销量的现象就开始滋长,并且变得越来越猖獗和专业化。这里暂且按下不表,后续讲反作弊的时候再给大家细细道来。
► 二是覆盖率低。这其实也和马太效应相关,在搜索结果中,总有一批商品永远也得不到曝光,没法得到初始的流量,也就没法得到初始的销量,这对中小卖家和新手卖家不甚公平。而对淘宝来说,没有持续的新卖家加入、成长,就做“死”了。因此,当时淘宝虽对部分用户还是保留下架时间做默认排序,然而为了留住新买家,在他们进来时,又默认人气排序,或者,在年底冲刺销量的时候优先推荐人气宝贝。这种种做法,也可以看出搜索团队内心的纠结。
我们再从根上想,对买家来说,什么样的排序是好的?
无非两点:1是宝贝、卖家靠谱;2是可挑选的余地。
“1”是买家,特别是新买家的基本需求,这个没解决,“2”就是扯淡,但通过之前的努力,现在“1”ok了,“2”就显得越来越重要了。最理想的情况,是我们能够完全通过商品的客观信息分析(商品的各种属性,包括后续物流、客服的数据等等),靠算法排序,全覆盖所有商品,预测哪些合适,再推荐给买家。但这样对算法要求较高,基础数据也不够,需要长期投入。所以,我们才采用了一个折中的办法——通过买家的行为判断商品质量。这样“短平快”,是通过结果倒推的,有点滞后,说白了就是靠买家行为推了少数一批商品。那么,总会有一些商品没被买家关注到、没有销量,那么通过人气的方法永远不会找到这些商品。换句话说,用户搜索一些长尾词,结果中,所有商品销量都不好的时候,排序难度就很大。
问题已经抛出来,我们一直在试图解决,人气排序在2008年做了一次全新的改进和优化,之后几年也不断在优化。本章的最后一节所说的“个性化”、2012年开始提的“小而美”都是为了解决这个问题。
而在2010年的时候,我们想到的办法叫——阿基米德。这个革命性的产品,又是如何导致了“7.8事件”,让马云说出“宁可关掉公司也不会放弃原则”的呢?
13.“阿基米德”与卖家的抗议
传统搜索,通常使用准确度、覆盖度、更新度、速度等方面来评价,具体效果指标往往围绕CTR(Click Through Rate,点击率)展开,例如CTR以及点击位置、点击间隔时间等。而淘宝搜索基于电子商务的特殊性,能够掌握用户整个过程的数据,所以更关注最终结果,也就是成交有关的数据,例如成交转化率、成交额、客单价。但有一个指标也很重要,就是基尼系数,这是衡量流量分配的重要参考指标。
“阿基米德”既能满足买家利益,又能保证卖家公平,还可以使得淘宝这个生态系统有活性,可以持续涌现出新东西。它的主要特点有两个:一个是将人气排序和时间轮播结合起来,另一个是增加了卖家服务质量的因素。
首先说买家利益。像前文提到的,宝贝好,卖家靠谱,如何鉴别?从宝贝维度来讲,“好”可以分为外在的和内在的。外在看包装,看它展现给买家的信息是不是丰富,图片质量好不好,描述是否详细到位……内在看本身,宝贝不能是金玉其外、败絮其中,这要从很多第三方的特征来体现,比如宝贝是不是有人买,买了之后退款、退货的多不多,用了之后评价怎么样,等等。从卖家维度,鉴别是否靠谱的因素又有很多,比如有没有加入消费者保障体系,信誉好不好,动态评分高不高,有没有作弊行为等。总的来说,只要你能够想到的可以用来评估宝贝和卖家好坏的因素,都会被用到阿基米德排序里面。这跟以前人气排序只关注宝贝本身的转化率、销量等“人气”因子相比,增加了大量体现卖家服务质量的因素。
再说如何保证卖家公平。很简单,搜索排序保留了最基础的规则,宝贝按照下架时间进行时间轮播,让每个卖家都有机会。另外,卖家对自己的宝贝也要分“三六九等”,橱窗推荐得以保留。
这个集前几年智慧于一身的“阿基米德”很好地保障了中小卖家的“机会”,又保证了买家得到优质服务。这似乎是件大好事吧,但系统一发布,谁也没想到,竟如同丢出一颗重磅炸弹……
2010年7月8日,阿基米德排序上线。
之后,引起部分卖家的反弹,陆续有卖家在网上攻击,甚至到淘宝网杭州总部聚众抗议、拉横幅示威,并要求淘宝修改搜索规则。他们声称受到了新规则的“不公正待遇”,中小卖家的利益被弃之不顾,并且淘宝打着搜索排序规则变迁的旗子来变相“逼迫”卖家投放广告,让卖家的生存环境越来越艰难。其实,中小卖家利益受损只是借口,从当时的数据很明显可以看出中小卖家的整体流量是上升的,而逼迫卖家投放广告更是子虚乌有。这些卖家反对和抗议的原因,是他们店铺的流量下降。而再深究下去,流量下降一部分是因为新算法打破了原有的流量(利益)分配方式,自然会有部分卖家流量下降;还有一个重要原因就是服务质量的引入,使得大量这方面有问题的卖家(包括很多作弊卖家)直接受到冲击。
该抗议行为,史称“7.8事件”。
我们坚持了原则,没有因为部分卖家的抗议而走回头路,坚持了这个对长远更有意义的排序。当然,排序本身确实有优化的余地,这个下一节再聊。我们不妨先想想,为什么卖家会有这么大的反弹?这种反弹,其实几年以来已经不止一次……
比如“招财进宝”,2006 年3月开始做,后来卖家有反弹,经过卖家投票,6月下线。这是个广告业务,改变了排序规则,可以让加盟招财进宝的商品直接出现在搜索结果的前面。这是个好东西,对买家、卖家、公司都有利,是当年最早的盈利尝试。
又如“伤城事件”,2011年10月,天猫希望商家提供更高品质的商品和服务,修改了商家新签和续签的规则,但这被曲解为单方面提高技术服务费和保证金,打击中小卖家。这也是好东西,可以使得市场更加规范:天猫的归天猫,淘宝的归淘宝。
我们到底做错了什么?
淘宝每一次策略的调整,对卖家来说,一定有某种程度的此消彼长,一定会损害一部分卖家的利益。对卖家而言,淘宝就是一个经营环境。不得不承认,淘宝的规则,就是市场的规则。这类似政府政策,不能突变,卖家需要一个稳定的经营环境,因为经营是一个过程,卖家会根据历史经验,选品、进货、“砸钱”进去……如果短期内市场变动太激烈,那会导致一些卖家,甚至是几十、上百人的生计都受到威胁。
从本质上讲,这几次错在我们对卖家的理解不够。事情本身都是好的,但做法有些激进,在短期内让卖家感到较大的不安全感。回到搜索,这也是淘宝搜索和通用搜索的一大区别——它更密切地影响着上百万人的生计,再好的变化,也需要稳步进行,不能让市场剧烈波动。所以现在搜索再有什么大改动,一定会慢慢地灰度发布,至少三五个月才改完,让卖家有足够的时间去适应、去改变。
除了做法欠妥外,现在回头说说“阿基米德”本身的问题。
最初上线的第一版阿基米德排序,采用的是“有指导的机器学习”方法,参与排序的参数是通过算法生成的。这很先进,能保证数据效果(如转化率等)最佳,但也内含着巨大的问题——不可解释。也就是说,我们有时候不太容易解释为什么某些指标的权重会比较高,而某些指标又比较低?举个例子,假设我们系统自动判断“收藏量”的影响权重很低,但我们确实难以说明为什么会是这样的。更重要的是,面对卖家来质疑时,淘宝没办法挺直腰板、理直气壮地说,你这家店流量降低,是由于XXX、YYY的原因,需要通过ZZZ方法来提高你的店铺流量。卖家一句话就可以把我们噎住——你可以变化搜索的规则,也可以不向卖家公开规则,但是你要给我指条明路,告诉我,你不喜欢我哪里?我改!
2011年,“规则版”排序,就是在解决这个问题,简单地说就是要做到可解释、可指导卖家向哪个方向努力。它把参与搜索排序,尤其是判断卖家服务质量的各项因素,包括退款率、纠纷率、转化率、好评率、DSR动态评分等,都明确出来,告诉卖家,你做得不好的是哪里。
通过多次卖家反弹事件,我们对“生态系统”的理解更加深刻,淘宝和卖家、买家、合作伙伴等,都是共生共荣的。
卖家需要知情权,对他们的各种处理操作都需要有规可依,尽可能减少算法误杀;对他们的各种问题和申诉,需要给出满意的响应。考虑到市场的平稳性以及对卖家客户负责,即使是效果非常好的产品优化,我们也会慎重评估,避免市场剧烈波动,避免对卖家正常经营产生过大影响。因此,搜索有不少看上去很美的思路和产品,最后都因为这方面的考虑而暂时搁置。
对我个人来说,搜索还给了我另外一些联想——有关《黑客帝国》。
算法越来越强大,转换率越来越高,买家的选择成本越来越低,甚至不用选,我们推荐给他的就是最合适的……我们似乎感受到一丝诡异,这样系统就“死”了,没法再进化了,因为“买家选择”这件事情本身,就是有意义的,买家付出时间成本,在随机出现的商品中挑选,这种主动的智力贡献正是系统进化的源泉之一。
所以我们“正反合”地认识到,一个好的系统,应该是机器算法和人的思维相结合,必须要有人在里面“玩”,这个系统才会有“新”涌现出来。我们想用人的智慧来帮助算法进化,如果没有人的参与,机器的进化效率会低很多。系统中,一定有部分人喜欢完全靠算法,放弃选择,我们就让他们生活在Matrix里;也一定有部分人,喜欢自己挑选商品,我们就给他们建立一个“锡安”。
好了,搜索排序的进化,到这里就先告一段落,我们在各种天平之间寻找平衡,考虑得越来越全面。但到此为止,搜索还是作为一个整体在考虑,再优化应该怎么办?大家想一想,先“Hold”住。
话锋一转,我们再聊聊“搜索”这个产品,是怎么样从一个技术支持型产品,逐步变成了业务驱动型产品的。