@不明真相的群众 大家对回测讨论的热火朝天，我也来凑热闹。@想子
用历史数据做回测本身是一种很有效的研究方法，而且现在数据和技术手段都很丰富，做回测看似也很方便容易。但其实，用回测的方法来找到一个真正靠谱的投资策略，门槛是非常高的，绝不是简简单单设定一段逻辑，看一下历史回测的收益，就能得出结论。回测需要解决三个重要问题：
第一：也是最重要的，回测是不是过拟合。
一个策略回测的效果很好，有两种可能。一是找到了一种较普适的交易获利规律，这种规律需要有一定的因果性支撑，很有可能在未来仍然有效。另一种可能是，找到的不是普适规律，而是策略中设置的逻辑和参数恰好与这段时间的行情、风格相匹配，所以收益非常好，这就是所谓过拟合。
避免过拟合是很难的。很多人可能会说，我没有刻意研究历史行情的风格，而且我回测的时间很长，那我的策略就不是过拟合。其实不然。举个例子，有人做了一个策略回测了20年，发现整体表现都很不错，唯一的问题就是在熊市时净值回撤有点大。于是他加了一段代码逻辑，只要当整体市场的PE中位数大于40，就开始空仓，直到PE中位数小于20才开始满仓。结果回撤和净值表现均大幅改善。这其实是典型的过拟合，虽然回测了20年时间，但这段逃顶抄底的逻辑实际只执行了6次，完全无法从统计上证明它是一个“普适规律”。
我们简单说一下避免过拟合的常用方法：
1、参数敏感性测试。策略里的主要参数，比如上文用于逃顶抄底的PE中位数，如果变大或变小一些，整个回测收益表现就剧烈变动，那八成说明这个参数是过拟合。最好的效果应该是，参数从最佳值往大和小两边变化时，策略收益均有所下降，但相对平滑，不会断崖式变动。
2、核心分支样本量足够大。我们都知道回测时间越长越好，但容易忽略的是，策略的所有核心逻辑执行的次数是不是够多，这就叫核心分支样本量。上文提到的例子就是一个典型。
3、收益分布。这个比较好理解，就是这个策略的绝对收益或者超额收益在时间上的分布是比较均匀的，比如最好是每个月都能战胜大盘，或者每三个月、六个月也行，如果回测10年，只有其中1年取得了10倍收益，其它年份都是跑输大盘的，这种策略你敢用吗？
4、风格归因。这个比较专业，简单说一下。就是市场经常呈现一定的显著风格，如牛熊风格、如高风偏和低风偏风格、如小市值和大市值风格等。你需要分析回测的收益来源是不是与某种风格高度相关，比如发现你的策略只在牛市赚大钱，在熊市亏得一塌糊涂，这个策略就不行。有人说，那这个策略我只在牛市做不就行了？我觉得也不是不行，但你得先把判断牛熊的问题解决了再说……
回测须解决的第二个问题是，分析策略的实盘可操作性。
举个例子，你的策略如果都只是在剧烈拉升的时候买股票，那么你在实盘操作时，对下单的速度要求就很高；而且如果你的资金量还不小，那么你又可能进一步推高股价导致买入成本上升。所以这种策略的问题就是，实盘操作时取得的收益效果，与回测时是不一样的。所以，从可操作性角度来看，我们需要关心策略的资金容量有多大，交易方法对市场的冲击成本是怎样的，这个策略的时间衰竭情况（即交易机会是不是转瞬即逝）等等。这一块比较专业，而且更多地是面向大资金的操作，就不细说了。
回测须解决的第三个问题就是，历史是否能预示未来。上面两点解决的问题是，这个策略很可能找到了历史上真实存在的“普适规律”，而且在真实交易中也是可操作的。但还是有人会说，历史不能预示未来，所以历史回测是没有意义的？诚然，历史不能预测未来，这句话是没错的，可我们抱着这句话就停止了继续思考，会不会太懒惰了一点？
让我们先跳出股票，想一想，科学是什么。现代科学其实是以实用主义为原则，靠归纳和实验得出来的一条一条可以指导生产和实践的知识和规律。这里的重点是，如何将你的实验进行得足够客观、理性、有统计意义。一篇顶级的科学论文，诚然要有“模型假设”，但模型是可以不断yy出来的（你懂的），而实验结果的数据能否证明规律存在，才往往是决定性的。在“过去”的时间里做出的实验，也一样无法证明未来仍然有效，可是人类相信用客观、科学的过程主导的实验，很大概率在未来会有效，能帮助人类改造世界。这是目前人类进行知识生产（即认识论）的主流哲学观。所以，如果想用“历史不能预测未来”这句话来简单否定回测，其实也可以用来否定现在的各种科学知识，这显然是不合理的。我们再回到股票量化策略。一个充分有效的市场，其是无法获得超额收益的；每一个有效的策略，背后其实都存在一定的错误定价的原因。比如A股常常对优质公司定价错误（特别是在熊市照样凶猛杀跌）导致熊市买蓝筹股长期来看会有好收益；游资拉票的策略有效是因为A股有大量喜欢追涨的散户；A股曾经炒垃圾股的策略赚大钱是因为IPO上市很难而退市更难。一旦这些条件发生变化，相应的策略也会失效。所以，所有的量化策略，都一定要先想清楚，它的超额收益来自哪里，在什么情况下它将会失效。这可以算是量化策略的逻辑归因。
有了清晰的逻辑归因，再有了严谨的历史回测，我们可以大概率相信策略未来会仍然有效。最后，股票市场具有很强的博弈性和反身性，相对自然界的规律来说，股票市场的规律更容易受参与者人群结构和策略执行人行为的影响，这也是需要非常警惕的一点。总之，用回测来验证投资策略，是一种可行的研究方法，但是门槛是很高的。$中国平安(SH601318)$ $五粮液(SZ000858)$ $贵州茅台(SH600519)$