本文最早刊於2013年9月的Morningstar ETFInvestor。

雖然市場常會採用回溯測試（back-test），但我卻只視之為合法偽造跑贏大市證據的途徑。我並不是憤世嫉俗，現實是我見過的大多數回溯測試都有問題。最壞的例子通常來自客戶通訊（newsletter）及交易軟件供應商，它們不受有關法律管制，幾乎不必為言論負責。我見過有「低風險」的投資聲稱能提供30%以上的月度回報率（即2,230%的年度回報）。雖然為了企圖維持可信度，大多數投資還是會把回溯測試的年度回報保留在20%至50%之間。而我觀察到，無論是指數抑或ETF供應商，都有發表一些令人難以置信的回溯測試。

去年，Vanguard發表了一份關於追蹤曾進行回溯測試指數的ETF的研究。作者Joel M. Dickson、Sachin Padmawar及Sarah Hammer¹查看這些股票指數5年的回溯歷史及5年實時表現。在5年回溯歷史中，指數回報平均比美國股市回報高出12.5%；而往後5年，指數平均錄得0.26%虧損。換句話說，大多數指數ETF的回溯測試並沒有意義。

Vanguard的研究結果並不使人感到意外（不僅因為Vanguard本身是低成本加權指數的熱心倡導者）。不少指數的回溯測試都在ETF供應商的意願下被誇大，以顯示ETF正投資於熱門的資產類別。雖然Vanguard的研究並未確認策略型指數的實時表現能否跑贏大市，但我認為這不影響研究報告帶出的主要信息。回溯測試在主動式股票基金行業極為普遍，惟大多數研究發現，股票基金的歷史表現突出，並不等於能長期延續表現。如果說關於投資有一個最可靠的事實，那必然是歷史回報並不能保證未來表現。

回溯測試通常作用不大，因為在一個典型的數據組內，不真實的關係遠比真實關係多。要在測試中發現「在統計上甚為顯著」而實際上根本不存在的關係非常容易。這種窺探數據偏見正好解釋了大多數研究皆為錯誤的現象²。

在邏輯上，回溯測試可以是揭露真相的有效方式。回溯測試應用了歸納法，簡單來說就是從個別的情況引申出普遍原則。（我認為說歸納法有效是合理的。譬如因為太陽在過去45億年每朝升起，所以我們幾乎可以肯定太陽亦會在明天如常升起。）問題是，如果你以非常抽象的條件看，你幾乎可以把任何兩種東西歸納在一起，譬如「煤炭」和「Richard Simmons的頭髮」都可以歸類為「可用作燃料的東西」，雖然以後者推動電力顯然是不切實際的主意。

理性的投資者知道回溯測試理論上可以讓我們接觸某些事情的真相，但明白現實中大部份回溯測試並不可靠。Vanguard和許多獨立分析員的研究均指出過去表現無助準確預測未來的投資回報。於是，有人可能會把回溯測試視為歸納法和把Richard Simmons的頭髮視為燃料一樣無稽。

不過，要為回溯測試辯護也不難，因為歷史上的確有不少採用回溯測試的成功投資者。如價值投資法大師兼巴菲特的啟蒙者Benjamin Graham，就是基於在過去可行的交易規則設計自己的投資方法。在其職業生涯早期，巴菲特也是應用Graham的回溯規則來識別「雪茄屁股」，即統計上屬便宜的股票且其可出售資產的賣出價比其買入價為高。Graham的助手Walter Schloss，曾連續數十年獲得高達20%的年度回報，他解釋自己是「從為Graham工作時學會了一些選擇證券的簡單統計方法」³。Bridgewater Associates創辦人Ray Dalio是現今最出色的宏觀策略投資者之一，他以回溯測試策略營運Pure Alpha：一隻只執行基本量化模型的罕有基金。數學家James Simon管理的Medallion Fund執行定量快速交易，自1989年起獲扣取費用後年度回報率達35%，同樣採用回溯測試。

到底好的回溯測試與壞的回溯測試有何差別？在金融市場中，哪些是有效的歸納？哪些不是？

大多數投資者都會做出錯誤的歸納。我認為很大程度是因為業餘投資者習慣將日常生活中可行的準則放於投資主張，導致他們容易在噪音中查找模式。例如，許多投資者看到一隻連續3年跑贏大市的基金，都會將此歸功於基金經理的能力。

要求較高的投資者可能會看過5年或10年以上的表現數據才作出歸納，然而他們同樣錯了（縱使高要求的人錯得沒那麼嚴重）。我們不可能單憑歷史回報去識別​​一個基金經理是否有能力或回溯測試是否有效。市場非常隨機，只以表現相關指標篩選「贏家」，最終可能只會給你選出一堆幸運的投資者及策略。

成功的投資者通常以一個或併合多個模型操作投資，而不是憑空構想資產的吸引力，對人類行為、機構運作、資產估價方式、管理資產價格等都有強烈的意見。他們信奉合理而且一定程度能觸碰到真相的準則，否則其投資策略不可能成功。（有些人認為只要堅守投資紀律就成功，我絕不反對。除非你所信奉的都是徹頭徹尾錯誤，而你又堅持到底，那就當然會吃虧。）成功投資者往往能從有效的模型中提取到數字以外的信息。

一般投資者通常不會有一個建構良好或以現實為基礎的投資模型。他們過度重視近期回報，太容易接受證據不足甚至錯誤的主張。我在本文花了大量篇幅在理論和程序之上，就是希望能校正投資者的想法。

在本文的第二部份，我們將會探討分辨回溯測試好壞的條件。

¹ Joel M. Dickson, Sachin Padmawar, Sarah Hammer. “Joined at the Hip:

ETF and Index Development.” Vanguard 2012.

² John P. A. Ioannidis. “Why Most Published Research Findings Are False.” PLoS Medicine 2005.

³ Warren E. Buffett. “The Superinvestors of Graham and Doddsville.”

Samuel Lee為Morningstar ETF 策略師及Morningstar ETFInvestor編輯。