なぜ過去の説明に長けている人は、未来の予測をするときにしばしば大きく外れるのか？

AIに問う・量的投資における過剰適合はなぜ過去の勝者を未来の敗者に変えるのか？？

「過剰適合」の人生

#01

綿密に編み上げられた「嘘」

もしあなたが量的ファンドのマネージャーに、ほぼ完璧な純資産曲線を見せたとしたら――ドローダウンは極めて小さく、リターンは非常に高く、変動の規則性は心拍のようだ。彼はおそらく興奮しないでしょう。むしろ冷たく一言こう聞くはずです。「この戦略に過剰適合はないと、確信できるのか？」

量的研究も、すべての研究と同じように、膨大な過去の価格データから規則性を見つけ出そうとするものです。ただし、その規則性は過去を説明するためではなく、未来を予測するためにあるのです。

いわゆる「過剰適合」とは、平たく言えば、あなたのモデルがあまりに良すぎるために、過去は説明できるが、未来については何もわからない状態になってしまっていることです。

なぜ投資の世界では、過去を説明することと未来を予測することが矛盾してしまうのでしょうか？

次の3つの図が、「過剰適合」が起きる原因を示します：

左の図は「アンダーフィッティング」です。青い点はだいたい左側に、オレンジの点はだいたい右側にあることは見つけられるのですが、境界線があまりに単純すぎます。

真ん中の図は「完璧なモデル」です。単純な曲線で青い点とオレンジの点の境界を描き、モデルに合わない点は少数だけです。これらは「ノイズ」と見なせます。このようなモデルには汎化能力があります。いわゆる「汎化」とは、少数の個別の経験をより多くの適用シーンに広げられることです。

右の図が「過剰適合」です。そこでは、青い点とオレンジの点の境界を描くだけでなく、明らかに「ノイズ」であるいくつかの点までモデルに取り込んでしまうため、非常に複雑に見えます。

想像してみてください。このモデルは訓練データ上では優れた成績を収めても、実運用の環境に入って、今まで見たことのないランダムに分布した未来データに直面した瞬間、すぐに機能しなくなります。

「過剰適合」が生まれるのは、あなたが完璧な戦略を見つけたくてたまらないからです。たとえばシャープレシオが2より大きい、最大ドローダウンが5%未満などです。一方で金融市場は信号とノイズの比率が極端に低い環境であり、ほとんどの価格変動は実際には意味のないランダムノイズです。極限のパフォーマンス指標を追い求めれば、あなたのアルゴリズムは無意識のうちにこうしたノイズに迎合し、ノイズを信号としてモデル化してしまいます。その結果得られる戦略は、実際にはたまたまある特定の過去サンプルにぴったり合ってしまった産物にすぎません。

右の図のように、「過剰適合」した戦略は、しばしばさまざまなフィルター条件を増やし続けます。たとえば「火曜日だけ買う」「MACDゴールデンクロスかつ当日の北京で雨」など。そしてパラメータが20個ある戦略は、パラメータが2個しかない戦略よりもはるかに、過去データの中から“きれいな純資産曲線”を“寄せ集めて”作りやすく、また“過剰適合”が起きやすいのです。

たとえば、コンピュータで過去の宝くじの当選結果を分析するとします。積み上げるパラメータが十分多ければ、すべての当選番号の並びの規則を完璧に説明できる公式を必ず見つけられます。しかし次の抽選が始まるとそれは崩れてしまい、あなたはまたパラメータを追加しなければならなくなります。

過剰適合の本質は、あまりに複雑なモデルで、ランダム性に満ちた世界を説明しようとすることです。

興味深いことに、この「計算の罠」は高性能サーバーの中だけにあるわけではなく、実は毎日私たちの脳内で繰り広げられています。ある意味で、私たちが深く根付かせてきた人生観の多くも、本質的には人生に関する“過剰適合”の一種なのです。

#02

経験主義は過剰適合

人間の脳には約860億個のニューロンがあります。十分な“容量”があるため、あらゆる傷、成功のたび、感情が強く揺れた瞬間をすべて記憶し、それらを未来の意思決定の重みとしてエンコードできます。これは進化が与えた生存上の優位性ですが、その一方で“過剰適合”のリスクももたらします。

ただし、量的戦略の“過剰適合”は正確な偶然であるのに対し、人間の脳の“過剰適合”は往々にして雑な偏見になります。

たとえば、「見た目はとても熱心そうだが、のちに裏切られた」ような協力者に連続で2回出会った人は、次のような2つの認知モデルを生み出すかもしれません。

正しい認知モデル：協力する前に、より十分な背景調査を行い、段階的にリソースを投入する必要がある。

過剰適合の認知モデル：熱心な人はみな信用できない。今後、相手が熱心さを見せたら、私は自動的に距離を取る。

後者は、2つの過去データをもとに、過度に具体的で汎化能力を失った意思決定ルールを当てはめている状態です。未来は、その人を「熱心な詐欺師」から遠ざけるのに役立つかもしれませんが、同時に誠実で熱意ある優れた協力者を見逃してしまう可能性もあります。

人の一生において、統計学的な意味を持ち、運命の軌跡を変え得る「独立した重大な出来事」は、おそらく数十回程度にすぎません。

あなたはどの大学を選ぶか、どの職業を選ぶか。

あなたは誰と結婚し、どの都市に定住するか。

あなたはある重要な年に一度の大きな投資をするか、ある危機の中で一度の踏みとどまり（転機）を経験するか。

たった数十のサンプルで、次元がほぼ無限で、複雑さが金融市場をはるかに超える現実世界を当てはめる――数学の論理上、過剰適合はほとんど必然です。

前章の3つの図のように、多くの人は真ん中のモデルで満足せず、右側の「過剰適合」のモデルを使って過去を説明し、未来を導こうとします。

さらにデータのフィードバックの問題があります。量的戦略では、私たちは収益率でモデルを強化することが多いのに対し、人間の認知では、痛みと喜びこそが最も強烈なフィードバック信号です。ある激しい痛みが生み出す「重みの更新」は、穏やかなフィードバックの何百倍にもなることがあります。これは、バックテストにおいてたった一度の極端な相場に、過剰な重みが与えられるのとよく似ています。

人が「努力＋運」によって何かに成功すると、その人の脳はすぐに、非常に複雑な論理の体系を素早くまとめ上げます。その人はその日の気温、本人の話し方や振る舞い、さらにはその時信じていた格言までも、すべて成功の核心要素として整理してしまいます。そして、自分は世界の暗号を握っているのだと固く信じるのです。しかしそれは、運命がランダムノイズの中に投げ込んだ、たった一筋の光にすぎないのかもしれません。

上記の「過剰適合」現象は、私たちは通常これを**「経験主義」**と呼びます。有限の過去サンプルを使って、あまりに複雑な意思決定モデルを当てはめることで、未知の状況での汎化能力を犠牲にしてしまうのです。

さらに厄介なのは、人間の脳にも“過剰適合”の問題がありますが、量的戦略のような科学的な修正メカニズムがあるわけではないことです。

#03

人生にはテストセットがない

“過剰適合”を防ぐために、量的には一連の科学的手法があります。たとえばデータを訓練セットとテストセットに分け、訓練セットでロジックを作り、テストセットでロジックを検証する。または過去データで学習し、新しいデータで検証する、というやり方です。

しかし人生は永遠に実戦であり、訓練セットもテストセットも存在しません。人生は同じ川を二度渡ることができず、量的ソフトのように自分をクローンして別の平行宇宙で経験がまだ有効かどうかをテストすることもできません。

さらに重要なのは、人間には心理的な防御メカニズムがあり、私たちが自慢している人生経験が、実は過去のある特殊な時期に起きた“過剰適合”の産物にすぎない可能性に、なかなか気づけないという点です。

たとえば確証バイアスです。人が一つの信念を形成すると、大脳はそれを支持する証拠を積極的に探し、反証となる事例を無視する傾向があります。これは、実取引の場で、すでに“過剰適合”してしまったモデルにさらにパラメータを追加して新しいデータに当てはめ、同時にますます真実から離れていくのに似ています。

たとえば帰属バイアス。**意思決定が成功したときは自分の判断力に帰します。失敗したときは運や外部要因に帰します。**こうした非対称なフィードバックの仕組みは、人が量的トレーダーのように冷静に自分の戦略を評価することを難しくします。

しかし、このことを理解すれば、人間も自分のための誤りを修正する仕組みを作ることができます。

#04

経験の隔離

量的トレーダーは過剰適合を防ぐために、戦略開発の過程では必ず「ブラインドテストデータ」の期間を確保し、戦略ロジックが完全に固まり、パラメータが完全にロックされるまで、絶対に一度も見てはいけないと要求します。すべての塵が落ち着いた後に、初めてこの“これまで一度も見られていない”データで究極の検証を行います。

人間も、実はこの思考法を借用できます。

あなたが確固たる認知（モデル）を形成したら、それをすぐに真実として扱ってはいけません。心の中に「隔離区」を作るのです。重要な人生の意思決定をする前に、この「隔離区」を開き、次のようなことを行います。

過去の経験とまったく異なる新しい領域を探す

意図的に見落としてきた「反対証拠」を探す

自分がこれまで考えたことのない視点を持つ

反対の立場の本を読む

背景がまったく異なる人に相談する

……

そして自問します。自分が学んだこの経験は、出来事の中で反復可能な論理に基づいているのか、それとも当時たまたま起きた偶然の細部にすぎないのか？もし別の人で、別の時間帯なら、同じ論理は成立するのか？

どんなに印象深い教訓でも、自分に意図的にこう言い聞かせる必要があります。「これはただの事例かもしれない。強い結論を出すべきではない」と。

また確率思考を身につけ、自分の見方を固定値ではなく確率分布として捉えることが重要です。新しい情報が来たら、すべてを覆すのではなく、事後確率を更新するのです。すべてを否定し切るのでも、すべてを固守し続けるのでもありません。

#05

至大なるものは至簡にある

荘子は言いました。「吾が生には限りがあり、知にも限りがない。有るもの（限りある）をもって、無限なるものに従うがゆえに、すでに危うい。」

人は、有限の経験（テストデータ）をもって、無限の可能性（未来の世界）にどう対処すればよいのでしょうか？

量的投資には、有名な概念として「次元の災難（ディメンションの呪い）」があります。モデルに1つパラメータを追加するほど、その説明力は一見向上するように見えますが、安定性と生命力は指数関数的に低下します。成功している量的戦略の多くでは、ロジックに関係する核心因子は一般に5個を超えません。

経験豊富なトレーダーは、基本的な経済のロジックや市場のミクロ構造に基づく、簡潔な戦略を好む傾向があります。たとえば「平均回帰」のロジックは、人間の恐怖と欲望という心理的本質に基づいています。このロジックは100年前に有効だっただけでなく、100年後もおそらく有効なままでしょう。

より単純なロジックほど、さまざまな期間をまたいで通用しやすい。なぜなら、それは物事の本質を捉え、ノイズの形を描写しようとしないからです。

バフェットの投資理念もまた非常にシンプルです――良い会社＋複利。そしてほとんど変わりません。シンプルで安定しているため、多くの人はバフェットも大したことはないのではないかと思ってしまうほどです。

人生もまた同じです。

高度に複雑な成功の道は、特定の人脈、特定の政策、特定の産業の追い風に依存しがちで、環境が突如変われば崩れやすいのです。一方で、**常識に基づき、基礎となるロジック（誠実さ、複利、終身学習、リスク管理など）に基づく「シンプルな戦略」**は、短期的にはあのような複雑なパターンによる驚異的なリターンは見せないかもしれませんが、より強い粘りを持ち、人生の複数の周期を乗り越えさせてくれます。

これが、古人がまとめた「大道至簡（大いなる道は至って簡素）」という考えの、現代的な科学的な解釈です。西洋哲学における「オッカムの剃刀の原則」も、まさに同じ意味です。

すべての失敗を解析しようとせず、すべての成功を当てはめようともしないでください。ランダム性の存在を認め、自分の経験に常に疑いを持ち、そして人生の戦略の簡潔さを保ち続けましょう。