残差ニューラルネットワーク（別名：残差ネットワーク、ResNet）は^[1]、ウェイト層が層入力を参照して残差関数を学習する深層学習モデルである。残差ネットワークは、恒等写像を行うスキップ接続を持つネットワークであり、加算によってレイヤーの出力とマージされる。これは、強い正のバイアス重みによってゲートが開く「幹線道路ネットワーク」^[2]のように振る舞う。これにより、数十から数百のレイヤーを持つ深層モデルを容易に学習させることができ、より深く学習する際にはより高い精度に近づくことができる。同一性スキップ接続は、よく「残差接続」と呼ばれ、1997年のLSTMネットワーク^[3]、トランスフォーマー・モデル（BERT、ChatGPTなどのGPTモデルなど）、AlphaGo Zeroシステム、AlphaStarシステム、AlphaFoldシステムでも使用されている。

残差ネットワークは、何愷明、張翔宇、任少卿、孫剣によって開発され、ImageNet 2015コンペティションで優勝した。^[4][5]

2012年にImageNet用に開発されたAlexNetモデルは、8層の畳み込みニューラルネットワークだった。オックスフォード大学のVisual Geometry Group（VGG）が2014年に開発したニューラルネットワークは、3×3の畳み込み層を重ねることで19層の深さに近づいた。^[6]しかし、より多くの層を積み重ねることは、「劣化」問題と呼ばれる学習精度の速やかな低下につながった.^[7]

より深いネットワークが、より浅いネットワークに余分なレイヤーを積み重ねることで構築できるのであれば、より浅いネットワークよりも学習損失が大きくなることはないはずである。もし余分な層を同一性マッピングとして設定できれば、深いネットワークは浅いネットワークと同じ機能を表すことになる。オプティマイザは、パラメータ化された層に対して同一性マッピングに近づくことができないという仮説が成り立つ。

多層ニューラルネットワークモデルでは、ある数（例えば2層や3層）の積層層を持つサブネットワークを考える。このサブネットワークが実行する基本的な機能を𝐻 ( 𝑥 ) に定義する。ここで 𝑥 はこのサブネットワークへの入力である。残差学習のアイデアは、このサブネットワークを再パラメータ化し、パラメータ層に残差関数を表現させる。𝐹 ( 𝑥 ) := 𝐻 ( 𝑥 ) - 𝑥 . 出力 𝑦 は次のように表される：

${\displaystyle {\begin{aligned}y&=F(x)+x\end{aligned))}$

同一性マッピングの導入により、前方および後方パスでの信号伝播が容易になる。 ^[8]

事前活性化残差ブロック^[9](ResNetV2も呼ばれる)は、残差関数を適用する前に活性化関数（例えば、非直線性や正規化）を適用する。正式には、前活性化残差ブロックの計算は次のように書くことができる：

${\displaystyle {\begin{aligned}x_{\ell +1}&=F(\phi (x_{\ell }))+x_{\ell }\end{aligned))}$

ここで 𝜙 は任意の非線型活性化（ReLUなど）または正規化（LayerNormなど）操作である。この設計により、残差ブロック間の非同一マッピングの数を減らすことができる。この設計は、200層から1000層以上のモデルの学習に使用された。

GPT-2以降、Transformer BlocksはPre-activation Blocksとして実装されることが主流となっています。これは、Transformerモデルの文献では、しばしば "pre-normalization "と呼ばれています。^[10]

Transformerブロックは、2つの残差ブロックを積み重ねたものである。各残差ブロックは残差コネクションを持つ。最初の残差ブロックはマルチヘッドアテンションブロックであり、（自己）アテンション計算の後に線形投影を行う。

2番目の残差ブロックはフィードフォワード多層パーセプトロン（MLP）ブロックである。このブロックは「逆」ボトルネックブロックに類似しており、次元を増加させる線形射影層（これは畳み込みニューラルネットワークの文脈では1x1畳み込みに相当する）と、次元を減少させるもう1つの線形射影層を持つ。

トランスフォーマーブロックの深さは4層（直線投影）です。GPT-3モデルには96のトランスフォーマー・ブロックがある（トランスフォーマーの文献では、トランスフォーマー・ブロックはしばしば「トランスフォーマー・レイヤー」と呼ばれる）。このモデルは、トランスフォーマーブロックの96x4層と、入力埋め込みと出力予測のための余分な層を含めて、約400の投影層の深さを持つ。

非常に深いトランスフォーマーモデルは、残差コネクションなしではうまく学習できない。^[11]

1961年に出版されたFrank Rosenblatt著の本の中で、スキップ接続を持つ3層の多層パーセプトロン（MLP）モデルが紹介されている（第15章 p313）。このモデルは「交差結合システム」と呼ばれ、スキップ結合は交差結合の一形態である。^[12]

最初のResidual Networkの論文では、生物学的システムに示唆されたとは主張していない。しかし、その後の研究で、Residual Networkは生物学的に妥当なアルゴリズムと関連づけられるようになった。. ^{[13] [14]}

2023年に『サイエンス』誌に発表された研究で、昆虫（ミバエの幼虫）の脳の完全なコネクトームが公開された。この研究では、ResNetsを含む人工ニューラルネットワークのスキップ接続に似た「多層ショートカット」が発見された。^[15]

• 勾配消失問題