情報理論
情報量
情報量 微分エントロピー 条件付きエントロピー 交差エントロピー 結合エントロピー 相互情報量 カルバック・ライブラー情報量 エントロピーレート
通信路
情報源符号化定理 通信路容量 通信路符号化定理 シャノン＝ハートレーの定理
単位
シャノン ナット ハートレー
その他
漸近等分割性（英語版） レート歪み理論（英語版）
カテゴリ
表 話 編 歴

シャノン・ハートレーの定理（シャノン＝ハートレーのていり、英: Shannon–Hartley theorem）は、情報理論における定理であり、ガウスノイズを伴う理想的な連続アナログ通信路の通信路符号化を定式化したものである。この定理から、そのような通信路上で誤りなしで転送可能なデータ（すなわち情報）の最大量であるシャノンの通信路容量が求められる。このとき、ノイズの強さと信号の強さが与えられることで帯域幅が決定される。この定理の名称は、アメリカの2人の電子工学者クロード・シャノンとラルフ・ハートレーに由来している。

あらゆる多重かつ多相の符号化技法を考慮すると、シャノン・ハートレーの定理から導かれる通信路容量 C （誤り無しか低誤り率で転送可能な最大レート）は、信号の平均の強さを S、正規分布ノイズの強さを N としたとき次のように与えられる。

${\displaystyle C=B\log _{2}\left(1+{\frac {S}{N))\right)}$

ここで

C は通信路容量で、単位はビット毎秒

B は通信路の帯域幅で、単位はヘルツ

S は帯域幅上の信号の総電力

N は帯域幅上のノイズの総電力

S/N は信号のS/N比であり、信号とノイズの電力の単純な比で表され、単位はよく使われる対数表現のデシベルではない。

1920年代後半ごろ、ハリー・ナイキストとラルフ・ハートレーは様々な情報転送に関する基本概念を生み出した。特に通信システムとして電報を対象としていた。当時、それらの概念は強力なブレークスルーではあったが、理論として体系化されるまでには至らなかった。1940年代、クロード・シャノンはナイキストやハートレーの業績に基づいて通信路容量の概念を生み出し、情報理論として体系化した。

1927年、ナイキストは、電報の通信路に単位時間当たりに送り込めるパルス数が帯域幅の2倍に制限されていることを示した。式で表すと次のようになる。

${\displaystyle f_{p}\leq 2B\,}$

ここで、f_p はパルスの周波数（秒あたりのパルス数）、B は帯域幅（ヘルツ）である。2B という値は後に「ナイキスト・レート」と呼ばれるようになり、限界である 2B のパルスを送ることを「ナイキスト・レートでの信号送信」と呼ぶようになった。ナイキストは、これを1928年の論文 "Certain topics in Telegraph Transmission Theory" の一部として発表した。

同年、ハートレーは通信路で転送できる情報の量とレートを定式化した。後にハートレーの法則と呼ばれるようになり、シャノンの伝送路符号化理論の重要な先駆けとなった。

ハートレーの主張は、通信路上で確実に区別して転送可能な最大の信号振幅のレベルの数は、信号の振幅のダイナミックレンジと受信側がその振幅レベルを識別できる精度によって制限されるということである。特に、転送される信号の振幅が [ –A ... +A ] ボルトに制限され、受信側の精度が +/– ΔV ボルトである場合、識別可能な最大パルスレベル数 M は以下の式で与えられる。

${\displaystyle M=1+{A \over \Delta V))$

ハートレーは、情報量はパルスレベル数の対数で得られるものとして、情報量が通信路の帯域幅と通信路の使用時間に比例するとした。ハートレーの法則という用語はこの比例のことを指す場合もある。そして、ハートレーはナイキスト・レートを取り入れて達成可能な情報レート R （ビット毎秒）を以下のように定式化した。この形式をハートレーの法則とする場合もある。

${\displaystyle R=2B\log _{2}(M)\,}$

ハートレーは M と通信路のノイズの関係を明確にはしなかった。そのため、システム設計者は低い誤り率を達成するために M を安全側に設定せざるを得なかった。誤りのない容量の定量化はクロード・シャノンまで待たねばならなかった。シャノンは、ハートレーの業績（パルス数の対数が情報量）とナイキストの業績（帯域幅による制限）に基づいて理論を構築した。

ハートレーの定式化した容量は、誤りのない M 値の通信路で毎秒 2B 個の記号（ビット）を送る場合に相当する。これを通信路容量という場合もあるが、誤りのない通信路は一種の理想化であり、シャノン・ハートレーの定理で示される誤りのある通信路での通信路容量に比べると実用性は低い。

クロード・シャノンの情報理論は第二次世界大戦中に構築され、ノイズのある通信路上で確実に通信できる情報量を把握するための大きな進歩となった。ハートレーの成果を発展させ、シャノンが1948年に発表した通信路符号化定理は、ノイズの影響下での誤り訂正方法の効率の最大値を示した。この定理の証明によって、無作為に構築された誤り訂正符号が本質的に最高の符号でもあることを示した。証明はそのような無作為な符号の統計的操作によって行われた。

シャノンの定理は通信路の統計的記述から通信路容量を計算する方法を示している。ノイズのある通信路での容量 C と転送レート R の関係が

${\displaystyle R<C\,}$

であるとき、受信側での誤り率を極めて小さくする符号化技法が存在する。つまり、理論上は C （ビット毎秒）を上限として誤り率をほぼゼロで情報を転送できることを示している。

反対も重要である。もし

${\displaystyle R>C\,}$

である場合、転送レートの上昇とともに受信側での誤り率も増大していく。従って、通信路容量を超えて意味のある情報を転送することはできない。この定理では転送レートと通信路容量が同じという稀な状況については特に何も示していない。

シャノン・ハートレーの定理は、有限の帯域幅でガウスノイズのある連続時間の通信路での通信路容量を明らかにした。ハートレーの業績とシャノンの通信路容量の定理を結びつけて、確実に識別可能なパルス数ではなく誤り訂正符号によって確実に情報を転送するという考え方で、ハートレーの式にあった M をS/N比に結びつけた。

無限の帯域幅でノイズのないアナログ通信路があったとしたら、単位時間当たりに誤りなしで転送可能なデータの量は無限となるだろう。しかし、実際の通信路には帯域幅の面でもノイズの面でも制限がある。

さて、帯域幅やノイズはアナログ通信路での情報転送レートにどのような影響を与えるのだろうか?

驚くべきことに、帯域幅の制限は最大情報転送レートを制限しない。これはつまり、ノイズさえなければ信号の様々なレベルに異なる意味（あるいはビット列）を割り当てることで多量の情報を送ることが出来、これを突き詰めて行けば、瞬間の信号レベルだけで無限の情報を送ることも原理的には可能なのである。しかし、帯域幅とノイズの両方を考慮した場合、転送可能な情報量は制限される。

シャノン・ハートレーの定理が想定した通信路では、信号のノイズは足しあわされる。つまり、受信側が観測する信号は、元々の符号化された信号とノイズの無作為な値の総和である。この加算によって、元々の信号がどうであったかが不確かになる。受信側がノイズを生成する確率過程について情報を持っていれば、理論的には、ノイズがある時点でとりうる値を考慮することで元々の情報を復活させることができる。シャノン・ハートレーの定理では、ノイズは分散の明らかになっているガウスノイズとされている。ガウス過程の分散はその電力と等価なので、それをノイズの電力と便宜的に呼ぶ。

このような通信路を加算性ホワイトガウスノイズ (AWGN) 通信路と呼ぶ。「ホワイト」と付くのは、帯域幅の全周波数においてノイズが同じ強さであるためである。このようなノイズは何らかのエネルギー源が発生する場合もあるし、送信機や受信機での誤作動によって発生する場合もある。独立したガウス確率変数の総和もガウス確率変数であるため、ノイズ発生源が複数あったとしても解析は容易である。

シャノン・ハートレーの定理とハートレーの法則を組み合わせると、識別可能な信号レベル M が以下のように求められる:

${\displaystyle 2B\log _{2}(M)=B\log _{2}\left(1+{\frac {S}{N))\right)}$

${\displaystyle M={\sqrt {1+{\frac {S}{N))))}$

平方根が電力比から電圧比への変換になっており、利用可能な電圧レベルの個数は信号の振幅と雑音の標準偏差との比のRMSである。

このような両法則の類似から、M個のパルスレベルが文字通り何の混乱もなく転送できると解釈されるべきではない。冗長で誤り訂正可能な符号化をするにはそれ以上のレベルが必要であり、それも含めて全体としてのデータ転送レートの最大がハートレーの法則の M になるのである。

これまでの単純な想定では、信号とノイズには全く相関がなかった。ホワイトノイズ以外のノイズ（S/N比が帯域幅内の周波数に対して一定でない）の場合を求めるには、ガウスノイズのある狭い通信路が複数並行していると想定すればよい。

${\displaystyle C=\int _{0}^{B}\log _{2}\left(1+{\frac {S(f)}{N(f)))\right)df}$

ここで

C は通信路容量で、単位はビット毎秒

B は通信路の帯域幅で、単位は Hz

S(f) は信号の電力スペクトル

N(f) はノイズの電力スペクトル

f は周波数で、単位は Hz

注意: この定理はノイズがガウス定常過程の場合にのみ適用される。

S/N比が大きい場合と小さい場合、以下のような近似が可能である。

• S/N >> 1 の場合

${\displaystyle C\approx 0.332\cdot B\cdot \mathrm {SNR(in\ dB)} }$

ここで

${\displaystyle \mathrm {SNR(in\ dB)} =10\log _{10}{S \over N))$

• 同様に S/N << 1 の場合

${\displaystyle C\approx 1.44\cdot B\cdot {S \over N))$

このような S/N比が小さい場合、ノイズがホワイトノイズでスペクトル密度が ${\displaystyle N_{0))$ ワット/Hz とすると、ノイズの電力が ${\displaystyle B\cdot N_{0))$ となり、容量は帯域幅とは独立となる。そのため、以下のように近似される。

${\displaystyle C\approx 1.44\cdot {S \over N_{0))}$

1. SNR が 20 dB、帯域幅が 4 kHz（電話回線に相当）の場合、C = 4 log₂(1 + 100) = 4 log₂ (101) = 26.63 kbit/s となる。なお、S/N = 100 という値は SNR が 20dB というのと等価である。
2. 50 kbit/s で転送しなければならないとする。帯域幅は 1 MHz だとすると、S/N は 50 = 1000 log₂(1+S/N) から求められ、S/N = 2^C/W -1 = 0.035 であるから、SNR は -14.5 dB となる。つまり、スペクトラム拡散通信によるノイズよりも弱い信号で転送が可能であることが示されている。

• R.V.L. Hartley, "Transmission of Information," Bell System Technical Journal, July 1928.
• C. E. Shannon, The Mathematical Theory of Communication. Urbana, IL:University of Illinois Press, 1949 (reprinted 1998).
• C. E. Shannon, "Communication in the presence of noise", Proc. Institute of Radio Engineers, vol. 37, no.1, pp. 10-21, Jan. 1949.
• Herbert Taub, Donald L. Schilling (1986). Principles of Communication Systems. McGraw-Hill 
• John M. Wozencraft and Irwin Mark Jacobs (1965). Principles of Communications Engineering. New York: John Wiley & Sons 

• 標本化定理

• The relationship between information, bandwidth and noise