数学において、群 G のユニタリ表現（ユニタリひょうげん、英: unitary representation）とは、複素ヒルベルト空間 V 上の G の線型表現 π であって、π(g) が任意の g ∈ G に対してユニタリ作用素となるようなものである。一般論は G が局所コンパクト（ハウスドルフ）位相群であり表現が強連続（英語版）である場合にはよく発展している。

理論は1920年代から量子力学において広く応用されており、とくにヘルマン・ワイルの1928年の本 Gruppentheorie und Quantenmechanik に影響を受けている。応用において有用な特定の群だけでなく任意の群 G に対してユニタリ表現の一般論を構成したパイオニアの1人はジョージ・マッキー（英語版）であった。

群のユニタリ表現の理論は調和解析と密接な関係にある。群がアーベル群 G の場合には、G の表現論の完全な描像はポントリャーギン双対性によって与えられる。一般に、G の既約ユニタリ表現のユニタリ同値類（下記参照）はそのユニタリ双対 (unitary dual) をなす。この集合は群 C^* 環の構成によって G と結びつけられた C^* 環のスペクトル（英語版）と同一視できる。これは位相空間である。

プランシュレルの定理の一般形はユニタリ双対上の測度によって L²(G) 上の G の正則表現を記述するものである。G が可換群の場合には、これはポントリャーギンの双対性の理論によって与えられる。G がコンパクト群の場合には、これはピーター・ワイルの定理（英語版）によってなされる。このときユニタリ双対は離散空間であり、測度は各点においてその次数である^{[訳語疑問点]}。

G を位相群とする。ヒルベルト空間 H 上の G の強連続ユニタリ表現 (strongly continuous unitary representation) とは、G から H のユニタリ群への群準同型

${\displaystyle \pi \colon G\rightarrow \operatorname {U} (H)}$

であって、g ↦ π(g)ξ がすべての ξ ∈ H に対してノルム連続関数であるようなものである。

G がリー群であれば、ヒルベルト空間もまた滑らかな構造や解析的な構造を持つことに注意しよう。ベクトル ξ ∈ H が滑らか (smooth) あるいは解析的 (analytic) であるとは、写像 g ↦ π(g)ξ が（H のノルムあるいは弱位相に関して）滑らかあるいは解析的であることをいう^[1]。滑らかなベクトルは、Lars Garding（英語版） の古典的な議論によって H において稠密である、なぜならばコンパクト台を持つ滑らかな関数による対合は滑らかなベクトルを生み出すからである。解析的なベクトルは、Roe Goodman によって拡張された Edward Nelson（英語版） の古典的な議論によって、稠密である、なぜならば、G の普遍包絡環における楕円型微分作用素 D に対応する熱作用素 e^−tD の像に入っているベクトルは解析的だからである。滑らかなあるいは解析的なベクトルは稠密な部分空間をなすだけではない。それらはスペクトル理論の意味でリー代数の元に対応する非有界歪随伴作用素に対して共通の核をなす^[2]。

2つのユニタリ表現 π₁: G → U(H₁), π₂: G → U(H₂) がユニタリ同値であるとは、ユニタリ変換 A: H₁ → H₂ が存在して、すべての g ∈ G に対して、${\displaystyle A\circ \pi _{1}(g)=\pi _{2}(g)\circ A}$ となることをいう。これが成り立つとき、A を表現 (π₁, H₁), (π₂, H₂) に対する絡作用素（英語版）という^[3]。

ユニタリ表現は完全可約である。つまり、任意の閉不変部分空間に対し、直交補空間は再び閉不変部分空間である。これは観察のレベルであるが、基本的な性質である。例えば、有限次元ユニタリ表現は代数的な意味で必ず既約表現の直和であることが従う。

ユニタリ表現は一般の場合よりも扱うのがはるかに容易なため、ユニタリ化可能な表現、つまり適切な複素ヒルベルト空間の構造の導入によってユニタリになる表現を考えることは自然である。これは、任意のエルミート構造に対し平均を取る議論によって、有限群（英語版）やより一般にコンパクト群に対して、非常にうまくいく。例えば、マシュケの定理の自然な証明はこの手法によってなされる。

一般に、非コンパクト群に対して、どの表現がユニタリ化可能かを問う問題はより深刻である。数学における重要な未解決問題の1つはユニタリ双対の記述、すべての実簡約リー群の既約ユニタリ表現の有効な分類である。すべての既約ユニタリ表現（というよりもそれらのハリッシュ・チャンドラ加群（英語版））は許容的 (admissible)（英語版）であり、許容表現はラングランズ分類（英語版）によって与えられ、それらの表現のうちどれが非自明な不変半双線型形式を持つかを知ることは容易である。問題は、いつ二次形式が正定値であるのかを知ることが一般には難しいことである。多くの簡約リー群に対してこの問題は解かれている。例えば SL2(R) の表現論（英語版）やローレンツ群の表現論（英語版）を参照。

• Reed, Michael; Simon, Barry (1975), Methods of Modern Mathematical Physics, Vol. 2: Fourier Analysis, Self-Adjointness, Academic Press, ISBN 0-12-585002-6 
• Warner, Garth (1972), Harmonic Analysis on Semi-simple Lie Groups I, Springer-Verlag, ISBN 0-387-05468-5 

• 誘導表現（英語版）
• アイソタイプ表現（英語版）
• SL₂(R) の表現論（英語版）
• ローレンツ群の表現（英語版）
• ストーン・フォン・ノイマンの定理（英語版）
• star Lie superalgebra のユニタリ表現（英語版）
• 帯球関数（英語版）