在群論中，群表示論（英語：Group representation theory）是一个非常重要的理論。它包含了（局部）緊緻群、李群、李代數及群概形的表示等種種分支，近來無限維表示理論也漸露頭角。表示理論在量子物理與數學的各領域中均有重要應用。

表示理論早期是藉矩陣的語言描述的，具體定義如下：

• 如果任何非零方陣的集合的乘法關係和给定群的乘法關係相同，则這個矩陣集合形成群的一個表示，這套矩陣的階稱為表示的維數。
• 如果兩個同維表示的矩陣以同一相似變換相關聯，則稱這兩個表示是等價的。
• 如果任何維數大於一的表示的所有矩陣都可以用相同的相似變換轉換为相同的塊對角矩陣結構，則稱此表示为可約表示，反之稱为不可約表示。

形式地說，一個群${\displaystyle G}$的表示乃一同態 ${\displaystyle \rho :G\rightarrow \mathrm {GL} (V)}$，其中${\displaystyle V}$為給定的有限維向量空間，係數佈於一個域${\displaystyle F}$，通常取${\displaystyle F=\mathbb {C} }$，但在一般域（如局部域或有限域）上的表示也有重要應用。${\displaystyle \mathrm {GL} (V)}$表從${\displaystyle V}$上的自同構，或對一給定的基底來說，是${\displaystyle n=\dim V}$階可逆方陣的集合。若${\displaystyle \mathrm {Ker} (\rho )}$是平凡的，則稱此表現是忠實的。

若所考慮的群${\displaystyle G}$帶有額外的結構（如拓撲群、李群或群概形），我們通常要求${\displaystyle \rho }$滿足相應的條件（如連續性、可微性或者要求它是概形間的態射）；在有限群及緊緻群以外的情況，通常也須考慮無窮維表示。

一個群${\displaystyle G}$的所有有限維表示構成一個張量範疇，記為${\displaystyle \mathrm {Rep} _{G))$；其態射定義如下：

${\displaystyle \mathrm {Hom} _{G}((\rho ,V),(\sigma ,W)):=\{f\in \mathrm {Hom} _{F}(V,W):f(\rho (g)v)=\sigma (g)f(v)\))$

它等價於有限維${\displaystyle F[G]}$-模所構成的範疇。不難驗證表示間的同構確由矩陣的相似變換給出。一個表示被稱作不可約的，若且唯若它沒有在${\displaystyle G}$的作用下不變的非平凡子空間。若一個表示能表成不可約表示的直和，則稱之為完全可約的。若取${\displaystyle F=\mathbb {C} }$，則緊緻群的表示均為完全可約的，對於一般的李群及群概形則複雜得多，完全可約與否通常與半單性有關。

給定${\displaystyle G}$的一個表示，可以得到一個特徵標${\displaystyle \chi :G\rightarrow F}$，它是個類函數。特徵標理論在有限群分類中佔關鍵地位；在緊緻群上，特徵標滿足舒爾正交關係，又根據彼得-外爾定理，不可約表現的特徵標相對於 ${\displaystyle L^{\infty ))$ 範數在類函數中稠密。請參見特徵標理論。

設${\displaystyle H}$為${\displaystyle G}$之子群，${\displaystyle (G:H)<\infty }$。以下將定義兩個函子${\displaystyle \mathrm {Res} _{H}^{G}:\mathrm {Rep} _{G}\rightarrow \mathrm {Rep} _{H))$（限制）與${\displaystyle \mathrm {Ind} _{H}^{G}:\mathrm {Rep} _{H}\rightarrow \mathrm {Rep} _{G))$（誘導）。

• 若${\displaystyle \rho :G\rightarrow \mathrm {GL} (V)}$為G的表示，則ρ限制於H給出H的表示，記為${\displaystyle \mathrm {Res} _{H}^{G}(V)}$。
• 若${\displaystyle \rho :H\rightarrow \mathrm {GL} (V)}$為H的表示，我們定義${\displaystyle V^{G}:=\{f:G\rightarrow V:\forall h\in H\;f(hg)=\rho (h)f(g)\))$。${\displaystyle G}$以右乘法作用在${\displaystyle V^{G))$上。${\displaystyle V^{G))$仍是有限維，記此表示為${\displaystyle \mathrm {Ind} _{H}^{G}(V)}$。

誘導表示亦可用矩陣直接計算，或定義為某個主齊性空間的截面；後者可推廣至李群與群概形的表示，此時誘導表示的性狀與${\displaystyle G/H}$的幾何構造密切相關。

弗羅貝尼烏斯互反定理言明：若${\displaystyle V,W}$分別為${\displaystyle G,H}$的表示，則有自然的同構${\displaystyle \mathrm {Hom} _{H}(W,\mathrm {Res} _{H}^{G}(V))=\mathrm {Hom} _{G}(\mathrm {Ind} _{H}^{G}(W),V)}$。換言之：${\displaystyle (\mathrm {Ind} _{H}^{G},\mathrm {Res} _{H}^{G})}$為一對伴隨函子。

若以特徵標表之，上述同構化為一個較弱但較具體的等式：${\displaystyle (\chi _{\mathrm {Ind} _{H}^{G}(W)},\chi _{V})=(\chi _{W},\chi _{\mathrm {Res} _{H}^{G}(V)})}$。

• 任意一個群${\displaystyle G}$都自然地作用在其群代數${\displaystyle \mathbb {C} [G]}$上，稱為正則表現。
• 對稱群${\displaystyle S_{n))$以${\displaystyle \sigma \cdot e_{i}=e_{\sigma (i)))$作用在${\displaystyle \mathbb {C} ^{n))$上。
• ${\displaystyle \mathrm {SO} _{n}(\mathbb {R} )}$以${\displaystyle g\cdot f(x)=f(g(x))}$作用於m次調和多項式上。

迄今已知的物理定律通常在某個李群的作用下保持不變，如空間的旋轉群${\displaystyle \mathrm {SO} (3)}$或其覆蓋${\displaystyle \mathrm {Spin} (3)}$，其不可約表示關係到角動量的量子化。進一步的例子是：任何與狹義相對論相容的量子力學系統都帶有${\displaystyle G:=AH}$（半直積）的酉表示，其中${\displaystyle A}$是時空的平移而${\displaystyle H}$是 勞侖茲變換群，藉著研究${\displaystyle G}$的不可約酉表示，可分類粒子的質量和自旋。

• 舒尔正交关系
• 特徵標理論

• J.L. Alperin, Rowen B. Bell, Groups and Representations (1995), Graduate Texts in Mathematics 162 ,Springer. ISBN 0387945261
• J.C. Jantzen, Representations of Algebraic Groups (2003), American Mathematical Society. ISBN 0821835270
• V.S. Varadarajan, An Introduction to Harmonic Analysis on Semisimple Groups (1989), Cambridge University Press. ISBN 0-521-34156-6