在群论中，群表示论（英语：Group representation theory）是一个非常重要的理论。它包含了（局部）紧致群、李群、李代数及群概形的表示等种种分支，近来无限维表示理论也渐露头角。表示理论在量子物理与数学的各领域中均有重要应用。

基本定义

表示理论早期是藉矩阵的语言描述的，具体定义如下：

• 如果任何非零方阵的集合的乘法关系和给定群的乘法关系相同，则这个矩阵集合形成群的一个表示，这套矩阵的阶称为表示的维数。
• 如果两个同维表示的矩阵以同一相似变换相关联，则称这两个表示是等价的。
• 如果任何维数大于一的表示的所有矩阵都可以用相同的相似变换变换为相同的块对角矩阵结构，则称此表示为可约表示，反之称为不可约表示。

形式地说，一个群${\displaystyle G}$的表示乃一同态 ${\displaystyle \rho :G\rightarrow \mathrm {GL} (V)}$，其中${\displaystyle V}$为给定的有限维向量空间，系数布于一个域${\displaystyle F}$，通常取${\displaystyle F=\mathbb {C} }$，但在一般域（如局部域或有限域）上的表示也有重要应用。${\displaystyle \mathrm {GL} (V)}$表从${\displaystyle V}$上的自同构，或对一给定的基底来说，是${\displaystyle n=\dim V}$阶可逆方阵的集合。若${\displaystyle \mathrm {Ker} (\rho )}$是平凡的，则称此表现是忠实的。

若所考虑的群${\displaystyle G}$带有额外的结构（如拓扑群、李群或群概形），我们通常要求${\displaystyle \rho }$满足相应的条件（如连续性、可微性或者要求它是概形间的态射）；在有限群及紧致群以外的情况，通常也须考虑无穷维表示。

一个群${\displaystyle G}$的所有有限维表示构成一个张量范畴，记为${\displaystyle \mathrm {Rep} _{G))$；其态射定义如下：

${\displaystyle \mathrm {Hom} _{G}((\rho ,V),(\sigma ,W)):=\{f\in \mathrm {Hom} _{F}(V,W):f(\rho (g)v)=\sigma (g)f(v)\))$

它等价于有限维${\displaystyle F[G]}$-模所构成的范畴。不难验证表示间的同构确由矩阵的相似变换给出。一个表示被称作不可约的，当且仅当它没有在${\displaystyle G}$的作用下不变的非平凡子空间。若一个表示能表成不可约表示的直和，则称之为完全可约的。若取${\displaystyle F=\mathbb {C} }$，则紧致群的表示均为完全可约的，对于一般的李群及群概形则复杂得多，完全可约与否通常与半单性有关。

特征标

给定${\displaystyle G}$的一个表示，可以得到一个特征标${\displaystyle \chi :G\rightarrow F}$，它是个类函数。特征标理论在有限群分类中占关键地位；在紧致群上，特征标满足舒尔正交关系，又根据彼得-外尔定理，不可约表现的特征标相对于 ${\displaystyle L^{\infty ))$ 范数在类函数中稠密。请参见特征标理论。

诱导与限制

设${\displaystyle H}$为${\displaystyle G}$之子群，${\displaystyle (G:H)<\infty }$。以下将定义两个函子${\displaystyle \mathrm {Res} _{H}^{G}:\mathrm {Rep} _{G}\rightarrow \mathrm {Rep} _{H))$（限制）与${\displaystyle \mathrm {Ind} _{H}^{G}:\mathrm {Rep} _{H}\rightarrow \mathrm {Rep} _{G))$（诱导）。

• 若${\displaystyle \rho :G\rightarrow \mathrm {GL} (V)}$为G的表示，则ρ限制于H给出H的表示，记为${\displaystyle \mathrm {Res} _{H}^{G}(V)}$。
• 若${\displaystyle \rho :H\rightarrow \mathrm {GL} (V)}$为H的表示，我们定义${\displaystyle V^{G}:=\{f:G\rightarrow V:\forall h\in H\;f(hg)=\rho (h)f(g)\))$。${\displaystyle G}$以右乘法作用在${\displaystyle V^{G))$上。${\displaystyle V^{G))$仍是有限维，记此表示为${\displaystyle \mathrm {Ind} _{H}^{G}(V)}$。

诱导表示亦可用矩阵直接计算，或定义为某个主齐性空间的截面；后者可推广至李群与群概形的表示，此时诱导表示的性状与${\displaystyle G/H}$的几何构造密切相关。

弗罗贝尼乌斯互反定理言明：若${\displaystyle V,W}$分别为${\displaystyle G,H}$的表示，则有自然的同构${\displaystyle \mathrm {Hom} _{H}(W,\mathrm {Res} _{H}^{G}(V))=\mathrm {Hom} _{G}(\mathrm {Ind} _{H}^{G}(W),V)}$。换言之：${\displaystyle (\mathrm {Ind} _{H}^{G},\mathrm {Res} _{H}^{G})}$为一对伴随函子。

若以特征标表之，上述同构化为一个较弱但较具体的等式：${\displaystyle (\chi _{\mathrm {Ind} _{H}^{G}(W)},\chi _{V})=(\chi _{W},\chi _{\mathrm {Res} _{H}^{G}(V)})}$。

例子

• 任意一个群${\displaystyle G}$都自然地作用在其群代数${\displaystyle \mathbb {C} [G]}$上，称为正则表现。
• 对称群${\displaystyle S_{n))$以${\displaystyle \sigma \cdot e_{i}=e_{\sigma (i)))$作用在${\displaystyle \mathbb {C} ^{n))$上。
• ${\displaystyle \mathrm {SO} _{n}(\mathbb {R} )}$以${\displaystyle g\cdot f(x)=f(g(x))}$作用于m次调和多项式上。

与物理学的关系

迄今已知的物理定律通常在某个李群的作用下保持不变，如空间的旋转群${\displaystyle \mathrm {SO} (3)}$或其覆盖${\displaystyle \mathrm {Spin} (3)}$，其不可约表示关系到角动量的量子化。进一步的例子是：任何与狭义相对论相容的量子力学系统都带有${\displaystyle G:=AH}$（半直积）的酉表示，其中${\displaystyle A}$是时空的平移而${\displaystyle H}$是 劳仑兹变换群，借着研究${\displaystyle G}$的不可约酉表示，可分类粒子的质量和自旋。

参见

• 舒尔正交关系
• 特征标理论

文献

• J.L. Alperin, Rowen B. Bell, Groups and Representations (1995), Graduate Texts in Mathematics 162 ,Springer. ISBN 0387945261
• J.C. Jantzen, Representations of Algebraic Groups (2003), American Mathematical Society. ISBN 0821835270
• V.S. Varadarajan, An Introduction to Harmonic Analysis on Semisimple Groups (1989), Cambridge University Press. ISBN 0-521-34156-6