선형대수학에서 직교 행렬(直交行列, orthogonal matrix)은 행벡터와 열벡터가 유클리드 공간의 정규 직교 기저를 이루는 실수 행렬이다.

실수 ${\displaystyle n\times n}$ 행렬 ${\displaystyle Q}$에 대하여, 다음 조건들이 서로 동치이며, 이를 만족시키는 ${\displaystyle Q}$를 직교 행렬이라고 한다.

• ${\displaystyle QQ^{\operatorname {T} }=Q^{\operatorname {T} }Q=1_{n\times n))$. 즉, ${\displaystyle Q}$의 전치 행렬은 ${\displaystyle Q}$의 역행렬이다.
• ${\displaystyle Q}$의 열벡터들은 ${\displaystyle \mathbb {R} ^{n))$의 정규 직교 기저를 이룬다.
• ${\displaystyle Q}$의 행벡터들은 ${\displaystyle \mathbb {R} ^{n))$의 정규 직교 기저를 이룬다.
• ${\displaystyle \mathbb {R} ^{n))$의 모든 정규 직교 기저 ${\displaystyle \{\mathbf {e} _{1},\dots ,\mathbf {e} _{n}\))$에 대하여, ${\displaystyle \{Q\mathbf {e} _{1},\dots ,Q\mathbf {e} _{n}\))$은 ${\displaystyle \mathbb {R} ^{n))$의 정규 직교 기저다.
• ${\displaystyle \mathbb {R} ^{n))$의 어떤 정규 직교 기저 ${\displaystyle \{\mathbf {e} _{1},\dots ,\mathbf {e} _{n}\))$에 대하여, ${\displaystyle \{Q\mathbf {e} _{1},\dots ,Q\mathbf {e} _{n}\))$은 ${\displaystyle \mathbb {R} ^{n))$의 정규 직교 기저다.
• 임의의 벡터 ${\displaystyle \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{n))$에 대하여, ${\displaystyle (Q\mathbf {x} )\cdot (Q\mathbf {y} )=\mathbf {x} \cdot \mathbf {y} }$
• 임의의 벡터 ${\displaystyle \mathbf {x} \in \mathbb {R} ^{n))$에 대하여, ${\displaystyle (Q\mathbf {x} )\cdot (Q\mathbf {x} )=\mathbf {x} \cdot \mathbf {x} }$

모든 직교 행렬은 가역 행렬이며, 직교 행렬의 곱은 항상 직교 행렬이므로, ${\displaystyle n\times n}$ 직교 행렬의 집합은 직교군 ${\displaystyle \operatorname {O} (n;\mathbb {R} )}$이라는 군을 이룬다. 행렬식이 1인 직교 행렬의 집합은 특수직교군 ${\displaystyle \operatorname {SO} (n;\mathbb {R} )}$이라는 부분군을 이룬다.

실수 ${\displaystyle 1\times 1}$ 직교 행렬은 다음과 같은 꼴과 동치이다.

${\displaystyle {\begin{pmatrix}\pm 1\end{pmatrix))}$

실수 ${\displaystyle 2\times 2}$ 직교 행렬은 다음과 같은 꼴과 동치이다.

${\displaystyle {\begin{pmatrix}\cos \theta &-\sin \theta \\\epsilon \sin \theta &\epsilon \cos \theta \end{pmatrix))\qquad \theta \in \mathbb {R} ,\;\epsilon =\pm 1}$

• 유니터리 행렬
• 특잇값 분해
• QR 분해