함수해석학에서 유니터리 작용소(unitary作用素, 영어: unitary operator)는 힐베르트 공간의 자기동형사상이다. 즉, 내적을 보존시키는 전단사 선형 변환이다.

힐베르트 공간 ${\displaystyle ({\mathcal {H)),\langle \cdot |\cdot \rangle )}$ 위의 유계 작용소 ${\displaystyle U\colon {\mathcal {H))\to {\mathcal {H))}$에 대하여, 다음 조건들은 서로 동치이며, 이를 만족시키는 유계 작용소를 유니터리 작용소라고 한다.

• ${\displaystyle U^{\dagger }U=UU^{\dagger }=I}$ (${\displaystyle U^{\dagger ))$는 ${\displaystyle U}$의 에르미트 수반)
• ${\displaystyle U}$는 전사 함수이며, 모든 ${\displaystyle u,v\in {\mathcal {H))}$에 대하여 ${\displaystyle \langle Uu|Uv\rangle =\langle u|v\rangle }$이다.
• ${\displaystyle U}$의 상은 ${\displaystyle {\mathcal {H))}$의 조밀 집합이며, 모든 ${\displaystyle u,v\in {\mathcal {H))}$에 대하여 ${\displaystyle \langle Uu|Uv\rangle =\langle u|v\rangle }$이다.

만약 마지막 조건에서 상에 대한 조건을 생략할 경우, ${\displaystyle U}$는 등거리 변환이라고 한다. 이는 유니터리 작용소보다 더 약한 개념이다. 등거리사상은 ${\displaystyle U^{\dagger }U=I}$를 만족시키지만, ${\displaystyle UU^{\dagger }=I}$는 만족시키지 않을 수 있다.

항등 함수 ${\displaystyle v\mapsto v}$는 항상 유니터리 작용소이다.

유한 차원 실수 힐베르트 공간의 경우, 유니터리 작용소는 직교행렬이다. 유한 차원 복소 힐베르트 공간의 경우, 유니터리 작용소는 유니터리 행렬이다.

힐베르트 공간 ${\displaystyle {\mathcal {H))}$의 기저 ${\displaystyle {\mathcal {B))\subset {\mathcal {H))}$ 위의 대칭군 ${\displaystyle \operatorname {Sym} ({\mathcal {B)))}$의 원소 ${\displaystyle \sigma \in \operatorname {Sym} ({\mathcal {B)))}$로부터 유도되는 선형변환

${\displaystyle \sum _{b\in {\mathcal {B))}v_{b}b\mapsto \sum _{b\in {\mathcal {B))}v_{b}\sigma (b)}$

은 유니터리 작용소이다. 대신, ${\displaystyle \sigma \colon {\mathcal {B))\to {\mathcal {B))}$가 단사 함수이지만 전사 함수가 아니라면, 이는 등거리 변환이지만 유니터리 작용소가 아니다.

유클리드 공간 위의 복소수 L² 공간 ${\displaystyle L^{2}(\mathbb {R} ^{n};\mathbb {C} )}$ 위의 푸리에 변환 연산자

${\displaystyle {\mathcal {F))\colon L^{2}(\mathbb {R} ^{n};\mathbb {C} )\to L^{2}(\mathbb {R} ^{n};\mathbb {C} )}$

는 유니터리 작용소이다.

• Teschl, Gerald (2009). 《Mathematical methods in quantum mechanics with applications to Schrödinger operators》. Graduate Studies in Mathematics (영어) 99. American Mathematical Society. ISBN 978-0-8218-4660-5. MR 2499016. Zbl 1166.81004. 

• Sobolev, V.I. (2001). “Unitary operator”. 《Encyclopedia of Mathematics》 (영어). Springer-Verlag. ISBN 978-1-55608-010-4.