史载乌桓族“以山为号”，也就是说，乌桓族的祖先以他们居住的乌桓山作为自己民族的称号，乌桓山的方位大概在今内蒙古自治区阿鲁科尔沁旗以北，即大兴安岭中部的东西罕山南麓。

秦末汉初（前3世紀末）之際，匈奴王冒顿单于击败东胡。东胡人北遷至鲜卑山和乌桓山，各以山名為族號，分别形成鲜卑人和乌桓人。乌桓隨水草放牧，以穹廬為室，常要向匈奴进贡，匈奴每歲向烏桓徵收牲畜、皮革。

东汉末年，乌桓部落被曹操攻克，乌桓山便不见于史籍。