兰台最早为战国时，楚国的台名，其上建有宫殿。

汉代是汉代宫内藏书之处，由御史中丞控管。

兰台建于长安（今西安）宫内，有大量藏书，为防火起见，以石室建筑。典藏十分丰富。东汉时班固曾为“兰台令史”，受诏撰史，故后世称史官为兰台，称“御史台”为“兰台”。刘复、杨终、傅毅、贾逵、孔僖、李尤等人都曾任兰台令史。龙朔二年（662年）曾改秘书省为兰台。