番山是古时广州的一个小山冈，与西侧的禺山组成“番禺”这个地名。明代羊城八景之一的“番山云气”便是此处。

番山位于现时广州市区中山四路附近，东侧为文溪所流经，西侧与禺山相对，两山之间的坳口曾是唐朝时广州城的南门。在唐末的907年为开拓城区，已把番山凿平。

现在孙中山文献馆所在的位置原为广府学宫，而学宫就建在番山的边上，现在文献馆旁的山坡上还有一个小亭子名“番山亭”，为后来所重建。