它是一座象徵性的山，可以將上下城鎮景觀盡收眼底。

位於城下川南岸海拔538m的衝山是衝山城跡公園。
此外，您可以從山頂的“大山城”遺址俯瞰上下街景。

相傳大倉新衛門的副官長谷部信信在戰國時期建造了小山城。這是一座堅固的城堡，通過在相對高度為160米的陡峭山上佈置約20座城牆並在關鍵點建造石牆而製成的城堡。
相傳他從本信跟隨森氏，在24年的宮島之戰中，與本信父子一起擊敗了三浦越中房政的附庸三浦大倉。關原之戰後，隨著森遷往萩，森家的長谷部先生也遷往萩，據說小山城已被廢棄。