香零山位于市區東部，瀟水河中心，面積寬15米，長25米，高出水面12米，是一座巖山小島。 這座天然的石磯結構山島，隨著瀟水的水勢展現不同的景色。當水勢洶涌時，它顯得小舟中的一只船，在水勢較弱時，它矗立在水中。在雨后的日出時，山腳被煙霧籠罩，朦朧的霧雨中，來往的船只若隱若現，營造出一種恍若隔世的景象，因此被稱為“香零煙雨”，是永州的八景之一。柳宗元曾在詩中懷念香零山的美景。