位于城東3公里處瀟水河心的香零山，是一座天然石磯結構的小島，東西長約25m，南北寬約15m，高出水面約8m。這里山勢險峻，風景優美，春時如貼水芙蓉，秋時則亭亭孤寺。當煙繞山腳、縷波而起、林螟江動、水叫石激時，更有“香零煙雨”之稱。過去，這里水流湍急，常有漂木和人溺水的事故，清同治年間修建觀音閣，設救生船只，漲水時敲鐘點燈，并提供食宿，以周濟落水者。柳宗元、徐霞客等文人曾到此游覽，留下了不少詩文遺跡。