柴山的地質以珊瑚礁石灰岩地形為主，是海底上升為陸地的證據。從下到上大致分為「古亭坑層」、「高雄石灰岩」、「崎腳層」、「壽山石灰岩」、「現代沖積及崩積層」五個地層，其中古坑亭層和高雄石灰岩為構成柴山的主體。古亭坑層約在一百八十萬至三百萬年前形成，位於柴山底部，以青灰色泥岩為主，含有孔蟲及石灰藻的化石。高雄石灰岩是大量的珊瑚、藻類、有孔蟲及貝類等的殘存硬殼，堆積後膠結形成的岩層，它覆蓋在古亭坑層上。後來因為陸地上升及侵蝕作用，帶來大量泥沙，在原有的石灰岩上逐漸形成崎腳層，以深灰色泥岩為主，還夾有數層黃棕色鬆散砂岩。崎腳層沉積之後，這裡的岩層受到擠壓，發生了一連串的隆起、褶皺、斷層等地質演變，崩落的岩塊堆積在東南部，形成壽山石灰岩，以疏鬆的珊瑚石灰岩塊為主。

參考來源：柴山。維基百科。2007.10.05檢索自： http://zh.wikipedia.org/wiki/%E6%9F%B4%E5%B1%B1#.E5.9C.B0.E8.B3.AA