อุทยานหินเขางูนั้นเป็นภูเขาหินปูน ต่อมาได้พัฒนาเป็นสวนสาธารณะเขางู และเส้นทางขับรถลัดเลาะเขาที่สวยงาม อีกทั้งยังเป็นแหล่งโบราณคดี เพราะรอบๆ อุทยานนั้นมีหมู่ถ้ำเขางู ซึ่งถือว่าเป็นโบราณสถานสำคัญ เพราะภายในแต่ละถ้ำมีภาพสลักหินที่เกี่ยวข้องกับพระพุทธศาสนามาตั้งแต่สมัยทวารวดีอยู่ อย่างถ้ำฤาษีเขางู บริเวณเชิงเขาใกล้กับพระพุทธปางลีลา ก็มีความสำคัญทางพุทธศาสนา ภายในมีพระพุทธประทับนั่งห้อยพระบาทแกะสลักจากหินภายในถ้ำ ปางแสดงธรรมเทศนาหรือวิตรรกะมุทราตามแบบพุทธศิลป์สมัยทวารวดี อีกทั้งยังมีพระพุทธรูปหินทรายศิลปะสมัยอยุธยาอีกหลายองค์