วัดเขาป่าแก้วนั้น เนื่องจากเดิมบนเนินเขาสีเสียดนี้ มีต้นสีเสียดขึ้นเป็นจำนวนมาก และมีต้นแก้วขึ้นอยู่มากมาย ซึ่งลำต้นแข็งแรง ใบสวย ดอกหอม ชื่อก็เพราะ จึงใช้ตั้งชื่อวัดดังกล่าว ภายในวัดยังมีพระบรมสารีริกธาตุ ได้อัญเชิญมาจากประเทศศรีลังกา ถือเป็นสิ่งศักดิ์สิทธิ์คู่บ้านคู่เมือง ซึ่งในช่วงวันสงกรานต์เดือนเมษายน ชาวอำเภอวังน้ำเย็นจะจัดงานประเพณีสงกรานต์และแห่พระบรมสารีริกธาตุ เป็นประจำทุกปี