ชื่อเดิมคือ วัดอภัย หรือ วัดตุงกระด้าง ตามตำนานเล่าว่า เมื่อพญาอภัย ได้ล้มป่วยจึงมีการรักษาด้วยวิธีการต่าง ๆ อย่างไรก็ไม่ทุเลา จึงได้ตั้งจิตอธิษฐานต่อหน้าพระพักตร์ พระเจ้าดับภัย ขอให้อาการป่วยทุเลาลงซึ่งปรากฏว่าอาการเจ็บป่วยก็หายไปโดยฉับพลัน หลังจากนั้นพญาอภัย จึงได้ให้ลูกหลานและบริวารตั้งบ้านเรือนใกล้ ๆ บริเวณแห่งนี้และบูรณปฏิสังขรณ์พร้อมกับเรียกชื่อวัดว่า "วัดดับภัย"