วัดเก่าแก่มีอายุเก่าแก่กว่า 230 ปีแห่งนี้ สันนิษฐานว่าสร้างขึ้นในสมัยอยุธยาตอนปลาย ประมาณปี พ.ศ. 2305 และยังเป็นวัดที่ตั้งอยู่ใกล้กับโบราณสถานเมืองบน อันเป็นหัวเมืองโบราณในสมัยทวารวดี ที่ปรากฏร่องรอยคูเมืองโบราณอยู่ด้านทิศเหนือของวัด จึงอาจบ่งบอกได้ว่าวัดพระปรางค์เหลืองน่าจะเป็นชุมชน และแหล่งอารยธรรมโบราณมาก่อน และในอดีตที่ผ่านมาพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 5 เคยเสด็จฯ ณ วัดพระปรางค์เหลืองถึงสามครั้งด้วยกัน โดยครั้งที่มีความสำคัญมากที่สุดคือครั้งที่ 2 เมื่อวันที่ 11 สิงหาคม พ.ศ. 2449 ที่ “หลวงพ่อเงิน” ได้ถวายการรดน้ำมนต์แด่พระองค์ท่าน และจากนั้นท่านก็ได้รับพระราชทานสมณศักดิ์เป็น “พระครูพยุหานุสาสก์” ดำรงตำแหน่งเจ้าคณะอำเภอพยุหะคีรีที่มีชื่อเสียงด้านรดน้ำมนต์ “จินดามณี” โดยภายในวัดมีโบรณสถานสำคัญหลายแห่งที่ควรค่าแก่การเยี่ยมชม