เป็นวัดที่มีโบราณสถานสำคัญน่าชม เช่น โบสถ์มีใบเสมาคู่ ซึ่งแสดงให้เห็นว่าเป็นวัดที่พระมหากษัตริย์ทรงอุปถัมภ์ เจดีย์และพระพุทธบาทจำลองที่ประดิษฐานอยู่ในโบสถ์ และด้านหน้ามีเจดีย์ 2 องค์อันเป็นบรรจุอังคารบิดาและ มารดาของสมเด็จพระเจ้าตากสินมหาราช ปัจจุบันได้รับการขึ้นทะเบียนเป็นโบราณสถานสำคัญของชาติ วัดนี้มีที่มา วัดดอยข่อยเขาแก้วถูกกล่าวถึงในตำนานพิธีเสี่ยงดวงชะตาในสมัยกรุงธนบุรี เมื่อครั้งที่สมเด็จพระเจ้ากรุงธนบุรี ดำรงตำแหน่งเป็นเพียงพระยาตาก โดยพระองค์ได้เสี่ยงทาย ณ วัดนี้ว่า "หากข้าพเจ้ามีบุญญาบารมีมากพอที่จะเป็นที่พึ่งของอาณาประชาราษฎร์ได้อย่างเที่ยงแท้ ขอให้ไม้เคาะระฆังที่ข้าพเจ้าจะขว้างไปยังถ้วยแก้วซึ่งตั้งอยู่ห่างประมาณ 5 วา ให้ถูกจำเพาะท่อนกลางที่คอดกิ่วของถ้วยแก้วแล้วแตกหักออกไป ขออย่าให้ส่วนอื่นของถ้วยแก้วแตกเสียหาย ฯลฯ " ปรากฏว่า เมื่อขว้างไม้เคาะระฆังออกไปตามคำอธิษฐาน ก็เป็นอย่างที่พระองค์ได้อธิษฐานไว้ และเป็นที่ประจักษ์แก่สายตาของบรรดาพุทธบริษัทที่มาร่วมบำเพ็ญกุศลที่วัดดอยข่อยเขาแก้ว จนเล่าลือกันว่า "พระยาตากเป็นผู้มีบุญญาธิการและบารมีที่มหัศจรรย์ยิ่ง" ภายหลังจากการเสี่ยงทายแล้วพระองค์ได้ให้ช่างนำลูกแก้วไปติดไว้ที่ยอดเจดีย์วัดดอยข่อยเขาแก้วลูกหนึ่ง ส่วนอีกลูกหนึ่งข้าราชการ พ่อค้า ประชาชน ได้ขออนุญาตนำไปติดไว้ที่ยอดเจดีย์ ณ วัดกลางสวนดอกไม้ หลายปีผ่านไปลูกแก้วที่ติดอยู่บนยอดเจดีย์ทั้งสองแห่งนั้นได้หลุดหายไปเนื่องจากยอดพระเจดีย์ได้หักพังลงมา และต่อมาเมื่อสมเด็จพระเจ้ากรุงธนบุรีเสด็จไปยังเมืองเชียงใหม่ ครั้งที่ 2 ใน พ.ศ. 2317 พระองค์ได้เสด็จไปหาสมภารวัดดอยข่อยเขาแก้ว ตรัสถามถึงเรื่องลูกแก้วที่ทรงเสี่ยงทายเมื่อครั้งยังเป็นพระยาตาก และจากตำนานดังกล่าว สมเด็จฯ กรมพระยาดำรงราชานุภาพ สันนิษฐานว่า สมเด็จพระเจ้ากรุงธนบุรีโปรดฯ ให้ปฏิสังขรณ์ใหม่หมดทั้งพระอาราม เมื่อคราวเสด็จกลับจากเชียงใหม่ในปี พ.ศ. 2317