ที่แห่งนี้เคยเป็นสถานที่ตั้งของกระทรวงการคลังในสมัยที่จอมพล ป. พิบูลสงคราม ดำรงตำแหน่งเป็นนายกรัฐมนตรี และได้ประกาศพระราชกำหนดระเบียบบริหารนครบาลเพชรบูรณ์ พ.ศ. 2487 จัดตั้งให้ถ้ำฤๅษีสมบัติเป็นที่เก็บสมบัติของแผ่นดิน โดยเฉพาะทองคำแท่งที่สั่งเคลื่อนย้ายมาจากกระทรวงการคลังในกรุงเทพฯ เพื่อเก็บซ่อนจากเหล่าทหารญี่ปุ่นที่ตั้งมั่นอยู่ในประเทศไทยสมัยสงครามมหาเอเชียบูรพาซึ่งอยู่ในระหว่างปี พ.ศ. 2484-2488 ปัจจุบันสิ่งก่อสร้างที่เป็นตัวอาคารแทบไม่หลงเหลือให้เห็น นอกจากร่องรอยของการก่อสร้างในยุคนั้น และตัวถ้ำที่มีลักษณะเป็นถ้ำเขาหินปูน หน้าบริเวณทางเข้ามีบันไดพญานาคขนาบทั้งสองข้าง ภายนอกมีซากป้อมปืนใหญ่ไว้ป้องกันทรัพย์สมบัติที่ย้ายมาจากกระทรวงการคลังในยุคนั้น ตั้งให้เห็นอยู่ในดงไม้ ภายในถ้ำมีรูปปั้นฤๅษีตั้งอยู่อย่างโดดเด่น ถ้ำมีความลึกมาก แต่เป็นถ้ำแห้ง ไม่มีอากาศหายใจ จึงเข้าไปลึกไม่ได้