วัดอโศการาม มีที่ตั้ง ประมาณ ๕๓ ไร่ และเป็นที่ที่เมื่อประมาณปี พ.ศ. ๒๔๙๗ - พ.ศ. ๒๔๙๘ เป็นปีที่ท่านพ่อลี เริ่มก่อตั้งสำนักสงฆ์ขึ้นมา เพราะฉะนั้นภิกษุส่วนมากที่อยู่ตามป่าจะอยู่ในการดูแลของท่านพ่อลี และยึดแนววัตรปฏิบัติของท่านพ่อลี นาแม่ขาว เป็นชือตำบลเป็นที่ตั้งของวัดอโศการามปัจจุบัน ตามประวัติที่กล่าวไว้ในหนังสือชีวประวัติ พระสุทธธรรมรังสีคัมภีรเมธาจารย์ (พระอาจารย์ลีธมฺมธโร) ความว่า" ที่ตั้งวัดอโศการามปัจจุบันนี้ เดิมเรียกว่า "นาแม่ขาว" เจ้าของที่ดินคือ นางกิมหงษ์ และนายสุเมธ ไกรกาญจน์ ได้ถวายที่ดินให้สร้างวัดเนื้อที่ประมาณ ๕๓ ไร่ เมื่อ ปี พ.ศ. ๒๔๙๗ จนกระทั่งปี พ.ศ. ๒๔๙๘ จึงได้เริ่มตั้งสำนักขึ้นเป็นครั้งแรก โดยให้พระลูกศิษย์ คือพระครูใบฎีกาทัศน์ มาเฝ้าสำนักแทน พร้อมกับลูกศิษย์อีก ๕ รูป รวมมีพระที่สำนักนี้ในครั้งเริ่มตั้ง จำนวน ๖ รูป" เมื่อออกพรรษาและได้จัดงานพระราชทานเพลิงศพสมเด็จฯ เรียบร้อยแล้ว เป็นปี พ.ศ. ๒๔๙๘ ท่านพ่อลี จึงได้ออกไปจำพรรษาที่วัดอโศการาม