"พนมสวาย" เป็นคำภาษาพื้นที่เมืองสุรินทร์ "พนม" แปลว่าภูเขา "สวาย" แปลว่า "มะม่วง" ในหมู่พนมสวายประกอบด้วภูเขา 3 ลูกติดต่อกันซึ่งมีมีชื่อพื้นเมืองเรียกแตกต่างกันไป ได้แก่ "พนมกรอล" แปลว่า "เขาคอก" มีความสูงประมาณ 150 เมตร "พนมเปร๊า แปลว่า "เขาชาย" มีความสูงประมาณ 220 เมตร "พนมสรัย" แปลว่า "เขาหญิง" มีความสูงประมาณ 210 เมตร รวมกันทั้ง 3 ลูก มีชื่อว่า เขาพนมสวาย ความจริงคือ พนมสวายคือ ภูเขาไฟที่ดับสนิทแล้ว จึงมีลานหินกระจายทั่วไป เนื่องจากวนอุทยานพนมสวายได้สำรวจทั่วบริเวณวนอุทยานพบว่า มีต้นกล้วยไม้ป่าอยู่เป็นจำนวนมาก ทางวนอุทยานได้จัดต้นกล้วยไม้ป่า มาติดไว้ตามต้นไม้ต่างๆ ริมถนน ริมลานจอดรถบ้าง วนอุทยานพนมสวาย ถือว่าเป็นวนอุทยานเฉลิมพระเกียรติแห่งหนึ่งในประเทศไทย และเป็นสถานที่แสวงบุญของชาวไทยที่เลื่อมใสในพระพุทธศาสนา