"วังไกลกังวล" สร้างโดยพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัวโปรดเกล้าฯพระราชทรัพย์ส่วนพระองค์จากพระคลังข้างที่ ให้สร้างขึ้นเมื่อเดือนตุลาคม พ.ศ. 2469 เพื่อพระราชทานแด่สมเด็จพระนางเจ้ารำไพพรรณี พระบรมราชินี โดย หม่อมเจ้าอิทธิเทพสรรค์ กฤดากร ผู้อำนวยการศิลปากรสถานในขณะนั้นเป็นสถาปนิกผู้ออกแบบและควบคุมการก่อสร้าง เพื่อใช้งานในการแปรพระราชฐานมาพักในจังหวัดริมทะเล โดยรัชกาลที่ 7 ทรงออกพระนามเรียกวังแห่งนี้ว่า สวนไกลกังวล และประทับตราสัญลักษณ์ของวังเมื่อ พ.ศ. 2472 ทรงออกนามว่า พระราชวังไกลกังวล อย่างไรก็ตาม เนื่องจากไม่ปรากฏหลักฐานว่ามีพระบรมราชโองการประกาศยกเป็นพระราชวัง ดังนั้น จึงยังคงเรียกว่า วังไกลกังวล