ตำหนักเขาน้อย ตั้งอยู่เชิงเขาน้อยทางทิศใต้ ถนนสะเดา สร้างเมื่อ พ.ศ. 2454 สร้างขึ้นเพื่อเป็นที่ประทับของนายพลเอก สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ายุคลทิฆัมพร กรมหลวงลพบุรีราเมศวร์ เมื่อครั้งเสด็จมาดำรงตำแหน่งสมุหเทศาภิบาลมณฑลนครศรีธรรมราช ( พ.ศ. 2453-2458) และอุปราชมณฑลปักษ์ใต้ นครศรีธรรมราช สุราษฎร์ธานี ปัตตานี ชุมพร ( พ.ศ. 2458-2468) ตำหนักเขาน้อยสร้างขึ้นเมื่อปีกุน เดือนพฤศจิกายน พ.ศ. 2454 โดยมีหัวหน้านายช่างก่อสร้างชาวฝรั่งเศสจากกรุงเทพฯ กรมศิลปากรประกาศขึ้นทะเบียนเป็นโบราณสถานของชาติในหนังสือราชกิจจานุเบกษา เล่มที่ 111 ตอนที่ 20 วันที่ 10 มีนาคม 2537 พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว เมื่อครั้งเสด็จประพาสเมืองสงขลา ได้ประทับแรม ณ ตำหนักเขาน้อย ระหว่างวันที่ 13-19 มิถุนายน 2458 อีกทั้งสถานที่แห่งนี้เคยเป็นที่ลี้ภัยทางการเมืองภายหลังการเปลี่ยนแปลงการปกครองของพระบรมวงศานุวงศ์หลายพระองค์ เช่น พระนางเจ้าสุวัทนา พระวรราชเทวี และสมเด็จพระเจ้าภคินีเธอ เจ้าฟ้าเพชรรัตนราชสุดา สิริโสภาพัณณวดีอีกด้วย นอกจากนี้พระตำหนักเขาน้อยเคยเป็นที่ประทับแรมของพระบาทสมเด็จพระเจ้าอยู่หัวภูมิพลอดุลยเดช และสมเด็จพระนางเจ้าพระบรมราชินีนาถ เมื่อคราวเสด็จเยี่ยมราษฎรปักษ์ใต้เมื่อเดือนมีนาคม 2502 หลังจากนั้นตำหนักนี้ก็ได้อยู่ในการดูแลรักษาของจังหวัดสงขลาตลอดมาโดยที่ไม่มีผู้ใดอาศัย จนกระทั่ง ปี 2507 ได้บูรณะปรับปรุงเป็นจวนที่พักของผู้ว่าราชการจังหวัดสงขลา (ม.จ.ทองคำเปลว ทองใหญ่) และได้ใช้เป็นที่พักแรมของผู้ว่าราชการจังหวัดสงขลาจนถึงปัจจุบันนี้