พระบาทสมเด็จพระปกเกล้าฯ ในหลวงรัชกาลที่ 7 ทรงออกพระนามเรียกวังแห่งนี้ว่า “สวนไกลกังวล” ในตราสัญลักษณ์ของวัง หมายถึง สวนที่อยู่ห่างไกลจากความกังวล ใช้ระยะเวลาก่อสร้าง 3 ปี (พ.ศ. 2472) จึงสร้างแล้วเสร็จ ทั้งนี้ พระบาทสมเด็จพระปกเกล้าฯ และสมเด็จพระนางเจ้ารำไพพรรณีเสด็จพระราชดำเนินพร้อมด้วยข้าราชบริพารประทับแรมครั้งแรกในปี 2473 พร้อมสมโภชขึ้นพระราชวังด้วย ซึ่งพระตำหนักตั้งอยู่ที่ชายทะเลมีรูปแบบโครงสร้างเป็นสถาปัตยกรรมสไตล์สเปน แต่ดัดแปลงให้เหมาะสมกับสภาพภูมิอากาศร้อนชื้นของไทย มีขนาดไม่ใหญ่โตนัก และเหมาะสมกับการเป็นที่ประทับตากอากาศรูปแบบคล้ายบ้านขนาดใหญ่เสียมากกว่าพระราชวังที่ต้องการความมีระเบียบและระบบที่ขึงขัง ไม่มีการแยกเป็นฝ่ายหน้า ฝ่ายใน ตามแบบแผนของพระราชวังที่เคยมีมาในโบราณราชประเพณีอีกต่อไป
ย้อนกลับไปเมื่อวันที่ 1 สิงหาคม 2556 พระบาทสมเด็จพระเจ้าอยู่หัวฯ และสมเด็จพระนางเจ้าฯ พระบรมราชินีนาถ เสด็จพระราชดำเนินไปประทับชั่วคราว ณ พระตำหนักเปี่ยมสุข วังไกลกังวล อ.หัวหิน จ.ประจวบคีรีขันธ์ อีกทั้ง ตลอดเส้นทางมีพสกนิกรมารับเสด็จอย่างเนืองแน่น ร่วมกันเปล่งเสียงทรงพระเจริญกึกก้อง สร้างความปลื้มปีติมาสู่ชาวไทยทั้งผอง ณ ที่แห่งนี้ยังเป็น สถานที่พักผ่อนสำราญพระราชอิริยาบถ ณ ชายทะเลหัวหิน
ในส่วนของการตกแต่งนั้น บริเวณด้านหน้าของแต่ละตำหนักถูกประดับด้วยโคมไฟ อุปกรณ์การเดินเรือ รูปปั้นแกะสลักหิน นาฬิกาแดดแบบโบราณ ซึ่งพระตำหนักจะล้อมรอบด้วยแปลงสวนแบบตะวันตกลวดลายเรขาคณิตแบบฝรั่ง มีไม้ดอกไม้ประดับนานาชนิดตัดเป็นรูปทรงประดับ แสดงให้เห็นถึงความละเอียดลออของสถาปนิก ที่สรรค์สร้างเลือกใช้วัสดุก่อสร้างให้เหมาะสมกับท้องถิ่น นอกจากนี้ยังมีพิพิธภัณฑ์หอย ที่ได้รวบรวมหอยทุกชนิดให้เยี่ยมชม ส่วนภายในวังไกลกังวล มี 4 พระตำหนัก ซึ่งหันหน้าออกสู่ทะเลทั้งหมด มีนามคล้องจองกันไพเราะเสนาะหู อันได้แก่ เปี่ยมสุข ปลุกเกษม เอิบเปรม เอมปรีย์
ภายในวังไกลกังวล มี 4 พระตำหนัก ซึ่งหันหน้าออกสู่ทะเลทั้งหมด มีนามคล้องจองกันไพเราะเสนาะหู อันได้แก่ เปี่ยมสุข ปลุกเกษม เอิบเปรม เอมปรีย์
“พระตำหนักเปี่ยมสุข” ตึกแบบสแปนิชสูงสองชั้นพร้อมทั้งหอสูง เป็นที่ประทับของรัชกาลที่ 7 และสมเด็จพระนางเจ้ารำไพพรรณี ปัจจุบันเป็นที่ประทับแปรพระราชฐานของพระบาทสมเด็จพระปรมินทรมหาภูมิพลอดุลยเดช รัชกาลที่ 9 และสมเด็จพระนางเจ้าสิริกิติ์ พระบรมราชินีนาถ
