โดยรัชกาลที่ ๖ เสด็จพระราชดำเนินมาประทับแรมที่พระราชนิเวศน์ ๒ ครั้ง คือ เมื่อปีพ.ศ.๒๔๖๗ และ พ.ศ.๒๔๖๘
ก่อนที่จะมีการสร้างพระราชนิเวศน์มฤคทายวัน พระยาแพทย์พงศาสุทธาธิบดี แพทย์หลวงประจำพระองค์ ได้กราบบังคมทูลพระกรุณาแนะนำให้ รัชกาลที่ ๖ ซึ่งทรงป่วยประชวรด้วยโรครูมาติซึ่ม เสด็จประทับ ณ สถานที่อากาศถ่ายเทสะดวกแถบชายทะเล ซึ่งขณะนั้น หัวหินเป็นสถานที่ตากอากาศที่เริ่มได้รับความนิยม จึงทรงให้ กระทรวงทหารเรือสำรวจหาทำเลที่เหมาะสมเพื่อสร้างพระราชวังฤดูร้อน
โดยครั้งแรกได้ดำเนินการสร้างพระราชวังแบบเรียบง่าย ที่ชายทะเลบริเวณหาดเจ้าสำราญ แต่เนื่องจากพื้นที่กันดารและการเดินทางไม่สะดวก รัชกาลที่ ๖ ทรงมีพระราชดำริที่จะสร้างพระราชวังแห่งใหม่ จึงให้ เมืองเพชรบุรีสำรวจหาสถานที่และพบว่า ชายหาดในตำบลห้วยทรายเหนือ อำเภอชะอำ (อยู่ระหว่างหาดเจ้าสำราญกับหัวหิน) มีทำเลที่เหมาะสม จึงทรงพระกรุณาโปรดเกล้าฯ
ให้สถาปนิกชาวอิตาเลียน เป็นผู้ออกแบบ ตามแบบที่กล่าวกันว่าทรงร่างด้วยพระหัตถ์ของพระองค์เองและพระราชทานนามว่า "พระราชนิเวศน์มฤคทายวัน"
สถาปัตยกรรมของพระราชนิเวศน์มฤคทายวันเป็นแบบไทยประยุกต์(เรือนไทยผสมยุโรป) สร้างด้วยไม้สักทั้งหลังเป็นอาคารเปิดโล่ง ๒ ชั้น ใต้ถุนสูง โดยแบ่งเป็นหมู่พระที่นั่งฯ ๓ องค์มีอาคารประกอบรวม ๑๖ หลัง เชื่อมต่อกันด้วยระเบียงทางเดินคลุมหลังคาประกอบด้วย
หมู่พระที่นั่งสโมสรเสวกามาตย์ ใช้เป็นสโมสรของข้าราชบริพารและข้าราชการ
รัชกาลที่ ๖ ทรงใช้เป็นท้องพระโรงสำหรับทรงประกอบพระราชกรณียกิจต่างๆ
รวมทั้งศาสนพิธี
หมู่พระที่นั่งสมุทพิมาน เป็นที่ประทับของรัชกาลที่ ๖
และเป็นส่วนของข้าราชบริพารฝ่ายชาย หรือฝ่ายหน้า
หมู่พระที่นั่งพิศาลสาคร เป็นที่ประทับของพระนางเจ้าอินทรศักดิศจี
พระบรมราชินี และเป็นเขตพระราชฐานฝ่ายใน