洪熙十四年的大寿过后，紫禁城的享乐氛围愈发浓厚。
一日深夜，朱高炽拥着赵贵妃在乾清宫寝殿休息，指尖划过冰凉的龙纹雕柱，忽然皱起眉头，内心隐隐觉得这历代皇帝居住的正殿太过肃杀，朱红宫墙与鎏金梁柱间满是威严，实在不合此刻安逸享乐的心境。
他将这想法对怀中的赵贵妃说了，语气里带着几分不满：“这乾清宫处处透着规矩，住得久了只觉压抑，哪有半分舒心滋味？”
赵贵妃闻言连连点头，她本就觉得乾清宫太过庄严，每次踏入都忍不住屏气凝神，此刻更是顺着皇帝的心意说：“陛下说得是，臣妾也觉得这里太肃穆了些。尤其是那‘敬天勤民’的匾额挂在正殿，咱们在后面的房间歇脚，总觉得心里膈应，确实不太适合呢。”
朱高炽听她这般说，顿时更觉自己的想法有理。经过一整夜的思索，第二天清晨朱高炽便召来太监拟旨，声音带着不容置疑的决断与严肃：“传朕旨意，拆养心殿旧址，在此处新建锦绣阁。阁内需雕梁画栋，引活水入园，还要备齐戏台、暖阁、浴池，往后朕与诸妃便移居此处居住。”
工部接到圣旨后不敢有丝毫耽搁，立刻派出大批官员与匠人前往养心殿旧址。他们先是细致考察地形，丈量尺寸，随后有条不紊地拆除旧址上的旧建筑，砖瓦木料分类堆放。
工部尚书徐樽亲自带着图纸房的匠人在现场反复勘察、绘制设计图，几易其稿后呈给皇帝过目，待朱高炽圈定方案，便火速召集京中最顶尖的能工巧匠，从江南调运楠木，从山东采买琉璃，连铺地的木地板都特意选用质地坚硬的紫檀木，务求材料精良。
朱高炽在对工部呈上的数套方案进行仔细挑选后，又特意补充了一道口谕：“拆养心殿务必要拆得干净，旧地基、老柱子什么都不要留下，全换新的！建锦绣阁则要极尽精美，梁柱用楠木，窗棂嵌琉璃，地面全铺木地板，各处雕饰都要精巧华丽，切莫失了皇家体面。”
工部尚书徐樽接到命令后更是不敢怠慢，索性在工地旁搭了临时帐篷，日夜监工。