上官侍郎家的这名宠妾说话硬气乃是有缘故的，并非只是受宠而已；这女子大名谢三娘，正是那“旧时王谢堂前燕”的谢家，虽则家道没落已久，乃至为人妾室，但教养气节仍在。谢氏收养了萝瑟女之后，丈夫上官亦不能如何。这家大妇颜色已衰，一生未出，性格温柔软弱，在家没有权势；加上这新妾人格远远超过主人主母，两年来家中的大小原是听从谢三娘的，却也不怪，若是这家中能添丁，也是这位谢夫人的儿女，故而人人趋炎附势。
萝瑟奴大难不死，留在谢夫人身边，名字中的“奴”也去掉，直称萝瑟；虽然名上是个侍女，夫人知道她是个音乐奇才，从不令她沾染一点阳春水，免得以后回宫任职时双手不再灵活。两人在闺房中时，谢夫人称她为妹妹，萝瑟不会说话，却会笑着点头。
波斯人爱以花名女，那九死一生的幼儿，萝瑟替她取名为牡丹。因为波斯语中没有牡丹一词，她在巾子上绣了“天国之花”的波斯语，读作阿瑟芒斡朵。她知道唐人最怜爱的就是此花，绝不会令牡丹遭受一点风雨摧残。谢夫人指着巾帕上的文字问她给女儿取了何名，她站起来伸出手点了点窗外盛开的牡丹花。
她手指的正是姚黄牡丹，与魏紫并占牡丹鳌头，此时正是仲春花好。谢夫人笑着点头，道：“如此，她也有个汉人名字，叫做黄楼。”黄楼子是姚黄别称。从此谢夫人总是抱着这女儿穿行在花园，“黄楼儿”、“黄楼子”这样唤她，女孩儿也十分聪慧，三个月时便会应答。萝瑟不能出声，但能令女儿小手摸着她的双唇，教她念若干波斯词语，若是黄楼模仿出来，萝瑟便激动得落下泪来，教育这小小女儿竟是她能听到乡音的唯一途径。
及黄楼十月大时，安庆绪出逃邺城，官军收复洛阳，接连迫降斩杀安氏一族手下将领数人，连胜回朝，肃宗归都长安。既然唐军到、新帝归，那么马上就要彻查变节徒了。上官宅上下闻军马蹄声便溃不成行，谢夫人令萝瑟带黄楼去寻王维先生，谁知王维毕竟受过伪职，此刻也被当作变节叛党押回都城去了。官兵收复后，洛阳的城禁森严，虽一蚁不能出入。叛党被一家一户抄送押往京师，竟搜到次年四月才搜空，将上官一家装车送往长安。
黄楼已经一岁有余，一路上指着押解兵身上的铠甲呀呀儿语，喊“要”、“要”。每每如此，便让萝瑟想起曾经被叛军欺侮的日子来，泪流不止，谢夫人只得抱过孩子要她安静一些。但这女孩儿十分坚持，每见到着铠甲的兵卒，都喊要穿。
大约就是从那时开始，一家人就知道这夷女与平常人不同，隐隐约约中又不敢替她的人生下什么断语，只知道这女儿会有很多年都在战乱中度过，她将一生与兵甲为伴。
颠沛流离来到长安城，国都仍在，宫阙已经化作飞烟。上官侍郎家一行收押进天牢时，恰又逢王维的牢房正在对面，重逢时分不禁百感交集。王维自上次离去，还未见过黄楼，此时见这小小女儿竟然也身陷囹圄，一时不知究竟是救了她还是害了她。然而谢夫人此时一句话说出来，更是令狱中一片死寂。
“若是皇帝想要处死我们一家，已出世的女儿尚且可以充做宫奴留下一条命，但我腹中未出生的孩儿却要不幸与我一起去死了。”
此时，谢夫人有孕才两个月，这孩儿将是上官家唯一的后继。
王维还记得先前谢夫人对他说过的一番话，当下虽然缄默，但心中已经下了决心，若是自己能向皇帝讨回清白，不但要救那名胡女，也要救谢夫人的孩儿。他到底不是真的变节！
果真被他赌回一条命——那夜雷海青被害，他曾写过“万户伤心生野烟，百官何日再朝天？秋槐花落空宫里，凝碧池头奏管弦”的句子，传到肃宗耳里，知道他身在伪朝有许多不得已。又因为弟弟王缙平叛有功，已官至刑部侍郎，却宁可自己削爵回庶，换他重回宫廷。肃宗谅他向来淡泊，不是势利之徒，同意将他重新收编，做太子中允，比原来官等只是稍降。
判下，他失声痛哭，只说狱中还有一些文稿忘了取出，恳求上允回狱取物。他折回大牢，趁狱卒不注意，递给萝瑟一支竹笛，再未说别的。
-------------------------
复了官职，他带着新墨未干的字画去见肃宗。他向来不切切于表忠心，但这一次不是为了自己。从太上皇到朝上百官，谁不爱他的墨宝，但放在以前他只在京郊自己的别墅里裱挂，遇到知心的酒友才会赠送。
肃宗见了他，到底还是怜爱的。当朝最受重用的行军司马李泌也和他一般不爱出仕途而爱青山，此值两京收复之际，却上奏要归隐；为这一事，他无人商量，王维来找他倒是正好。
君臣二人于是斟了酒，一面叙旧往日开元天宝的胜景，一面谈起司马归山一事。说到伤心之处，相顾无言。肃宗李亨做太子时就是个软弱之人，唯玄宗是瞻；现在虽然归国，又遇到后宫宦臣弄权，以致自己的良相竟然要因此辞官；又说到太上皇至今未能回京一事，不知现在在南国几多伤怀，席间数度流涕。
王维便说：“太上皇旧时爱好音律，不知如今箫管鼓乐还能否使上一笑？”
肃宗只是叹了一口气：“卿也见了，大明宫被烧成那样，存在其中的乐谱还剩几何？此前那些乐官舞伎也都被叛党掳去，现在剩下的这批也演