气急败坏的黄炳文回到家，心中暗想，看来很多事情，他们连锦衣卫二把手都瞒着，干脆，趁着成国公在龙兴之地凤阳祭祖，他得到过年才能回来，便再次去找刘守有请缨，撇开汤景、徐鲲一案，以调查翠花楼私通海盗为由，匆匆忙忙又回到了南京。
来到了翠花楼，黄炳文现，这儿的生意果然大不如从前。
刘保哭诉道：“黄大人，外边都在传说，咱们翠花楼私通倭寇，官差整天在门外盯着，谁还敢来？”
连他干爹黄锦拿海瑞都没办法，黄炳文也不敢去找海瑞理论，只好先应付刘保，便讲道：“先别急，只要你小子以后跟着我好好干，将来本官给你弄个一官半职。不过，今后我不能住在翠花楼了，你先去给我找几个姑娘，送到我这寓所来。”