大概他在南京抱怨得太厉害了，五个月后，圣旨又来，这次是除了他的根：王世贞大节已亏，回籍养老！王世贞咆哮、诅咒、热泪盈眶、泣不成声，灰溜溜地离开了南京回太仓。
众人都认为张居正太狠了，只有王世贞自己知道是怎么回事。当然，张居正也知道，并且为了让他不觉得冤屈，特意写信给他说：“为何落到这步田地，你应该有自知之明。我当初始终把你当成自己人，大力扶持你，想不到烂泥扶不上墙，你居然不顾恩情反咬我！谁都可以反对我，都可以攻击我，只有你王世贞不配！我把你赶回老家，其实也有疑虑。请别误会，不是你不该得到这样的下场，而是你是文坛最高枝，我得罪你就等于得罪了天下士子，你们手中有笔，桌上有纸，会把我写成‘蔽贤不用’的奸贼。但我最终还是下定决心，让你滚回老家，原因有两个：第一，我对你太失望太无奈了；第二，我宁用浊流也不用清流，在我看来，把文章写得再好却不能办事的人就是废物，而你们那些所谓的清流正是如此。”