然而高官厚禄并不予服尔德以幸福。君王的宠信是活动易变的，他的憎厌之心却是不容易变的。路易十五从未欢喜服尔德。他是一个颇有思想的人，自然惧怕别人的思想，在许多官臣冒冒失失地敬重一般哲学家的时候，他已觉得哲学家是他的王位的大敌。服尔德在《光荣的庙堂》（TempledelaGloire）—剧中故意把路易十五比拟德拉扬；正当那出戏在凡尔赛宫上演的辰光，服尔德与御座的包厢离得很近，在将要终了时他走近去向壬上说：“德拉扬快乐么？”路易十五转身直望着他一言不发。这等亲昵的举动使他大为不快。
事情还有更严重的呢。有一天服尔德和夏德莱夫人在一处赌博，夏德莱夫人输了很多，服尔德用英语轻轻地和她说，和她赌博的都是些坏蛋，她应当赶快走开。于是两个老相好热烈争吵起来，说了许多使在场的人难堪的话；因为他们如多数的法国人一样，以为用外国语谈话是无人懂得的。但不久他们从大家的骚动与谈吐之间知道有人在留心谛听他们。他们立刻着了慌，服尔德想起巴斯蒂狱。夏德莱夫人想象与她的“偶像”隔离后的苦况。到了夜里他们套着车子一直逃到巴黎郊外的苏（Sceaiuc）城曼纳公爵夫人家里。
这个“在野的爵府”确是逃亡者托足的地方。曼纳公爵是路易十四与蒙德彭夫人的私生子，娶了龚台亲王（Princede Conde）的孙女，她生得很矮，但“很有魄力，很专横，而且很古怪。”她曾怂恿她胆怯的丈夫凯觎大位，在路易十四薨逝时呼声颇高，老王在遗嘱中也的确很想周全他们。但因为王室的反感终于不得上台