幸亏张载阳的手快，及时把陈乐山的手扳住，枪口一歪，子弹射着旁边一个马夫的肩窝。陈乐山再要开枪时，卢永祥早已过来拦阻。陈乐山不平道：“督办怎么也要帮他说话？”卢永祥从容不迫地说道：“乐山，你既然要杀他，为什么不叫士兵洗劫杭州呢？”陈乐山诧异道：“这不是你不肯迁怒杭州人民，要特别成全他们吗？”卢永祥道：“你认为这事应不应该这么办？”陈乐山道：“论理，浙人负我，非我们负浙人，就是洗劫了也不算罪过，但督办不忍心啊！”卢永祥道：“你既然知道我不忍心，为什么还要杀夏超？”陈乐山道：“焚掠商民，所谓刑及无辜，当然应该存不忍之心。至于乱臣贼子，则人人得而诛之，有什么不忍？”卢永祥道：“你难道说我是为着他个人吗？”陈乐山还没回答，卢永祥继续说道：“你杀了他不要紧，可是他部下现在也有若干保安队，这种保安队打仗不中用，而抢劫商民却绰绰有余。你杀了夏超，这些人没了主帅，岂有不生变抢劫的道理？你既肯体恤我的不忍之心，不肯叫部下抢劫，怎么又要杀夏超，以致累及无辜的商民呢？”张载阳、周凤歧两人也劝道：“既然督办不和他计较，就请乐山兄饶了他吧！”陈乐山听了这话，半晌无语，手里的枪，不觉渐渐地收了回来。周凤歧见事情已经解决，便起身告辞道：“凤歧为维持省城治安起见，只得暂留，等一有人来接替，定当到上海亲领教诲。”卢永祥微笑道：“不必客气。凤歧兄只管请便吧！”周凤歧目视夏超，夏超会意，便起身一起告辞。陈乐山忽然变色阻止道：“凤歧尽管请便，夏超可对不住了，还得委屈你送我们到上海去。我们毕竟相处这么久了，今天我和督办离开杭州，不知道什么时候才能和夏超兄再会，夏超兄难道连送我们到上海的情分也没有吗？”夏超无奈，只得又坐了下来。陈乐山随即向周凤歧等人道：“我们的车子马上要开了。后会有期，诸位请回吧！”周凤歧等人只得告辞而去。
陈乐山立即下令开车。夏超坐在一旁有些忐忑不安。张载阳心中不忍，再三向陈乐山疏通，陈乐山并不回答，只是微笑而已。不一会儿，火车已经隆隆开动，夏超非常着急，向张载阳丢了几个眼色。张载阳忽然想到一个办法，急忙去和卢永祥说：“夏超如果不回去，保安队无人统辖，万一发生变乱，省城必遭摧残。”卢永祥听了这话，突然变色道：“此话不错，万一保安队因不见夏超而发生变乱，岂不是我害了杭州人民吗？”因而忙对陈乐山说道：“到了艮山门快叫停车，让夏超下去吧！”陈乐山见卢永祥有命令，不敢不依，只得照命令行事。
夏超回到公署，便发电请孙传芳即日来省维持秩序。那些商民绅商见卢永祥走了，知道孙传芳一定会来，乐得做个顺水人情，拍几个马屁，也好叫他开心，以后可以得些好处，所以孙传芳后来开口就是“浙江人民欢迎我来的”。
这时，潘国纲还不知道省中的情形，到了七里垄正要整兵再战，忽然听说省局大变，卢永祥已经走了，他只好收拾残部退往五夫，防护宁波、绍兴去了。
孙传芳从福建动身时，曾夸下海口说：“明年八月十五，请各位到浙江来观潮。”想不到真应验了。接到浙江省中官绅的欢迎电报后，孙传芳立即赶往杭州。不料他到杭州的这一天，西湖十景中雷峰夕照的雷峰塔，忽然坍倒，一时议论纷纷。有的说雷峰本名卢妃，应在卢永祥垮台时倒；也有的说孙传芳不吉利。孙传芳却毫不在意这些流言。这时孙军虽到了，杭州有几家报馆，却仍旧发表拥护卢永祥、攻击直系的评论，各报几乎完全一致，其中以《浙江民报》最为激烈。有一家叫《杭州报》的，因为发表了一篇欢迎孙传芳的文章，顿时大受攻击，都骂它为婊子式的日报，《杭州报》的销路因此一落千丈。然而那些官绅们却借着公团的招牌，伪托人民的公意，欢迎孙传芳。孙传芳口口声声，说什么浙人欢迎他来。要知道，这次孙传芳的军队进驻浙江省，仅被强奸致死的妇女就超过五十人以上，浙江人民怎么会欢迎他？
这时，卢军已退守松江，在松江指挥的是陈乐山部的旅长王宾，陈乐山则率领夏兆麟一旅在黄渡方面协助杨化昭作战。不料，松江的后路明星桥被孙传芳军袭击，王宾仅战了一天便弃松江，逃回上海去了。卢永祥治军向来严厉，见王宾擅自退兵，便认为他不遵调度，要将他枪决。经臧致平力保，才将他免职处理。陈乐山因王宾是自己十多年的挚友，卢永祥没和自己商量，便将王宾免职，所以心里非常不高兴，因此对卢永祥越发不服。陈乐山部下的旅长夏兆麟也跟着变了心。最奇怪的是杨化昭，本来千辛万苦地投奔到浙江，就是为了投靠卢永祥，到了这时竟也有些抗命的意思。
卢永祥本是忠厚之人，并不知道部众都已怀了二心，还满心期待他们帮忙夺回松江。他一面连电催促广东的孙中山、奉天的张作霖，赶紧实施讨曹计划，使直系不能专对东南；一面派臧致平反攻松江，何丰林向莘庄进攻，陈乐山部开到莘庄助战。不料，陈乐山接到命令却不遵令而行。卢永祥见陈乐山忽然翻脸，还不晓得是为了什么，十分诧异。当下想了一个方法，在龙华总司令部召集各重要军官，开军事会议，决定战守的方针。那天，何丰林、臧致平、陈乐山、杨化昭、朱声广、夏兆麟等一干重要军官全部到席。卢永祥将战情报告完毕，便征求各部下对战局的意见。臧致平先发言道：“我军现在还有四万多人，集中兵力防守上海附近的地方，无论如何，绝不会失败。子弹方面，兵工厂现已日夜赶造，也不会出现供应不足的情况。况且，孙中山先生已联合唐继尧等人预备北伐，奉方张作霖也已对直隶有所动作。直系内失人心，外迫强敌，决不能持久。我军只要坚持到底，不出三个月，直系内部必然会发生内变，那时不但浙江可以收复，而且江苏也在我们掌握之中。”何丰林听了这话，也立起道：“刚才臧司令所说，确实是深明大局之谈，想臧司令以数千之众困守厦门，抵抗五路数万敌军，竟能维持一年之久，他的见识经验，必然在我们之上。因此兄弟主张遵照他所说的，坚持到底，诸位认为如何？”陈乐山、杨化昭、朱声广、夏兆麟都默然无语。卢永祥见他们不开口，便道：“诸位不说，大概是没有疑议……”一句话还没说完，陈乐山突然起身道：“坚持到底倒没问题，只是不知道是否作战？”卢永祥诧异道：“你说的什么话？坚持到底当然是要作战，不作战，怎么能坚持？”陈乐山道：“如果要作战，不知派谁去？”臧致平插口道：“这还用问？当然还是我们去，难道叫老百姓去不成？”陈乐山冷笑道：“你去，我不去。”卢永祥、何丰林一齐变色道：“乐山兄，你怎么说出这种话？”陈乐山道：“我的兵都损失的不剩几个了，怎么去？老实说一句，诸位也不要动气，现在这战局，别要说坚持到底，恐怕要坚持一天也难了。与其死战而多死些官兵，不如少战几次，可以多保几条贱命呢！”夏兆麟也跟着起立说道：“奉天军队虽已出动，但绝不是直系的对手，这谁都看得出来。西南方面更是不济，天天嚷着北伐，连个东江的陈炯明都打不败，还希望他们劳师千里来助我们作战吗？依我之见，也是不战为上策。”杨化昭随声附和，赞成不战。卢永祥冷笑一声道：“不论主战主和，都是一个办法，我也没什么成见，请诸位暂时各回防地，我只要对得住国家人民，对得住诸位就问心无愧了。”
大家散去以后，臧致平和何丰林都还未走。卢永祥见他们二人的神情颓丧，笑道：“你们有心事吗？其实这种事也很寻常，大不了我们即刻走人而已。”何丰林叹了一口气道：“还有什么话？这时也只有‘走’这一个办法了。”臧致平默然。卢永祥道：“怎么？兄弟还没有决定吗？我已是很坚决了。无论两位的主张怎样，我可是决意走了。”说着，便命人请秘书起草下野通电。臧致平忙道：“我们三人去则同去，留则同留，哪里有让你独自下野的道理？留下我们在这里，我们还能有什么办法？”卢永祥道：“那更好了。”说着又想了想道：“那朱声广不知为什么，也变心了。”臧致平道：“我是早已听说，徐树铮现在在上海，很想利用我们的队伍出来活动一下，朱广声他们大概受了小徐的怂恿，要拥护小徐做领袖呢！不然乐山对直系又无好感，为什么态度转变得这么快呢？”卢永祥笑了笑，也不下什么断语。不一会儿，秘书把通电稿送来，卢永祥便和何、臧两人盖章拍发，三人同时下野。而后三人借道日本，一起到奉天去了。