而最为棘手的是，这些地主团练所把守得寨垒中，往往混有很多普通百姓特别是老幼妇孺，因而使得石部太平军在剿平地主武装时，每每陷入投鼠忌器进退两难的境地。
1860年6月，石达开离开驻扎了8个月的庆远，南下忻城，宾州，武缘等地。
而就在这不久，石达开部遭遇了远征以来最为严重的一次内部动乱。
远征军足有二十几万人马，在精忠大柱国朱衣点，军略彭大顺等六七十名将领的率领下，突然宣布脱离石达开并迅速东返天京。
究其原因都是没粮和石部越发恶劣的环境闹的，因为粮草供给不足及石部诸多部将克服困难信心不足，或怀念富庶的江南老巢想走回头路的心思一起自然压都压不住。
当时情况到底有多糟糕呢，石达开所带的部众不过十数万人，但物资仍感缺乏。于是多年相从的老部下和跟随者，也不得不分散就食自力更生，结果是逃走的逃走投降的投降。
而且朱衣点等人在广西融县，曾强行向当地百姓征粮，将进贡与征粮扯在一起，这其实是违背太平军传统的。因为太平军传统的“进贡”，只是要求当地人表示归顺的一种手段，并不是非要百姓如何如何。
朱衣点等人作为太平军高级将领，把“进贡”变成了针对平民的强行征粮，自然引起石达开的不满和愤怒，矛盾一多自然再难尿到一个壶里去。
当然了，石达开迟迟不肯自立旗帜，无法满足一些部下攀龙附凤的愿望，以及部下多为三江两湖人，离乡日久有思归之念，也都是部下纷纷离散的重要因素。
二十万大军脱离后，石达开的处境非常困难，当时跟随他的仅有一万多人马，太平军大将中只有赖裕新留在他身边。
而广西境内的湘军以及两广清军，正在加强扫荡各路叛乱武装更是节节败退。清军的目的十分明显，先扫清其它叛乱武装势力，再集中全力对付石部太平军。而各地团练此时同样对石部太平军的生存形成巨大威胁。
二十万人脱离后不久，石达开曾命赖裕新率军攻南宁，目的则主要是在南宁一带征粮，赖裕新与敌相持一月后撤军。
对石达开部最为不利的情况是，咸丰十一年太平军的老对手，原两江总督吴可就任两广总督，并且还带来了三万精锐安徽清军。
正如吴可忌惮石达开部太平军一般，石达开也十分忌惮吴可这位清军中名副其实的‘名将’，加上他此时手头只有区区上万兵力，要是被老对手安徽清军吊上的话只怕全军覆没都不是没有可能。
情况发展到这个地步，石达开部太平军在广西已经无法立足坚持长期作战，幸好广西还有个战友大成国帮忙分担压力，吸引了两广清军和入桂湘军绝大部分注意力和火力，不然石达开也只有率部立刻撤离广西一条路可走。
可以说，在这时候的石达开是他跟随太平军起事以来，境况最落魄的一段日子，整日里为粮草和清军的攻势忧心忡忡难以安眠……