面对清军的大兵压境，小刀会最大的势力陈阿林部还是做出了妥协，默认小刀会归附太平天国，自己虽然不认可但也不公开反对。
刘丽川举起太平天国大旗，自封为太平天国讨招大元帅，并派人前往南京向洪秀全递交愿意归附的信件。另外罗大纲下达了所有小刀会成员必须全部将所抢的钱财上交，统一使用，不愿意继续跟着小刀会守城的人员，发放十两银子路费回家，但所抢钱财必须留下。
陈阿林主动配合了这一方针，当然罗大纲也和他做了内幕交易，他把抢来的二十万两库银上交刘丽川，之后刘丽川又把这钱已发放军饷的由头重新还给了他。但其他小帮主上交的钱就不全部退还了，一些不义之财直接没收。
就这样经过罗大纲一番整顿，上海县城内的军纪焕然一新，虽然又流失了一部分成员，但留下来的都是心里想做一番事业，铁了心和清廷造反的，那些投机分子则主动选择了离开。
话说那李咸池通过卖人质，发了财，三千两银子发了军饷，还有五千两银子他打算私吞了。但罗大纲一到来，让他美梦无法成真，他暗中派亲信去租界码头买船票，准备带着钱一走了之。
可他万万没想到，杨小山通过阿富阿贵和城里的罗大纲取得了联系，并把李咸池那笔银子的事告诉了罗大纲。罗大纲每天都在等李咸池上交这笔钱，结果他迟迟不交。
这一天夜里，李咸池和几名亲信偷偷流出上海县城，来到租界，准备逃回他的福建老家。
天蒙蒙亮，他迫不及待的准备登上前往泉州的船。
“李咸池，你往哪里跑？”李咸池万没想到城里城外杨小山和罗大纲早就布好了人，监视他的动向。
一直等到他准备登船，抓了他一个人赃并获。因为李咸池毕竟是个帮会头目，防止他下面的人不服，必须有铁证才能办他。
这一下人证物证聚在，他的亲信招供了李咸池打算携带钱财逃跑，他怀里的五千两银票和前往福建的船票都是铁证。
罗大纲对着他的手下，出示了这些证据。他的手下是义愤填膺，想不到自己的帮主藏了这么多钱就把他们丢下不管了。愤怒的人群冲了上来，对着李咸池就是一顿拳打脚踢，他们纷纷高喊“死刑！”
于是罗大纲顺应大家的意愿，把李咸池当众砍了，以肃军纪。
经过一番整顿，小刀会的成员终于团结了起来，但很快清军的水军，首先到了上海县城的小东门。
这一支清军由总兵泊承升带领，十多艘战船，其中还有四五艘炮船，打算轰开小东门。
水军出身的罗大纲毫不示弱，率领七八条义军的小船应战。他非常沉着，指挥小船快速在清军大船中间穿插，并丟掷火瓶。
清军战船浓烟滚滚，损失严重，数百人落水。剩余的船只被罗大纲引诱到小刀会炮台的射程内，又被击沉数艘。
这一下清军的船队全乱了，罗大纲抓住战机重新反击。重创清军战船，并俘获了一艘炮舰。
清军总兵实在没有办法，带领残军败将逃入外国码头，这才躲过一劫。但经过这一战，清军的水军被杀得完全没有了战斗力，再也不能单独出战了。
但上海县城的危机依旧没有解除，清军巡抚吉尔杭阿和总兵虎嵩林率领一万多清军包围了上海县城。
并在县城西北发起进攻，先头部队几百人呐喊着向起义军冲击，抛掷大量的火球等其他投掷物，然后树起云梯登城，已有七八人登上了城墙，同时大量清兵冲出军营，用火绢枪、火铳和其他武器向城墙射击。起义军吹响螺号，在罗大纲等人的指挥下奋勇还击，向敌人投掷火弹、火罐、灰包和巨石，战斗非常激烈。
登城的敌人很多打得坠落下去，已上城墙的敌军寡不敌众，当场被击毙数人，其余见势不妙，跳墙而逃。在起义军的猛烈火力攻击下，敌人只得撤退。与西北面清军相呼应，南面清军也展开攻势，重炮轰城，轰塌城垛多处，并施放火箭，点燃城上的起义军帐房。
与此同时，总兵泊承升率领剩下的战船，在小东门码头一带，向起义军炮台偷袭。起义军以炮火还击，炮声轰轰，连绵不绝，一直持续了几个小时，最后敌船退往苏州河口。
这一天，起义军经过浴血奋战，打退了敌人从三个方面的进攻，保住了上海县城。
但清军不甘心失败，在城西四明公所内偷偷修筑炮台，运来一门门强火力的大炮。同时清军又在营盘内造好许多高台，与城墙一般高，顶上作成倾斜面，以便作战时把这些高台放在城墙边登城。清军还在高台上面演习攻击，这些高台，实际上是一种较稳固的云梯。经过一番准备和策划，清军开始了大规模的连续攻城。
四明公所的炮台安装完毕，清军便发炮轰城，同时在县城的北门和南门外攻城，起义军顽强抵抗，打退了敌人的一次次进攻，打死敌人19人，打伤多人。
次日大雾弥漫，清军携带云梯、喷筒，准备乘雾袭击县城，起义军也装扮成清军模样前往袭击四明公所炮台，两军相遇展开激战，起义军边战边退，直到日出雾散，才返回城中。这次战斗，起义军击毙清军千总陈镇川等人，打伤数十人，自己也有些损失。
之后连续几日，清军从北面、西面和南面向上海县城发动全面攻击，在两个小时内耗尽所有弹药。起义军在多于自己数十倍敌人的攻