胡茂祯急举枪来战周吉。那边恒之忍不住，率兵冲杀上前。战了一阵子，胡茂祯敌不过，仓皇退走。
恒之等直赶到城下，胡茂祯已逃入了城里，城门紧闭。周吉在城下呐喊：“再不开门，要你们狗贼的命！”胡茂祯城上叫道：“开了城门，才是要命。我不开门，你们能怎样？”恒之说道：“汉奸人人唾弃。你们不要误了自己一世！”谢平川笑道：“你们真是不识大势！南京、杭州没了，徽州还能有吗？刘良佐归降，现在活得好好的，黄得功不降，人呢？哪去了？我劝你们一同降了大清，不要自寻死路。”恒之对周吉、泽世说道：“这老王八，我必要砍了他的头。”
当时令人伐圆木撞击外门，胡茂祯令人用数辆马车抵住城门。周吉又趁夜率兵从东面女墙上攀援而上，城上兵士听觉，将火把一照，周吉见隐藏不得，只好将兵撤下。
相持了两日，依旧夺不下徽州府。恒之军士缺粮，又听闻刘良佐军已收了太平县，随时可能来援徽州，众人焦虑异常。
恒之、泽世、周吉三人商议之后决定收兵去那紫正山中休整。紫正山在绩溪县北，周边与多山相连。
谢平川待恒之等拔营走后，即遣人去太平府报与刘良佐知道。刘良佐听后，笑道：“这一撮人知道无能为了，躲到山里去与猴子们为伍。我也懒得去管他们，且放着吧。”
“不可。”总兵张天福说道：“养虎为患，不可不除。刘提督在此驻扎，张某自提一旅去荡平了此山。”刘良佐忽然想起一事，说道：“你这一说，我倒想起孤魂山中还有一个大寇，姓赵名烈，上回我都吃了一亏。这样，你先去平了紫正山，你回来后，我去灭孤魂山。”张天福说道：“也好。”即率一部人马离了太平县，前往紫正山。