2日，在曾纪泽的建议下，湘军知府刘坤一、王勋、副将余星元、杨恒升分三路进攻到祁阳的太平军，拔营垒11座。
此时西路战事也打响，刘坤一率军西援，祁阳清军实力锐减。两天后，两军激战于过水坪、双桥一带，刘坤一战败，太平军追斩千总罗士荣，外委张友元及清军数百人。不过，曾纪泽的洋枪队顶住了石达开部一轮又一轮的进攻，石达开始终没有拿下祁阳。
左宗棠让曾纪泽再坚持十天，曾纪泽率兵苦战，坚持了半个月。在这期间，湘军援军云集祁阳：肖翰庆统带水师营沿江巡截；廖洪顺的长胜军，陈缇的吉字营，阳安臣的阳字营，黄三清的清字营分据城外各险要；何绍彩的何字昔以及刘岳昭九个营分驻熊罴岭灵官殿一带，围困当地的太平军。
5月3日，湖南新任永镇总兵周宽世驰援祁阳，石达开命太平军乔装清军往迎，对周部进行突袭，周军伤亡惨重，湖南巡抚骆秉章又飞调魏喻义的质字营，赵焕联的和字营进援熊罴岭。
太平军与湘军在熊罴岭地区展开会战，互有胜负，5月中旬，傅忠信、赖裕新两军已按计划回师，石达开决定速战速决，尽快前往宝庆，遂于5月17日分兵十路向熊罴岭发动总攻。双方激战十小时，太平军佯退引清