河的清军骑兵也凭借事前修建的浮桥之利，频繁过河南下骚扰太平军的外围，给太平军的攻城制造了诸多困扰，让太平军更难迅拿下长清县城。
仔细研究了敌人的部署之后，石达开现骆秉章的这个防御体系有个漏洞，就是把骑兵的主力布置在了黄河以北的齐河，太平军只要破坏清军架设的浮桥，就可以把清军骑兵隔离在黄河以北。所以石达开也没犹豫，马上就派李世贤率军去打齐河浮桥，不求攻取齐河，只希望把清军骑兵阻隔在黄河以北。
石达开很快就现齐河浮桥其实是骆秉章精心设计的诱饵，李世贤军受命去攻打齐河浮桥后，虽然胜保将军的骑兵没过河阻拦，然而骆秉章事前在齐河浮桥旁边修筑的大量坚固工事却给太平军带来了巨大伤亡，躲在工事里守桥的清军以枪炮封锁道路，接连打退了太平军的多次进攻，李世贤又不愿过于损耗自己的私人军队，打得自然不够坚定坚决。所以激战了三天时间，李世贤军都没能切断齐河浮桥，相反还派人向石达开求援。
距离不远，石达开很快就带着主力来到了齐河战场，先是把攻坚不力的李世贤骂了一个狗血淋头，把他官职连降三级，然后又亲自督师猛攻齐河浮桥，最后在付出了惨重代价之后，石达开军这才总算是烧毁了清军