高唐城外勝保統(tǒng)率比太平軍多數(shù)十倍的兵將，但與連鎮(zhèn)的僧格林沁相比，不僅數(shù)月無功，更可以說是頗為狼狽。首先，是因為勝保設(shè)計的“變通古法”之計的屢屢失敗。其次是因為，高唐城中的李開芳頻頻夜襲清營。不僅襲殺太平軍的巡邏隊，更讓勝保感到臉上無光的是，有一晚數(shù)百人的太平軍，竟然成功偷襲了清軍兩千余人的軍營，不僅將駐防的清軍殺散，還將營內(nèi)營帳焚毀一空，劫掠糧草火藥從容而歸。
不過勝保也扳回一局，由于太平軍幾乎每晚都要出來襲營，頻繁的襲擊就給了勝?？沙酥畽C(jī)。勝保為了對付太平軍襲營，就在太平軍經(jīng)常出沒的地方暗埋地雷，并在旁設(shè)有伏兵。
就在清軍設(shè)伏的當(dāng)晚，就有出城襲營的太平軍踩中地雷，瞬間一聲巨響炸死數(shù)名太平軍。這時埋伏的清軍聞聲而動，殺向來襲營太平軍，數(shù)十名太平軍為不暴露地道位置，與清軍力戰(zhàn)而亡。
由于僧格林沁在連鎮(zhèn)捷報頻傳，無形的逼迫勝保加緊攻城，為了盡快獲得斬獲，勝保急命各地官員將火炮大肆運(yùn)往城下。待炮至，立即安裝在城外六座新建炮營，晝夜不停向高唐城開炮。但收效甚微，為了增強(qiáng)炮轟效果，勝保親命工匠加急造就了，一萬五千斤的重炮。在該重炮造好后輪番轟炸終于有點效果，一次深夜將高唐城東北城垣轟塌數(shù)丈，但是由于勝保也沒想到這嘛快轟塌城墻，沒有事先組織突擊隊。雖然立即開始組織，但是等組織好，被轟塌的城墻已經(jīng)被太平軍修好大半。勝保見此，也只好無奈收兵！
勝保在嘗到重炮轟城的甜頭后，第二天就督兵在炮火的掩護(hù)下三路攻城，其中東西兩路佯攻，以配合東北方勝保組織的突擊隊在重炮掩護(hù)下的強(qiáng)攻。
當(dāng)天重炮一炮將高唐城東北城垣轟塌數(shù)丈，清軍先鋒隊立即向缺口沖去，但是由于昨晚重炮轟塌過太平軍城墻，城內(nèi)的李開芳料到今天勝保還會來這一招，所以在城內(nèi)事先準(zhǔn)備好大小樹枝，做好了防堵的準(zhǔn)備。所以當(dāng)清軍沖過來的時候，太平軍先是用火槍阻擊清軍，同時急忙用大小樹枝等障礙物迅速圍堵住了缺口。
勝保見太平軍很快用圍堵住缺口，只得鳴金收兵。
之后又有數(shù)次戰(zhàn)斗，但是老實人人勝保遇到詭計多端的李開芳還是吃虧的時候多。
雖然勝保依舊像過去一樣數(shù)月沒有較大建樹，但是“今時不同往日”，因為勝保的敵對勢力僧格林沁已經(jīng)消滅了林鳳祥，所以此次咸豐為避免兩位大員再出現(xiàn)，相互牽制的局面。便決定，舍棄辦事不利的勝保，讓辦事近來頗為得力僧格林沁來代替勝保攻城，因為勝?，F(xiàn)在仍然是欽差大臣，若他還在前線，肯定影響僧格林沁的發(fā)揮，所以必須在僧格林沁上任前名正言順的卸磨殺驢（勝保）。
咸豐先是定勝?！巴嬲`之罪”：“勝保頓兵城下，不但不能克日進(jìn)攻，直至該逆出入亦不能防，殊堪詫異。該逆每撲一處，馬隊總被沖散，兵勇總有傷亡，甚至大營之后亦被任意沖撲，準(zhǔn)備毫無，可見所稱晝夜列隊悉力合圍者，全系虛應(yīng)故事。……攻既不能，圍又不密，勞師糜餉，坐令窮寇稽誅。勝保等玩誤之罪，斷不能曲為原宥也。”
后為了制造輿論繼續(xù)指責(zé)勝保：“數(shù)月以來所籌辦者皆毫無成效，不過每閱數(shù)日敷衍入奏，以為搪塞地步似此，庸懦無能，殊堪痛恨?！?p> 然后沒過幾天就派僧格林沁赴任時，帶密詔將勝保革職查辦拿問進(jìn)京，后流放到新疆，由僧格林沁接受勝保的職務(wù)。
在名義上的欽差大臣勝保走后，僧格林沁獨(dú)掌大局，先是總結(jié)了勝保趟了數(shù)個月雷的經(jīng)驗后，自知如果自己效仿勝保強(qiáng)攻堅城，定會赴勝保覆轍，便采用圍師必闕之計，故意留破綻，先將李開芳等人誘出堅城，在伺機(jī)消滅。
當(dāng)李開芳見到僧格林沁來了，便確認(rèn)林鳳祥等人以遭受不測，遂也不再固守堅城，便順勢從清軍的破綻中突圍而去。