比較活躍，清軍勢力比較薄弱的廣西進軍，對於儲存和發展自己，無疑是十分有利的。

1855年5月下旬，陳開、李文茂、梁培友、區潤、梁昌等率戰船千餘艘，溯西江揚帆直上，在德慶衝破張敬修部水師的堵扼，越過封川，進入廣西。

在進攻梧州不克後，即西走藤縣，過平南，進據大黃（湟）江口，於6月5日直薄潯州府城（今桂平）。

潯州城三面臨水，起義軍戰船分泊南、北兩河，發炮轟城，步軍則在東、西兩門外紮營安炮，從陸路進攻。潯州知府劉體舒督率清軍、團練閉門堅守。起義軍在屢攻不克的情況下，一面派兵控制交通要隘，一面在城外築牆設壘，阻擊清軍的援兵，切斷城內的糧餉接濟，實行長期圍困。

7月23日和8月28日，起義軍兩次採用穴地攻城法轟塌南門城牆，但缺口很快被清軍封閉，未能突入城內。

這時，廣西巡撫勞崇光因無兵可調，貴縣勇練的增援亦為起義軍所阻，只得把希望寄託在業已進至梧州的張敬修身上。

可是，張敬修所部不僅兵力有限，而且士氣低落，並需換乘適應淺水作戰的戰船，籌措欠發的糧餉，因而進展十分遲緩。

當時的兩廣總督葉名琛不得不於8月中下旬先後增派參將尹達章率淺水船八十隻、兵勇三千名，已革知縣謝效莊率團練千餘名，加強張敬修部，令其立刻水陸並進，解潯州之圍。

9月21日，清軍戰船駛至石咀時，被扼守大黃江口的起義軍擊敗，紛紛逃回梧州。

圍困日久又得不到支援，潯州城內的清軍很快糧盡援絕，士氣更加低落，起義軍便於9月27日乘機發起總攻，由南城登梯緣牆，一舉攻入城內，俘殺了知府劉體舒和桂平知縣李慶福等人。

佔領潯州城後，陳開等宣佈建立“大成國”，改元“洪德”，改潯州城為“秀京”，並蓄髮易服，頒發制度，分官設守，開爐鑄錢（稱“洪德通寶”），開始進行政權建設。

為了防禦清軍進攻，在城外修築土城二道，在東門外的三角咀修築炮臺，在沿江兩岸築壘設營。

不得不說，封建時代的國人對皇權有一種病態的迷戀。

天地會起義人馬殘餘部隊也不管吃不吃得消清軍的反撲，不顧形勢悍然建國立旗，硬生生把自己拔高於太平軍同等地位，生怕引不來朝廷的瘋狂反撲，簡直就是無腦的瘋狂行徑。

當然，在某些時候建國立業也是很鼓舞人心的……

果然，潯州城的攻克和大成國的建立，大大鼓舞了廣西各地起義軍計程車氣，陳、李起義軍開始成為廣西各支起義軍的中心，出現了一派大好形勢。

尼瑪的都有人在自家地盤上建國舉旗了，廣西巡撫勞崇光哪還能忍？

不過鑑於廣西兵單餉竭，他只得一時採取消極防堵的方針，隨分派提督惠慶率綠營千人，與右江道黃輔相等所率綠營分駐武宣、蒙墟，防堵起義軍北上柳州；新任署潯州知府張鵬萬馳赴平南與署知縣李載文等招集潰散兵勇、團練，防堵起義軍東進；左江鎮總兵色克精阿率部馳赴橫州，防堵起義軍西進。

起義軍攻佔潯州立國後，立即發起了對外的攻勢作戰。10月初，李文茂、梁培友等率軍數萬，攻佔潯州西南的貴縣縣城，當地起義軍首領黃全義、黃鼎鳳和活動於橫州、永淳一帶的李文彩率部參加大成國起義軍。

不久，李文茂又揮軍進攻潯州東北的平南縣。由於平南清軍防守堅固，以致從1855年10月中旬至翌年2月，久攻不克。清軍乘機攻佔平南以西的一些沿江據點，並從廣東陸續調來援兵，向潯州推進。

在此情況下，李、梁等一面以部分兵力在大黃江口一帶依託有利地形扼阻廣東清軍的水陸援兵；一面毅然率部北上，於1856年4月15日夜一舉攻陷武宣城，斃潯州協副將福格、守備朱錦蘭等多人。

起義軍突然奮起襲佔武宣，不僅威脅象州、柳州，而且威脅蒙墟清軍的安全，打亂了清軍進攻潯州的部署。

此後，梁培友率水軍南返潯州，李文茂率部繼續北上，於5月7日攻佔象州。李文茂聯絡荔浦張高友起義軍，於7月進攻柳州。勞崇光忙調桂林和潯州附近的清軍、團練前往增援。起義軍進攻柳州受挫，張高友率部退守象州，李文茂於8月率部返回潯州。

同時，梁培友率水軍南下後，準備再攻平南。6月17日至23日，連日大雨，江水猛漲，清軍設定於大黃江口下游的攔河鐵鏈被急流沖斷，岸邊的炮臺多被淹沒，陸路各營也因洪水阻隔，彼此不能