1927 년 4월 12일, 장제스는 상해 지역의 중국 공산당과 군대를 동원하여 무력 진압하고 국민당 내의 공산당원을 숙청하기 시작했다. 국민당측은 이 사건을 "당내 공산당에 대한 숙청, 정화(이른바 중국어 정체: 淸黨)"라 부르고, 공산당은 4.12 쿠데타 또는 4.12 참변이라 부른다.

당시 공산당은 3월 3일에 저우언라이를 중심으로 노동자들과 함께 무장봉기를 일으켜 상해를 장악하고 있었다. 장제스의 국민당군은 이들을 공격한 것이다. 상하이에서 벌어진 이 사건 이후 국민당은 전국에서 공산당에 대한 대숙청을 단행했으며, 중국 공산당은 큰 타격을 입었고, 쑨원이 "연소용공"의 기치 아래 국민당과 공산당 간 합작, 즉, 제1차 국공합작이 끝났다.

공산당과 국민당 좌파, 그리고 국민당 우파은 쑨원 사망 이후 정파간 대립을 본격 전개하기 시작했다. 쑨원이 살아 있는 동안에는 공산당원이 개인 자격으로 국민당에 입당한 뒤 공산당원이면서 동시에 국민당원으로서 국민당 요직을 차지했다. 장제스를 비롯한 국민당 우파는 이것에 불만을 품고 있었다. 1925년 7월 국민당 1기 3차 중앙위원회에서 정부주석에 왕징웨이, 재정부장으로 요중개 등 국민당 좌파를 선출했다. 그러나 8월에 요중개는 우파 세력들에게 암살당했고, 1925년 11월 우파 세력들은 4차 중앙위원회 전체회의에서 공산당원의 국민당 당원 자격 박탈과 공산당적을 가진 중앙위원 9명을 제명했다. 왕징웨이도 6개월 간 당적을 박탈당했다. 하지판 공산당 계열 및 좌파 세력은 4차 회의를 무효라 선언하고 1926년 1월 국민당 2차 전체 대회에서 모텍동, 송경령 (쑨원의 미망인), 암살당한 요중개의 부인 하향음 등을 중앙위원으로 선출하며 우파에 맞섰다.(참고로, 왕징웨이는 중일전쟁 발발 후 국민당 좌파에서 친일파로 변신했다. 영화《 색.계》에 등장하는 친일 괴뢰 정권 수장이 바로 그 왕징웨이다.)

장제스는 당 내 정파들 간에 대립이 격화되는 와중에 총사령관으로써 북벌에 전념하고 있었다. 1926년 12월, 장제스는 양자강 이남 지역을 국민당 정부 통제 하에 두는데 성공했다. 일단 북벌은 종료했지만, 당내 좌우파 분열은 날이 갈수록 심해졌다. 특히 정부 소재지 이전 문제에서 대립이 격화되었는데, 장제스를 비롯한 국민당 우파는 난창(南昌) 이전을 주장했고, 좌파와 공산당은 우한(중국어 정체: 武漢) 이전을 주장했다. 결국 두 세력은 합의를 이루지 못하고 각기 따로 정부를 수립했다. 우파는 난창에, 좌파는 우한에 정부를 수립한것이다. 군권을 장악하고 있던 장제스는 공산당과 결별 수순을 밟기 시작했다.

이런 대립 와중에 상하이에서 공산당과 노동자들이 봉기를 일으켰다. 지금도 상하이는 중국의 주요 도시이지만, 당시에도 노동운동의 중심지이자 중국계 금융 및 세계 열강의 중국 내 근거지였다. 이때문에 국민당 좌파, 우파, 공산당, 군벌들은 모두 상하이를 노렸다. 공산당은 1926년 11월과 1927년 2월에 봉기를 일으켰으나 실패했었다. 3월 3일, 저우언라이가 이끈 노동자 및 무장치안대가 봉기를 일으켜 외국인 거주지역(조계)을 제외한 상하이 도시 지역 점령에 성공했다. 이를 이른바 상하이 3월 혁명이라고 부른다.

혁명 직후, 장제스는 국민당군을 상하이로 보냈다. 국민당 26군 2사 5천여명을 주축으로 상하이 지역 깡패들이 가담했다. 깡패들의 숫자는 알려진 것이 없다. 그리고 4월 12일 해가 뜰때쯤, 깡패들을 앞세워 혁명의 중심이었던 상해총공회를 공격했다. 공격 후에는 장제스는 범죄조직인 청방과 삼합회를 동원하여 노동자들에게 백색 테러를 가했다. 4월 12일 사건에서 공식 사망자는 300 ~ 400명이며, 5000여명이 실종되었다.

이 사건 후 장제스와 우파 정권은 공산당 및 좌파 숙청을 본격화하면서 국민당은 공산당 토벌 및 북벌을 병행했다. 그러나 국민당 좌파와 공산당은 이런 상황에서 단결하지 못하고 서로 분열했으며 7월 13일, 중국 공산당은 무한 정부에서 탈퇴한다는 성명을 발표했다. 국민당 좌파도 이틀 뒤인 7월 15일 공산당과 결별을 선언했다. 이로써 제1차 국공합작은 4월 12일 사건 이후 3개월만인 7월 15일로 완전히 끝나게 되었던 것이다