黨的十一屆三中全會後，鄧小平成為黨的第二代領導集體的核心。廢除領導幹部職務終身制，建立退休制度是當時鄧小平提出的一個重要主張。早在1977年他重新恢復領導職務之時，就提出了干幾年便退下來的要求。鄧小平不願意當中共中央主席的考慮就源於這樣的背景。
從1980年起，鄧小平即開始做退休的準備工作。8月18日，中央政治局召開了擴大會議，鄧小平在《黨和國家領導制度的改革》講話中透露中央正在考慮再設立一個顧問委員會，積極發揮老同志的作用，同時也便於使黨中央和國務院的日常工作更加精幹，逐步實現年輕化。
1980年下半年，黨內外有一種越來越強烈的輿論，認為在打倒「四人幫」以後，華國鋒犯了嚴重錯誤，如熱衷於「繼承遺志」，堅持「兩個凡是」，宣揚個人迷信，對老幹部的解放、使用不積極，對「洋躍進」要負責任等等。儘管當時黨內外的輿論非常複雜，但各方面形成的共識是，在過去四年工作中華國鋒做過一些有益的工作，但是顯然缺乏作為中共中央主席必要的政治能力和組織能力。同時，他也不勝任軍委工作是顯而易見的。因此，華國鋒的黨中央主席、軍委主席的位置應該變動一下。
如何處理這個尖銳問題，人們期待著黨中央的決策。葉劍英和其他同志一致提議由鄧小平擔任中共中央主席，黨內外也一致要求鄧小平出任中共中央主席，甚至連一些外國領導人也通過各種渠道表達了此種願望。對此，鄧小平婉言謝絕，并力排眾議，推薦比較年輕的同志主持黨中央的領導工作。他認為，在60多歲的人當中，胡耀邦政績比較突出，所以提議胡耀邦擔任中共中央主席，並對胡耀邦說要「當仁不讓」
胡耀邦在與鄧小平等幾位德高望重的老一輩革命家的多次談話中認為，黨和國家正處在關鍵的歷史轉折時期，非常需要有鄧小平這樣無論在資歷、威望還是才幹上都非常卓越的老一輩革命家掌舵，自己不適合擔任這麼重要的職務。
從1980年11月10日至12月5日，中央政治局連續開了9次擴大會議，在第九次擴大會議上，胡耀邦還是表示：「幾位老同志提名我擔任黨的主席，我是萬萬沒有想到的。這不是什麼謙虛，確實不夠格。我也不同意……小平同志曾經說，要當仁不讓。當仁不讓我是同意的，但是，當不行就不上，也是正確的。」在最後一次就此問題交換意見時，鄧小平用非常嚴肅的口吻對胡耀邦說：這是組織決定，黨員必須服從。
中央政治局擴大會議經過充分討論一致決定：向即將召開的十一屆六中全會建議，同意華國鋒辭去中央委員會主席、中央軍委主席的職務；選舉胡耀邦為中央委員會主席，鄧小平為中央軍委主席。在六中全會前，暫由胡耀邦主持中央政治局和中央常委會工作，由鄧小平主持中央軍委工作。
會議還通過《中共中央政治局會議通報》，指出：許多同志曾提議鄧小平同志擔任中央主席兼軍委主席，因為這是眾望所歸。鄧小平同志認為，由他擔任中央主席不相宜。至於軍委主席，暫時沒有其他適當人選，他可以擔任一段時間，以便培養比較年輕的同志將來接替。中央政治局一致同意了鄧小平同志的意見。
中共十一屆六中全會會場。
1981年6月29日下午，在中共十一屆六中全會上，胡耀邦當選中共中央委員會主席後，向出席會議的中央委員們談了他的意見：「第一點，這幾年誰的貢獻大一些？粉碎『四人幫』之後，政治局和常委會的同志都在各自的崗位上作出了貢獻。但是，貢獻大一些、多一些的，還是老一輩革命家。拿常委來說，是葉劍英、鄧小平、李先念、陳雲4位同志。小平同志因為經驗特別豐富，精力很充沛，加上長期鬥爭建立起來的巨大威望，他起的作用就更突出……第二點，兩個沒有變。我是在我們黨一個特定的歷史條件下，被推上現在這個崗位的。本來，按全黨絕大多數同志的意願，中央主席是要由小平同志來擔當的。除小平同志之外，無論從水平、從能力、從威望來說，還有好些老同志都比我更合適……現在就這樣定下來了，這當然是一個很大的變化。我有責任向全會說明，有兩條並沒有變：一是老革命家的作用沒有變，二是我的水平也沒有變……」
隨後，鄧小平發表講話，他說：「我們這次把胡耀邦同志選作黨的主席，剛才他作了一個簡短的講話，我想，這一段話也證明，我們這個選擇是正確的。」