阿桂是根正苗紅的滿洲人，家世顯赫，其父阿克敦，是乾隆朝的協辦大學士、刑部尚書，實權大得很。有其父的聰慧基因遺傳，他從小機敏過人，很會抓住本質，聽人談論歷史，就知道歷史人物做的每一個決策都有背后的權衡，外界影響，經常一語中的。雍正十年，16歲的阿桂入宮讀書，乾隆元年，承蔭其父大理寺丞，兩年后，考中舉人，一直到乾隆八年，一直高升充任軍機章京。