兀良合臺的父親是蒙古帝國名將開國88功臣速不臺，長子阿術，蒙元重要將領之一。少年時期就開始擔當太祖成吉思汗的親衛怯薛軍。因其祖、父是功臣世家，特恩受監護太祖皇孫蒙哥，后成為蒙哥大汗的怯薛長，一直掌管憲宗蒙哥潛邸宿衛。