潘安被稱為古代四大美男之首，南北朝詩人徐陵曾作詩夸贊潘安美貌：“綠柳三春暗，紅塵百戲多。東門向金馬，南陌接銅駝。華軒翼葆吹，飛蓋響鳴珂。潘郎車欲滿，無奈擲花何。”《鄒忌諷齊王納諫》開篇寫道：“鄒忌修八尺有余，而形貌昳麗。”這篇文章中的主人公鄒忌，是一位身高1.85米、神采煥發(fā)、容貌美麗的大帥哥。《史記》中也曾記載諸葛亮的容貌為：“身長八尺，面如冠玉，頭戴綸巾，身披鶴氅，飄飄然有神仙之概。”

潘岳(247年-300年)，是西晉著名的文學家和政治家，字安仁，出生在滎陽郡中牟縣(今河南鄭州中牟縣)。他是安平太守潘瑾的孫子，瑯琊內(nèi)史潘芘的兒子，去世時享年53歲。

古代有兩位著名的美男子，潘安和衛(wèi)玠，各有各的特色。潘安被譽為古代第一美男子，外貌俊美，身材好，氣質(zhì)非凡，還有文采，備受歡迎;而衛(wèi)玠被譽為古代第一病美男子，聰明玄學，外貌俊俏，但體弱多病。誰更帥，取決于個人審美觀。

潘安的妻子楊榮基是西晉著名學者楊釗的女兒，受到良好教育。楊榮基與潘安訂婚，兩人保持和諧深厚的愛情。有說法稱她丑陋，可能是對潘安美貌的夸張或誤解，但沒有確鑿證據(jù)支持，應(yīng)以正史記載為準。

潘安與楊容姬感情深厚，生活了二十多年后，楊容姬去世，他悲痛不已并寫下《悼亡詩》來懷念她，之后終身未再娶。