潘安出生于西晉滎陽中牟的潘氏家族，父親潘芘是瑯琊內史，母親楊氏出身弘農楊氏，家族顯赫但面臨政治動蕩。潘芘因得罪權貴被貶，在妻子臨產前匆匆趕回，途中遭遇暴雨險些墜崖，象征潘安未來人生的坎坷與不凡。潘安出生時天現五彩祥云，滿室異香，天生容貌俊美異常，接生婆驚呼"此子必非凡品"，引來全城關注。祖父潘瑾為新生兒取名"潘岳"，字"安仁"，寄托"仁者安仁"的儒家理想，希望他能在亂世中保持高尚品德。游方道士拜訪潘府，預言潘安"容貌傾城，文采絕世，然情深不壽，盛極必衰"，埋下悲劇伏筆。