張蒼在反秦戰爭時期，以賓客的身份跟隨沛公攻打南陽。楚漢戰爭時期，張蒼先后擔任過常山郡守、代相、趙相等。漢定天下后，又跟隨高祖平叛燕王臧荼的謀反。他早年在荀子門下學習，與李斯、韓非等師出同門。他本來就非常喜歡讀書，在秦朝時擔任柱下史和御史，掌管宮中的各種文書檔案，使他得以遍覽群書，精進學問。