李嚴最開始是在劉表帳下任職，并且仕途還比較順利，做到秭歸縣令，一直到鎮守荊州的劉表去世后，因為不愿投降曹操而輾轉來到益州拜在劉璋麾下。最初拜在劉備麾下時，李嚴也因為種種的原因沒有得到重用，一直到建安二十三年，馬秦、高勝等人趁劉備與曹操爭奪漢中后方空虛而發動叛亂時，李嚴臨危不懼，不待援軍到來，率本郡五千余人平定了高、秦之亂，才讓劉備真正的認識到他身上才能，因此封其為輔漢將軍。