繁峙县在春秋属晋，为霍人邑。战国属赵，称藿人。秦属代郡。西汉置卤城县，属代郡，后属太原郡。新莽改为鲁城，东汉称卤城县，属雁门郡，建安中年废县。

        西晋复置繁峙县属雁门郡，永嘉年间废。北魏复置繁峙县。隋开皇十八年（598）繁峙县，初属代州，后改属雁门郡。

        五代属北汉，金贞佑三年（1215）升繁峙县为坚州，属太原府。明洪武二年（1369）改坚州为繁峙县，属太原府。 

        民国初年属雁门道，后直属山西省。抗战时期属晋察冀边区。解放战争时期属察哈尔省。1949年属山西省忻县。1958年11月代县与繁峙县合并，属晋北。1961年繁峙县，代县分置，属忻县。1983年属忻州地区。2000年属地级忻州市。