小乡县，始建于北魏建义元年（528年），当时属于南郡。隋开皇十八年（598年），该县更名为汾东县，后在大业初期并入正平县。义宁元年（617年），小乡县恢复原名。
北魏建义元年(528)置小乡县，属南绛郡。
隋开皇十八年(598)改曰汾东县，大业初并入正平县。
义宁元年(617) 复置小乡县，唐武德九年(626) 废。
故治说法有二：一说在今山西翼城县西二里，一说在山西汾城和曲沃县之间。