江华县域在秦以前属荆、楚之地，秦时属长沙郡。江华县因县治在阳华岩之江南，江华从此得名。

唐武德四年（621年）析冯乘县置江华县，以县治所设“阳华岩之江南”而名。