芷江以前属于侗族的少数民族。

居住于芷江的侗族自称“金”,与古代百越人有着密切的渊源关系,是古代百越人的一支骆越人在融合当地其他部族和早期迁入该地区的汉族以及其他少数民族的基础上逐渐形成的,与汉族一样具有多元一体的典型特征。