其祖先在东汉时期归附中央王朝,内迁到晋北地区,赐姓刘。他们长期与鲜卑人通婚,北方诸族称匈奴父鲜卑母所生的后代为铁伐(一作铁弗),故此部落以铁伐为号。

西晋永嘉四年(310),铁弗匈奴刘虎部被晋州刺史刘昆所破,刘虎率众迁至朔方(今河套南北陕蒙之地)。经刘虎、刘豹子、刘卫辰几代,先后接受前、后赵、前、后秦官职,成为朔方一大势力。勃勃之父刘卫辰曾被前秦封为北单于。淝水之战以后,刘卫辰被北魏所杀,勃勃侥幸逃脱,投奔后秦,镇守朔方(治所在今内蒙磴口县北)。

他兼并其他匈奴和鲜卑部落,势力大增,拥有10万之众,于公元407年自称天王、大单于。公元413年,正式建都统万城(今靖边县