蒙古人的先世是东胡，东胡被匈奴单于冒顿击败后，退居乌桓山和鲜卑山，分为乌桓和鲜卑二族。
乌桓在被曹操征伐之后衰落，鲜卑一族崛起，在西晋晋武帝时代，鲜卑主要分为段部、慕容部、拓拔部、乞伏部、秃发部、宇文部和拓拔部的别支柔然等。其中柔然与北魏拓拔氏多次交战。柔然被突厥系民族击败后，分为南北两支。柔然的南支逃到辽河上游，成为小部分契丹人的宗源。北支逃到雅布洛诺夫山脉以东、外兴安岭以南的地区，是蒙兀室韦的祖先之一。《旧唐书》有“蒙兀室韦”，“蒙兀” 与“蒙古”是同名异译。
北宋时，在蒙古高原上的突厥系民族的统治逐渐衰落，居住于今日中国内蒙古自治区额尔古纳市、俄罗斯联邦赤塔州和蒙古国东方省地区的室韦部落，包括居住于额尔古纳河东岸（今中国内蒙古自治区额尔古纳市）的成吉思汗祖先的蒙兀室韦诸部，开始西迁至蒙古高原内部，号黑鞑靼。漠北诸部中，黄金家族来自室韦诸部，是成吉思汗家族的嫡系后裔。室韦诸部在突厥语中称作鞑靼。契丹征服鞑靼后，黑鞑靼自号尼伦部。
12世纪初，合不勒汗（铁木真曾祖）统一尼伦各部，号其部落为“蒙古”。1206年，铁木真统一了漠北各部落，蒙古一词成为各部的共同名称。
西部蒙古诸部，则是突厥或被突厥化的部落。明时东、西蒙古分称为鞑靼和瓦剌。
