淝水之战前秦惨败后，前秦政权失去了威信，国家也因此衰败灭亡，北方各民族纷纷起兵建立了许多的地方政权，脱离了前秦的统治，分裂为以后秦和后燕为主的几个政权。
趁着前秦四分五裂自顾不暇之际，鲜卑族拓跋珪于公元386年在牛川建立少数民族政权代国，拓跋珪自称代王。公元386年四月，拓跋珪正式定国号为“魏”，“北魏”政权由此建立。
刚建立的北魏政权根基不稳，又因为是少数民族政权，缺少人民群众的支持，此时的北魏政权急需要一项措施巩固自己的统治。
公元398年七月，拓跋珪将“北魏”首都迁至平城，为了保障首都平城的安全，在平城周边地区建立了六个军镇拱卫平城。这六个军镇就是关陇集团的前身，六个军镇的主要将士是鲜卑贵族，汉族只占很少一部分，而随着胡汉通婚、民族融合，汉人后来者居上，成为六个军镇将士的主体。
公元471年，拓跋宏也就是孝文帝即位，为了缓和激烈的社会矛盾，冯太后和孝文帝先后进行了一系列改革。其中，孝文帝迁都的决定对关陇集团可以说是影响较大，孝文帝将都城迁往洛阳，这样一来，平城就不再是都城。
关陇集团的重要特征是“入则为相，出则为将，无文武分途之事。”从这里就可以看出关陇集团对军事的推崇。因此，在孝文帝迁都后，六个军镇也就是关陇集团失去了在军事上的重要意义。
六个军镇地处漠北地区，远离中原，很少接触汉文化，随着孝文帝改革的进展，关陇集团逐渐与中原的鲜卑贵族产生了较大的文化差异。又因为漠北地区自然环境恶劣，因此关陇集团在经济上也处于劣势地位。后来由于社会矛盾的激化，六个军镇首先爆发了起义，北魏政权陷入严重的动荡时期，即使后来六镇叛乱被北魏出兵平息，但是却造成了军阀割据。
后来北魏分裂，以丞相高欢为首的官吏建立了东魏，以六个军镇之一的武川镇出身的宇文泰则建立了西魏，西魏统辖管理关中和陕西地区，包括了之前的六个军镇，以此又称以宇文泰为领导的统治集团为关陇集团。
关陇集团于公元533年正式成立，在宇文泰的领导下，关陇集团还算是团结一心，可以一致对外。而在宇文泰死亡后，关陇集团表面的平静被打破，内部潜藏已久的危机开始显现，关陇集团内部夺权谋逆事件层出不穷，内部的争斗极大地削弱了关陇集团的实力。随着后来杨坚势力的崛起，关陇集团则彻底走向了末路。自此，存在了约五十年左右的关陇集团退出了历史舞台。
