所谓关陇世家，门阀，多数起源于一百多年前，北魏末年六镇大起义时，出身武川镇等地的一批镇户，他们要么是犯了罪被世代充军到六镇的汉族士人，要么是被北魏多次打击后征服的柔然，铁勒等部族的战俘，根据其习惯，被安置在从漠南到辽西的广阔草原上，是为六镇镇户。
进入中原的北魏鲜卑贵族们，随着时间的推移，生活方式的转变，战斗力开始渐渐地下降，而这些他们昔日征服的奴隶和战俘们，却因为在六镇长年从事半军事半游牧的生活方式，加之常年累月地和柔然，契丹，奚等塞外蛮族作战，反而越打越强，越打越凶，到了六世纪初的时候，这些北方的六镇精锐们，已经成为全世界最强大的军事力量，除了血统之外，战斗力已经完全反了北魏官军。
由于北魏末年，胡太后乱政，宗室之间相互夺权，六镇军户们终于等到了机会，在匈奴人破六韩拔陵的率领下掀起了横扫北魏的大起义，而六镇军户们也是分道扬飚，高欢等出身怀荒镇系统的军户站在北魏官军一方作战，而宇文泰等出身武川镇的镇户，则站在起义军一方作战。
最后六镇起义虽然在尔朱荣为的官军镇压之下而失败，但惊诧于六镇职业军人的强大战斗力，起了篡位之心的一代枭雄尔朱荣，收编了绝大多数的被俘义军，把宇文泰，李虎等勇猛善战的义军头目们加入了政府军。
控制了全国兵权的尔朱荣，加紧了其篡位之举，一个河阴之变，几乎尽屠北魏宗室与忠于皇室的大臣，天下无论贤愚都知道魏祚将终，改天换日不可避免。
可谁也没有料到，尔朱荣居然会被傀儡皇帝元子攸设计所杀，于是经历了几年的动荡之后，一代枭雄高欢平定了北方，却没有料到宇文泰等原武川镇出身的军户们，也趁着这个大乱的机会，进入关中，割据自立，高欢与宇文泰各自拥立了一个元氏傀儡皇帝，相互对抗，这就是东西魏这一对北方双雄争霸的历史。
从宇文泰入关的那一刻起，关陇世家就初见雏形，这些英雄善战的镇户们，以鲜卑人为主，如宇文泰，于谨，候莫陈崇，独孤信等，而李虎与李弼这两个五姓七望中的汉人武功世家，也位列西魏开国八柱国之一。
随着东西魏的连年大战，鲜卑族人大量战死，宇文泰不得已开始大量征原本不怎么从事军役任务，只负责种田的汉人从军，关中自汉以来的许多汉族军功世家得以地位迅上升，如杨忠，杨素等家族，都是借此机会一步步地靠着军功提升了家族地位，终成周末隋初的级世家，而除此之外的关陇世家，还有好几百家，这些家族世代为将，爵位相继，成为从西魏到北周再到隋朝的军事贵族。
只是在这些关陇世家里，却流传着一个说法：京兆韦杜，去天尺五。
这个韦杜中的韦家，指的是北周的战神韦孝宽。