元至正二十一（元1361年）正月，朱元璋被小明王封为吴国公。
此后，朱元璋模仿元朝的中央机构体制，对所辖机构进行改造。
元朝在京师设立中书省，总领百官，处理全国政务；在地方设立行中书省，掌管辖区内的军政事务。
元朝的枢密院“掌天下兵甲机密之务”（《元史·志·百官》），是全国最高军事机构，地位低于中书省，“秩从一品”（《元史·志·百官》）。而中书省设右丞相、左丞相各一名，均为正一品。
元朝初期有征伐之事，才在地方设立行枢密院，不过只是临时机构，属于战时编制，“事已则罢”（《元史·志·百官》）。
元至正二十一（元1361年）三月，朱元璋改江南行枢密院为大都督府，是当时最高军事机构，任命侄子朱文正为大都督，“节制中外诸军事”（《明太祖实录》）。
朱元璋把先前设立的分枢密院为改中书分省，陆续调一批高级武将入中书省，邵荣为中书省平章政事，徐达为中书省右丞，邓愈、常遇春为中书省参政，汤和为中书左丞；由行中书省统辖地方军队。
元至正二十二年（公元1362年 ）二月， 朱元璋改中书分省为浙东等处行中书省，任命李文忠为左丞，统率衢州、处州、广信、严州、诸全的兵马。
元至正二十四年（公元1364年 ）正月，朱元璋在应天府自称吴王，设置中书省，封李善长为右相国、徐达为左相国，均为正一品；此时与元制一样，右在左上，李善长在徐达之上。常遇春和俞通海被封为平章政事；三月，汤和被封为平章政事。平章政事为从一品，参知政事从二品。
三月，朱元璋确立大都督府官制，大都督从一品，左右都督正二品，同知都督从二品，副都督正三品，佥都督从三品，经历从五品，都事从七品。
确立各行省官制，平章政事从一品，左右丞正二品，参知政事从二品；与中书省平章政事、左右丞、参知政事的级别相同，这一点也与元制一样。
确立都镇抚司官制，都镇抚从四品，副镇抚从五品，知事从八品。
确立金吾侍卫亲军都护府官制，都护从二品，经历正六品，知事从七品，照磨从八品。
确立统军元帅府官制，元帅正三品，同知元帅从三品，副使正四品，经历正七品，知事从八品，照磨正九品。
确立各万户府官制，万户正四品，副万户从四品，知事从八品，照磨正九品。
确立各卫亲军指挥使司官制，指挥使正三品，同知指挥从三品，副使正四品，经历正七品，知事从八品，照磨正九品；千户所正千户正五品，副千户从五品，镇抚、百户正六品。各卫下辖一定数量的千户所，这是一种驻防体系，而非战时编制。
下令废置设在各地的翼统军元帅府，设立武德、龙骧、豹韬等十七卫亲军指挥使司。后来，随着朱元璋势力范围的不断扩大，在各地陆续设卫。
不久，朱元璋任命统军元帅郭子兴（不是朱元璋的岳父）为鹰扬卫指挥使，傅友德为雄武卫指挥使，左翼右副元帅金朝兴为龙骧卫指挥同知。
四月十一，朱元璋又下令改各门总管府为千户所，设正副千户各一名。
针对归降将领仍沿用旧官职造成的混乱，朱元璋规定部伍法，部下满五千者为指挥，满一千者为千户，满一百者为百户，满五十者为总旗，满十人为小旗。
十月，省都镇抚改隶于大都督府，秩从四品，掌调各门守御千户所。撤掉金吾侍卫亲军都护府、统军元帅府、万户府，相应职责归于大都督府，“革金吾侍卫亲军都护府、统军元帅府、万户府、并都护府断事官、知事于大都督府”（《明太祖实录》）。设置拱卫司，负责统领校尉，隶属于大都督府，正七品。
大都督朱文正派遣参政何文辉、指挥薛显等人征讨新淦邓仲谦，令平章汤和率兵征讨江西永新诸山寨。虽然大都督和中书省平章都是从一品，但统兵权在大都督手里，平章汤和受大都督朱文正的指挥调遣。
元至正二十七年（公元1367年 ）十月朱元璋下令改百官礼仪，不再与元制相同，左在右上。
调整大都督府的官制，大都督府不再设大都督一职，左右都督正一品，同知都督从一品，副都督正二品，佥都督从二品，参议正四品，经历断事官从五品，都事正七品，照磨从七品。
自此，大都督府左右都督与中书省左右丞相的级别相同，均为正一品。
调整内外各卫指挥使司的官制，佥事、宿卫、镇抚从四品，各卫镇抚从五品，千户所镇抚从六品，各卫知事正八品，宿卫、知事从八品，断事官、提控案牍的级别由各行省规定，其余官职的级别不变。
综上所述，自称吴王后，朱元璋调整军事机构，规定各级军事机构官制，确立严明的等级制度和隶属关系，初步建立卫所制度。卫所制度是明朝最主要的军事制度，朱元璋这次对军事制度的全面改革影响深远。
