灵山卫建于明朝洪武三十一年（1398年），辖前、后、左、中、左五所，被称北方沿海四大卫之一。永乐年间设立山东备倭三大营后，灵山卫归即墨营管辖。明初倭乱日益严重不断侵犯山东沿海，洪武三十一年（1398年）朱元璋派魏国公徐辉祖巡视山东沿海督建：安东、灵山、鳌山卫、大嵩、靖海、成山、威海七卫以防倭寇。灵山卫等七卫设立后不久就暴发了靖难之役，众多卫所军队参加到战争中，所以在建文帝时期山东沿海新设七卫也属于动荡中，卫所军队人员编制短缺，卫所将领调动频繁。燕军战领南京朱棣夺取皇位后，征调山东卫所驻军填补北京的防务空虚，大量卫所驻军的调走造成山东沿海新设七卫的空虚，为填补山东沿海卫所军队的空虚，永乐二年（1402年）南调云南卫所驻军北上补充山东沿海卫所的空虚，所以山东沿海七卫驻军建制完成于永乐二年（1402年）。
永乐二年（1402）卫所驻军调整完成后，灵山卫辖五所5600人，前所为夏河城备御千户所，后所为胶州守御千户所，左中右三所在灵山卫城内，每所有1120人。明朝正统十四年（1449年）明英宗朱祁镇率京师禁军二十万军队北征瓦剌，在土木堡一带明军遭遇瓦剌军队围歼，明英宗朱祁镇被俘，保为京师的二十万明军损失待尽，消息传到北京朝野震动。北京城只有十来万老弱守军，兵部尚书于谦征调南北两直隶、河南的备操军和山东、江苏沿海卫所备倭军保卫北京，最终凭借这些外调进京的勤王军队取得北京保卫战的胜利。这一时期山东沿海地区卫所军队被大量抽保卫北京，每卫由所辖5所5600人减为辖3所二千人左右。
沿海地区卫所驻军的减少加重倭寇侵犯，倭寇不断侵犯山东沿海地区抢夺屠杀沿海卫所军户，这一时期大批卫所驻军和家属逃离卫所。面对日益严重的的倭寇，嘉靖三十二年（1553年）戚继光担任都指挥佥事，掌管山东沿海登州、文登、即墨三营二十五个卫所备倭事宜。戚继光上任后走遍三营二十五个卫所，修缮沿海墩堡，增设濒海城堡，征调内陆地区民户填补沿海卫所驻军缺口。山东沿海卫所经过戚继光三年时间的经营，倭寇侵犯很快平息，戚继光也因在山东沿海的防倭功绩被调往浙江防倭，戚继光调往浙江时带走一部分卫所驻军南下防倭寇。灵山卫建制也在戚继光担任都指挥佥事这段时间固定下来，一直沿续到清代雍正年间裁撤。
戚继光南调浙江抗倭时从山东沿海七卫抽调三千多卫所军队南下，经过戚继光整改后的灵山卫辖后、左二个千户所，前所一个百户寨所，共有二千二百一八人；逄猛、古镇二巡检司，濒海城堡十二，墩四十二、堡二十六，军屯三十三处，共计约有军户二千三百户左右。
灵山卫城（左中右三所）：灵山卫城修建于明洪武三十一年（1398年），朱元璋命魏国公徐辉祖巡视山东沿海督建七卫二所以防倭寇，指挥佥事朱兴始筑灵山卫土城，土城周长三里，城墙高二丈五尺，城墙厚一丈二尺五，东西南北设有四个城门，护城河深二丈五尺，宽二丈。永乐二年（1402年指挥佥事郭兴扩建灵山卫城，扩建后灵山卫城周长五里，城墙外包青砖，四个城门上方增建门楼。弘治年间对城墙进行了大规模维修，这也是第三次修护。
这时灵山卫设有指挥使五员、指挥同知二员、指挥佥事一员、经历一员、教授一员、镇抚二员、左前后三所千户十四员、百户二十员。灵山卫城驻有左、中、右三所，每所1120人，共计3360人。正统年间土木堡之变抽调卫所驻军保卫北京，右中两所在这一时期被抽调，后裁撤中右两所，灵山卫城只保有左所。嘉靖时期灵山卫城有：千户十员，百户十八员，京操军1213人（含夏河寨所100余人），屯军287人（含夏河寨所屯军），捕倭军191人（含夏河寨所），守城军馀116人，守墩堡军馀80人。
墩二十：沙沟、孙家港、刘家沟、呼蓝嘴、张哥庄、捉马山、藏家疃、长城岭、黄山、风火山、酉子埠、李家岛、安岭、唐岛、将军台、帽子峰、敲尧山、黄埠、沙嘴、野山埠，实际守墩军馀为100多人。
堡十三：青石山、崇石山、东石山、交差（义）涧、石喇义、鹿角河、丁家庄、焦家庄、沙岭、白塔夼、花山、大河口、本寨东门，实际守堡军馀40多人。
实际墩堡数量要远多于三十三处，《灵山卫志》和《胶州志》均记载墩堡数为三十，明代《筹海图编》等记载为三十三处，这三十多处墩堡基本位于沿海一带，但从灵山卫到胶州、官道上也同样每隔五里设一堡（烽火台），当地人称“五里堆”（烽火台遗迹每五一堆），整个灵胶官道灵山卫段应有十多处。夏河所到胶州的官道也设有重多墩堡，灵山卫管辖段只记载大花口一堡，仅铁山街道就有两三处墩堡遗迹，薛家岛一带也有多处遗迹，所以加上在内陆交通要道一带的墩堡，实际墩堡数要远远多于这三十二处。
军屯十六：詹家屯、谷家屯（薛家岛街道）、宗家屯（黄岛王台镇）、翟家屯（黄岛宝山肖家屯）、孟家屯（胶州铺集镇张家屯）、盍（何）家屯（黄岛红石崖街道东、西屯）、杨家屯（黄岛区六旺镇杨家屯）、仪家屯（高密井沟镇）、阮家屯（高密）、北柳屯（高密）、柳家屯（黄岛区宝山镇）、韩家屯（高密密水街道）、李家屯（高密密水街道）、迟家屯（黄岛区王台镇）、魏家屯（胶州李哥庄镇）、白家屯（黄岛区宝山镇）。
实际军屯数应比这些多，黄岛区辛安一带是当时灵山卫城一个比较大的屯垦区。
前所（夏河寨所）：夏河城备御千户所位琅琊镇驻地夏河城，明洪武时期筑土城备倭，明永乐时期灵山卫建立后设备御千户所，设正千户一员、副千户一员、百户一员。灵山卫百户管城率人把土城包砌砖石，城周长三里余一百零五步，设有四座城门，灵山卫调拨军兵驻守，驻有军户1120人。嘉靖后期时改为百户寨所附属于卫城，驻有守城军67人，守墩堡军馀39人，京操军100多人。
墩七：徐家埠、紫良庄、海王庄、车叠山、沙岭、黄埠、大盘，实际守墩军馀35人。
堡六：赵家营、走马岭、封家岭、北显沟、小滩、王家庄，实际守堡军馀18人。
军屯七处：刘家屯（琅琊镇）、叶家屯（高密柏城镇）、李家屯（高密）、姚家屯（高密李家营镇东）、施家屯（高密拒城河镇东）、周家屯（高密拒城河镇）、管家屯（高密）。
夏河寨所明代城墙遗迹
逄猛镇巡检司：设立于明洪武八年（1375年），配有弓兵百人，筑有砖城，下辖三墩，建文帝时期曾被裁撤。永乐初期恢复建制，改为灵山卫管辖，配有弓兵21人，守墩弓兵9人。 墩三：互埠、彭家港、岛洱河。
古镇巡检司：设立于明洪武八年（1375年），配有弓兵百人，筑有砖城，下辖三墩，建文帝时期曾被裁撤。永乐初期恢复建制，改为灵山卫管辖，配有弓兵21人，守墩弓兵9人。 墩三：西庄、古积、比青。
民国初胶州城
后所（胶州守御千户所）：明洪武五年（1372年）设胶州守御千户所以保护胶州城，胶州所由于设立时间早于灵山卫，是附于胶州城的守御千户所，山东都指挥使司的直辖所，所以驻军军籍独立于灵山卫归胶州管理。胶州所设正千户三员、副千户二员、镇抚一员、百户一员，京操406人，屯军77人，捕倭军44人，守城军馀94人，守墩堡军馀81人。
墩九：汪家庄、杜家港、沙埠、洋河、石河、塔埠、孤埠、沙岭，守墩军馀46人。
堡七：辛庄、鹿村、石河、八里庄、栾村、柘沟河，守堡军馀35人。
军屯十处：沽河屯（胶州李哥庄三个大屯村附近）、郝伍屯（胶州北关街道）、朱武屯（胶州马店镇）、谈（谭）伍屯（高密市密水街道）、韩伍屯（高密市姚哥庄街道）、黄伍屯（胶州胶西街道）、丁伍屯（高密）、张伍屯（高密）、王伍屯（待考）、吴魏屯（高密）。
胶州城隍庙牌坊
沿海一线的众多墩堡构成灵山卫海防第一道防线，每墩五人；离海岸线有一定距离为堡，每堡四人。守墩军兵会根据发现不同敌情点狼烟或呜炮。守墩堡军户在墩堡附近建房安家居住，每个墩堡有50亩墩田供守墩堡军户耕种 。
由于每个墩堡守卫人员只有四五人，对大股倭寇起不到阻止震慑，所以在沿海地区和灵山卫到胶州胶古道、夏河所到胶州的古道上设立众多频海城堡，频海城堡内驻有卫所军队，当地民间俗称兵营，墩堡发现敌情时各个兵营会及时出动驻军处置敌情。沿海一线每隔几个墩就有设立一处兵营，兵营一般设在沿海一些岭地高台处，站在兵营城墙瞭望台上能俯视周边沿海情况，兵营附近每个烟墩都在视线之内，发现敌情可以及时出动有效支援附近墩堡守军。设在官道上的兵营主要保护官道的安全，为来往军兵、差役和官员提供住宿、饮食、换乘马匹等，兼有驿站功能。大型兵营规模以管家大村大营子兵营为例，大营子兵营东西长130米，南北宽130米，占地面积16900平方米。城墙厚3米为土坯夯筑土城，平时驻有守城军馀五六十人。小型兵营以解家村小营子兵营为例：长50米，宽40米，城墙残迹高约3米，平时驻有守城军馀二十人左右。
灵山卫城、夏河所城、胶州城三城驻军构成了第三道防线，即墨营驻守的备倭军随时支援下属各卫。灵山卫的设立保护了当地不受倭寇侵犯，使明初人烟稀少土地荒废的沿海地区得到开发。灵山卫还设有学宫建有卫学，使卫所的军户子弟得以学习文化知识，明清两朝灵山卫先后出进士、举人、贡生等93人，有利的促进当地文化的发展。
清康熙十五年（1676年）丙辰科进士王清试府邸，进士府大部分院落早已被拆，上图为进士府西北角保存下来的一处院落。
灵山卫的发展变化主要有四个时期，第一个时期为洪武三十一年（1398年）至正统十四年（1449年），这一时期为灵山卫为五所编制，是灵山卫的顶盛期，也是灵山卫被称为北方沿海四大卫的原因。第二个时期为正统十四年（1449年）至嘉靖三十一年（1552年），这一时期由于土木堡之变大批卫所军队抽调进京，整个卫所人员不到二千人，卫所防备混乱松弛。第三个时期为嘉靖三十二年（1553年）至崇祯末年（1644年），这一时期是灵山卫由乱到治，三所建制成型。第四个时期为清朝顺冶（1644年）至雍正十二年（1734年），清代改革卫所世袭制度，清朝逐步裁撤明代卫所，灵山卫经历三次裁留之争，最终于雍正十二年（1734年）被裁撤。
灵山卫被裁撤后，由于灵山卫守备李兆英受胶州知州王维蛊惑，不故卫民百姓的反对放弃撤卫改县，使灵山卫归并胶州，卫城管辖地归胶州县，夏河所管辖地归诸城县，使灵山卫丧失了由卫改县的机会。后来乾隆十一年山东巡抚喀尔吉善巡视灵山卫，灵山卫民提出灵山卫仿照威海、荣成等卫由卫改县。查尔吉善虽令批转布政使司调查，布政使司又令胶州知州调查复议。当时胶州知州空缺，由诸城知县王志曾署理胶州知州，由于灵山卫钱粮财税都多于胶州、诸城两县，灵山卫设县将直接影响胶州、诸城两县税收，王志曾为了维护两县利益增加自已的政绩，私自捏造事实上呈山东布政使司由卫改县的诸多不便，使灵山卫失去了第二次由卫改县的机会。
灵山卫被裁后，把逄猛镇巡检司迁至灵山卫，成为灵山巡检分司。灵山卫改县失败后，卫城居民纷纷迁往外地，卫城渐渐荒废繁华不在，《灵山卫志》作者苏潜修触景生情写诗一首《灵山怀古》：故国风光已悄然，昔人事业尽硝烟。 军体将罢百三载，官去城空十一年。 蝉响夕阳风满树，雁横秋岛雨连天。 堪 嗟 世 事 如 流 水， 满 目 烟 波 一 钓 船 。这首《灵山怀古》映照了灵山卫裁撤后卫城的衰败情景。
灵山卫古城复建规划
灵山卫被裁撤后地位下降，城墙缺少维护于清道光年间开始出坍塌，到民国年间只剩四门和部分残有城墙，解放后城门和剩余部分城遗迹陆续消失。灵山卫城做为曾经的海防要塞消失成为历史，卫城内只保留下城隍庙等少数古建筑和西门外、北门外、东门外、南门里等地名，或许不久一座新的灵山卫城便会重新修建在当地，成为一个旅游景点，续写着灵山卫的故事。
