亨利四世不好好做自己的傀儡，反而与其他主教走得很近，这让安诺十分不满，他放出谣言说阿达尔贝特把小国王带坏了，使他沉迷女色、生活糜烂，强迫亨利四世将其免职，国王再次陷入孤立无援的境地。但也正因为见惯了宫廷斗争，他的思想越来越成熟。成年后的亨利坚韧有毅力，并且擅长谋略、能屈能伸。在他27岁那年，萨克森人发动叛乱，亨利四世经过征战平息了战乱，并且在宫廷中摆脱了教会的束缚。他团结德意志主教作为王权的盟友，依靠下级贵族、骑士对抗罗马教会势力。
公元1073年，克吕尼派修士、意大利人希尔德布兰德不经皇帝同意就任教皇，称格列高利七世。这时，教权主义者已经声势浩大，四处宣扬他们教权至上的观点，声称：人间的一切权力均来自神意，教会是圣灵的居所，也是一切神意在人间的代表；教会的权柄来自神的安排，世俗的王权必须听命于教皇。格列高利七世在公元1075年的罗马宗教会议上发表《教皇敕令》，要求将德意志重要的三位大主教免职并且收回国王的“主教叙任权”。“主教叙任权”之争成为政教冲突白热化的导火索。
主教叙任权即向主教和修道院授予封地和职权的权力，当时德意志一半的土地和财富掌握在主教与修道院手中，如果放弃主教叙任权就会让教皇势力和教会的财力空前强大。因此，亨利四世果断迎击，在米兰教会冲突中放逐教皇派成员，并且擅自任命了米兰大主教。格列高利七世在新年问候中警告亨利四世，要求他写忏悔书，否则将把他逐出教会。亨利四世不顾威胁抢先行动，在1076年1月以德意志主教为主的沃姆斯宗教会议上，他控诉了格列高利的罪行，呼吁废黜教皇。并且说教皇违反教规私自与女人同居，将其作为整个教会的污点无限放大。人们对教皇产生怀疑，谣传说教会的敕令出自罗裙之下。
但格列高利七世老谋深算，他看准了亨利四世没有强大的军队，诸侯也各怀异心，并不一定会支持他。所以即使舆论纷纷倒向亨利，他也不惧怕，反而在2月颁布破门律，要将亨利废黜并逐出教门。根据破门律，如果亨利四世一年内得不到教皇的宽恕，他的臣民就可以解除效忠誓言。诸侯们果真没有支持亨利四世，反而与教皇勾结，意图推翻他的统治。他们要求亨利四世向教皇服罪，并且取得教皇的赦罪令，否则就另立国王。
面对失去王位的威胁，即使是奇耻大辱也必须忍耐，亨利四世的经历就像越王勾践。1077年1月25日，亨利四世带着一家人翻过风雪交加的阿尔卑斯山，到达教皇驻跸的卡诺莎，上演了一出举世闻名的“卡诺莎觐见”。据说，国王一家脱掉御寒的皮帽和靴子，摘去了一切标志王家尊贵的装饰，披上忏悔时用的毡毯，打着赤脚，在冰天雪地里等了三天，教皇才同意会见。
见面时，国王和教皇先是相视而泣，然后亨利四世扑倒在格列高利七世脚下，恳求原谅，教皇表示赦免他的罪行。接着在卡诺莎宫廷教堂里举行大弥撒，教皇端来圣餐给亨利四世，亨利四世当场写下誓言，保证遵从教皇的意愿再不犯错误，并且保护格列高利“生命和身体不受危害，国王和下属不能逮捕教皇”。
