尧君素，魏郡汤阴人。隋炀帝做晋王的时候，尧君素在炀帝身边供职。炀帝继位，逐步升迁至鹰扬郎将。大业末年，跟随骁卫大将军屈突通在河东抗拒义军。很快，屈突通带领兵马南逃，留置尧君素代领河东通守。
尧君素在隋末的英雄谱系中并不见经传。他早年是在杨广身边侍候的随从。隋炀帝继位后，把他提拔为鹰击郎将。大业末年，天下纷乱，部队士兵也纷纷逃亡，而唯独尧君素的部队没有逃亡离散的。骁卫大将军屈突通对尧君素的胆识和谋略十分欣赏，就委派他镇守河东。
话说李渊太原起兵之后，扼守河东的屈突通和尧君素变成了他进取长安最大的障碍。屈突通留尧君素镇守城池，自己率军出击迎战李渊。但屈突通遇见友军背叛，自己一家老小全部被李渊俘获，手下又哗变撺掇着投降，不得已屈突通才投降唐军。被屈突通带走的主力部队已经降唐，李渊的军队实力得到提升，而且来势汹汹，可以想想尧君素，在当时是面临着怎样一个困局。但他却击退了唐军的两波进攻，甚至还说退来前来劝降的曾经的长官屈突通。
对于尧君素，原则与大义是生命中最高的坚守。没有什么利益与贪生可以讲，死便死，不论旧主代表什么，这都不要紧。惜，此生恐难遭遇此等烈士，唯借一纸古史，遥见忠魂。什么是信仰，不是只有找个神来跪服，颤栗不敢愈矩。于大义与原则的至死不渝，便是纯粹甘冽得没有一点砂砾的信仰。
大业十四年（613年），河东经常听到江都覆灭的消息，粮食又吃光了，甚至发展到交换孩子想吃，众人的心离散惊惧。白虹降临到府门之上，兵器的锋端，夜里都闪着光芒。一个多月后，尧君素被身边的人杀害。贞观十二年（638年），唐太宗追赠尧君素为蒲州刺史。
历史评价：《隋书》：“古人以天下至大，方身则小，生为重矣，比义则轻。然则死有重于泰山，生以理全者也，生有轻于鸿毛，死与义合者也。然死不可追，生无再得，故处不失节，所以为难矣。杨谅、玄感、李密反形已成，凶威方炽，皇甫诞、游元、冯慈明临危不顾，视死如归，可谓勇于蹈义矣。独孤盛、元文都、卢楚、尧君素岂不知天之所废，人不能兴，甘就菹醢之诛，以徇忠贞之节。虽功未存于社稷，力无救于颠危，然视彼苟免之徒，贯三光而洞九泉矣。须陀、善会有温序之风，子翊、松赟蹈解扬之烈。国家昏乱有忠臣，诚哉斯言也。”
