李水清出生于1917年，江西吉水人。1930年，13岁的李水清参加了红军，成为红军十八纵队司令部勤务员，因为年龄小，后续李水清又担任了司号员以及宣传员等职务，随军参加了中央根据地的历次反“围剿”战斗。
1934年6月，在第五次反“围剿”期间，李水清担任了红一军团一师政治部宣传队长，因为“左倾”错误的影响，10月，第五次反“围剿”失败，李水清也跟随红军主力踏上了长征之路，历经千难万险到达陕北。
到达陕北后，李水清继续投身陕北根据地的建设。1937年，抗日战争全面爆发，李水清所在的部队被改编为八路军115师，李水清本人担任了三四三旅营政治教导员，此后他参加了平型关战役，取得平型关大捷，打击了日本侵略者的嚣张气焰。
1939年，李水清随部挺进晋察冀根据地，此后他长期在华北大地战斗，担任了晋察冀军区第十一军分区副政委兼政治部主任等职务，率部参加了根据地的反“扫荡”以及对日大反攻等战斗。尤其是在抗日战争最为艰难的那段时期，李水清团结根据地的军民，充分发扬艰苦奋斗的精神，与日本侵略者进行了不屈不挠的斗争。
解放战争时期，李水清担任了晋察冀野战军、华北军区第二纵队五旅政委等职务，参加了绥远、怀来、保南、正定、清沧、保北、徐水、清风店以及平津、太原等华北战场的主要战役，歼灭了敌人大量有生力量，为解放华北大地作出了重要的贡献。
时间很快就来到1949年，在筹备开国大典期间，李水清担任了步兵受阅方队的指挥，他圆满完成上级交代的任务，带领步兵方队接受了检阅，见证了新中国的诞生。建国后，李水清担任了67军副军长，1952年，他进入军事学院速成系学习，期间表现非常优秀，1955年3月，李水清晋升为67军军长，大授衔时，他被授予少将军衔，成为开国少将。
授衔之后，李水清继续投身我军的各项建设，1968年，他调任济南军区副司令员，值得一提的是，按照“三结合”的原则，当时的省级革命委员会必须包含军队干部，因此，1969年，李水清被结合进山东省革委会，担任了山东省革委会副主任。
1970年，李水清又被调到第一机械工业部，担任了一机部革委会主任、部长等职务。任职期间，他努力团结各级干部，顶住各方面的压力，力所能及地减小“四人帮”对一机部工作的干扰，保持了干部队伍的稳定，支援了国家经济建设。
1975年8月，李水清被调到南京军区，担任南京军区副司令员，两年后，他被调到二炮，担任二炮司令员。二炮是我军的战略导弹部队，具有重要的战略地位，李水清上任后，一方面积极消除“四人帮”的影响，另一方面努力做好冤假错案的平反以及善后工作，使得过去很多受迫害的干部重新复出，走上工作岗位，为二炮的发展注入了新的活力。
1982年年底，李水清卸任二炮司令员，此后他退居二线。虽然离开了领导岗位，但李水清依然积极为我军的革命化、正规化与现代化建设献言献策。晚年的李水清主要生活在北京，于2007年因病去世，享年90岁。
