金绍山出生于1915年，湖北省大悟县人。土地革命时期，革命的春风吹到金绍山的家乡，当地成立农民协会，革命形势如火如荼地发展起来。受此影响，金绍山也接触到进步思想，并积极参加各种革命活动，探索拯救国家与民族的道路。
1930年，金绍山参加了红军，成为鄂豫皖根据地红二十五军的一员。参加红军之后，他随部参加了鄂豫皖根据地的反“围剿”作战，因表现优秀，金绍山很快就晋升为排长、连政治指导员。1932年，红四方面军离开鄂豫皖根据地后，金绍山留守根据地，坚持游击斗争，并参加了红二十五军的重建。
红二十五军重建之后，金绍山继续留在鄂豫皖根据地斗争，策应主力部队长征。1933年，金绍山加入了共青团，同年，他转为正式党员。1934年11月，金绍山跟随红二十五军踏上了长征之路。1935年9月，金绍山随部到达陕北，此后他继续参加了巩固与建设陕北根据地的战斗，为后续中央红军在陕北落脚奠定了基础。
抗日战争全面爆发后，金绍山所在的部队被改编为八路军，他担任了八路军一一五师三四四旅六八八团连政治指导员，六八七团营政治教导员、营长、副团长以及冀鲁豫军区新编第二旅四团副团长等职务，随部前往华北抗日前线，在极端困难的环境下，多次粉碎日本侵略者的“扫荡”与“蚕食”计划，为抗日战争的胜利作出了重要的贡献。
抗战胜利后，金绍山担任了冀鲁豫军区水东军分区司令员、豫皖苏军区独立旅旅长、第二野战军十八军五十三师师长等职务，参加了解放中原、淮海战役、渡江战役等作战，歼灭大量敌人。尤其是1947年，金绍山采取分路出击、远道奔袭战术，率部解放了二十余城，打得敌人望风而逃。
新中国成立后，金绍山并没有停下战斗的脚步，他又马不停蹄地跟随二野挺进西南，参加了解放西南的战斗。西南解放后，金绍山留在川西军区工作，担任了18军53师师长，参与指挥了川西一带的剿匪，1950年，他还在剿匪作战中立下一等功，同时，也圆满完成了剿匪任务，稳定了地方的社会秩序，巩固了新生的政权。
剿匪结束之后，金绍山继续留在西南地区工作，1951年，他指挥修建了甘孜机场。甘孜地区的海拔3800多米，而且当地山高风大，战士们住不了帐篷，只能搭建窑洞居住，条件十分恶劣。再加上高原反应的影响，可谓是困难重重。但这些难不倒英勇无畏的子弟兵，在金绍山的带领下，他们利用8个月的时间修筑了机场，解决了当地给养困难的问题。也因为金绍山在修筑甘孜机场期间的表现，他再次立下一等功。
然而，长期在高原地区工作也损伤了金绍山的身体，1952年，金绍山患上肺结核，也是这一年之后，他陆续进入军事学院以及西南军区第7文化速成中学学习。1954年，学习完毕后，组织征询他的意见，金绍山坚持留在高原地区工作，继续投身高原地区我军的各项建设当中。
1955年，金绍山被授予少将军衔，成为开国少将。授衔之后两年，也就是1957年，金绍山突发疾病去世，年仅42岁。
