1915年出生于贫农家庭。幼年给地主放牛，当过雇工、学徒。1929年参加红军，因年龄小被退回，1930年虚报年龄参加红军。1933年加入中国共产主义青年团，同年由团转入中国共产党。土地革命战争时期，任红二十五军第七十五师二二五团连政治指导员。参加了长征。抗日战争时期，任八路军一一五师三四四旅六八八团连政治指导员，六八七团营政治教导员、营长、副团长，冀鲁豫军区新编第二旅四团副团长，第四军分区政治部主任，特务团政治委员，水东军分区政治部主任。解放战争时期，任冀鲁豫军区水东军分区司令员，豫皖苏军区独立旅旅长，第二野战军十八军五十三师师长。中华人民共和国成立后，任中国人民解放军师长，西藏军区后方部队司令员，西藏军区副政治委员。1955年被授予少将军衔。
革命经历
1930年参加中国工农红军。
1933年加入中国共产主义青年团。
同年转入中国共产党。
1934年在一次战斗中面部被敌人子弹打穿，一直不下火线。他参加了鄂豫皖苏区反“围剿”和长征。
1946年水东军分区部队上升编入豫皖苏军区独立旅，任旅长。
1947年采取分路出击、远道奔袭战术，连下二十余城。国民党当局曾悬赏5000
大洋要金绍山人头。
1950年在川西剿匪作战中立一等功。
1952年任西藏军区后方部队副司令员，进军事学院学习，患肺结核；
1953年转入西南军区第7文化速成中学，
1954年毕业时组织上征求他的意见，他考虑到西藏干部少，选择回西藏担任军区副政委并兼政治部主任。
1955年被授予少将军衔。
1956年0去印度参加释迦牟尼涅盘2500周年后迟迟不归，经周恩来谈话后终于成行，金绍山代表西藏军区和西藏工委行程千里到亚东迎接。
1957年因患急性肝炎病逝，年仅41岁。金绍山逝世后，在北京举行公祭和送葬，由彭德怀主持公祭。