甘渭汉出生于1908年，湖南省平江县人，出生于一个贫农家庭。九岁的时候，他开始放牛，十一岁的时候，甘渭汉成为一名理发工人，开始赚钱补贴家用，早早体会了生活的艰辛。1926年，国民党誓师北伐，全国革命形势高涨，在这种背景下，甘渭汉也加入了国民党，并参加了北伐，为大革命浪潮的兴起贡献了一份力量。
1927年，大革命失败，国内革命活动陷入低潮，甘渭汉也顺势脱离了国民党，并在7月加入了我党。1928年2月，甘渭汉参加了平江游击队，在游击队的带领下参加了攻打平江的作战，10月，游击队被编入红五军，甘渭汉也成为红五军的一员。
参加红军之后，甘渭汉表现非常出色，很快就晋升为红五军的班长、排长、连长，并随部参加了攻打平江、修水、崇阳、安福以及进攻长沙的战斗，同时，他也经历了中央根据地的历次反“围剿”作战，并在第五次反“围剿”失败后踏上了长征之路。
长征期间，甘渭汉担任了红3军团第5师第14团政委以及13团政治部主任等职务，红一方面军与红四方面军会师之后，他继续跟随红一方面军北上，并在1935年10月到达陕北。到达陕北后，甘渭汉马不停蹄地参加了建设陕北根据地的战斗，并多次击退来犯的国民党敌军。
1937年，抗日战争全面爆发，甘渭汉担任了八路军后方留守处警备第2团政委、八路军第129师第385旅副政委以及政委等职务，此后他主要活跃在晋绥根据地，在部队整训、保卫陕甘宁边区以及大生产方面做了大量的工作，加强了根据地的建设，为抗日战争的胜利作出了重要的贡献。
抗日战争胜利后，甘渭汉担任了冀鲁豫军区政治部主任、晋冀鲁豫野战军第14纵队政委以及华北军区第14纵队政委等职务。1949年，华北军区第14纵队改编为第70军，甘渭汉担任了70军的第一任政委，期间，他参加了解放豫北、安阳、新乡等地的战斗，并配合南下的四野部队，为解放华北地区作出了积极的贡献。
新中国成立后，甘渭汉担任了20兵团政治部主任、东北军区政治部副主任等职务，在东北军区的干部管理、纪律建设等方面做了大量工作，尤其是他把广泛结识与熟悉干部作为做好工作的基本条件，认真选拔与培养后备干部，为军区的建设储备了大量优秀的人才。
1955年，甘渭汉被授予中将军衔，成为开国中将。授衔之后，甘渭汉留在沈阳军区工作，担任了副政委兼干部部部长。1956年，他调任总干部部副部长，两年后，甘渭汉改任总政治部干部部部长，任职期间，他继续坚持按军队建设的实际需要选拔任用干部，为新时期的军队干部建设作出了巨大的贡献。
1965年，甘渭汉被调到成都军区，担任了成都军区第四政委。在授衔之后12年，也就是1967年，甘渭汉也被迫卷入了时代的旋涡当中，遭受打击迫害，并且被暂停了工作。直到1972年，甘渭汉才重新复出。复出之后，他被调到沈阳军区，担任了沈阳军区副政委，后续又担任了沈阳军区第二政委以及总政治部副主任等职务，于1986年因病去世，享年78岁。
