张文舟出生于1912年，山西沁县人。早年时期，他考入了冯玉祥创办的西北军陆军军官学校，接受了严格的军事训练与教育。在军校读书期间，张文舟接触到我党的地下党员，在进步人士的影响下，他开始参加革命活动，并在1932年加入了我党，成为一名光荣的党员。
从军校毕业后，张文舟进入西北军基层任职，任职期间，他秘密从事兵运工作，引导周围的进步青年走向光明。1933年夏天，张文舟参加了冯玉祥领导的抗日同盟军，担任了排长一职，并参加了对日作战。同年冬天，在国民党的干预下，抗日同盟军失败，张文舟离开同盟军，进入东北军，继续从事兵运工作。
1935年，张文舟前往陕北，参加了红军。加入红军之后，他参加了巩固发展陕甘边革命根据地的反“围剿”作战。10月，中央红军到达陕北后，张文舟被调到红十五军团，跟随红十五军团参加了西征等战斗，壮大了陕北的革命武装力量。
1937年，抗日战争全面爆发，陕北的红军主力改编为八路军，张文舟也加入了八路军，并担任了八路军后方总留处司令部参谋处作战科科长，不久后他又改任八路军留守兵团司令部参谋处处长兼作教科科长，期间，他协助参谋长谋划组织留守兵团各部队，做好战备训练工作，保卫了陕甘宁边区，为免除前方将士的后顾之忧作出了重要的贡献。
1942年，张文舟担任了陕甘宁晋绥联防军司令部参谋处处长，此后他组织部队进行军事训练，积极开展大生产运动，不断提高了部队的战斗力，为保卫与建设陕甘宁抗日后方基地作出了突出的贡献。
抗战胜利后，张文舟担任了陕甘宁晋绥联防军警备第三旅兼三边警备区副旅长、陕甘宁晋绥联防军参谋长等职务，率部参加了巩固扩大陕甘宁解放区的战斗。西北野战军成立之后，他担任了西北野战军参谋长，参与指挥了宜川战役、扶眉战役、兰州战役等西北战场的主要作战，为解放大西北作出了积极的贡献。
新中国成立后，张文舟担任了第二兵团兼甘肃军区参谋长，参与指挥了剿灭国民党参与部队以及土匪的战斗，巩固了新生的政权，稳定了社会秩序。1950年，经过上级批准，决定以第二兵团机构为基础组建摩托装甲兵司令部，张文舟担任了参谋长，1951年，摩托装甲兵司令部改称装甲兵司令部，张文舟继续担任装甲兵参谋长，同时，他也是装甲兵的第一任参谋长。
任职期间，张文舟协助装甲兵司令员许光达组建兵种机关，建立规章制度，开展各项业务工作，使得装甲兵司令部的各项工作迅速开展起来。1952年，张文舟参加了抗美援朝，年底，他返回国内，仍然担任装甲兵参谋长。
在这之后，张文舟认真总结抗美援朝的经验，利用这些经验组织全军装甲兵部队开展正规化训练，提高了指战员的素养，从而推进了装甲兵部队的现代化与正规化建设。1955年授衔时，张文舟被授予少将军衔，成为开国少将。在这之后，张文舟又担任了装甲兵学院第一副院长，主持学院的实际工作。
在授衔之后的11年，也就是1966年，张文舟受到冲击，身心受到极大的迫害。在那段艰难时期，他始终保持着革命乐观主义精神，与造反派进行了不屈不挠的斗争。十一届三中全会之后，张文舟积极组织装甲兵的各项建设，即使离休之后，也依然为装甲兵的建设献言献策。晚年的张文舟主要生活在北京，于1986年因病去世，享年74岁。
