罗舜初出生于1914年，福建上杭人，出生于一个普通的农民家庭。在罗舜初十几岁的时候，大革命的春风吹到了他的家乡，当地的农民运动也如火如荼地开展起来。受此影响，罗舜初小小年纪就开始向往革命，渴望将来为拯救国家与民族而战斗。
1929年，罗舜初加入了共青团，也是这一年，他参加了家乡一带的少先队，开始为工农革命队伍站岗、放哨、传递情报。1931年，17岁的罗舜初参加了红军，参加红军后，罗舜初主要活跃在闽西一带，因为表现出色，不久后他被组织送到瑞金的红军大学学习，接受系统地革命理论教育。
1932年，罗舜初转为正式党员，1933年夏天，罗舜初被调到红一方面军总司令部，成为一局的一名作战参谋。在这之后，他参加了中央根据地的第四与第五次反“围剿”战斗，在战火中不断成长。1934年10月，第五次反“围剿”失败后，罗舜初跟随中央红军的主力部队踏上了长征之路。
因为“左倾”错误的影响，长征初期，红军的损失非常严重。1935年年初，遵义战役之后，我党决定召开遵义会议，会议召开之前，包括罗舜初在内的一局的七位参谋奉命承担会议的警卫工作，他们进入遵义城选址，圆满完成了上级交代的任务，为遵义会议的胜利召开创造了条件。
遵义会议之后，罗舜初继续随军长征，红一方面军与红四方面军会师之后，罗舜初被调到左路军，不久后，张国焘分裂红军，率领左路军南下，罗舜初也被迫与中央红军分开，南下川康一带。在南下过程中，罗舜初始终保持着清醒的头脑，他跟定朱老总，拒绝张国焘的拉拢，与张国焘另立“中央”的行为进行了坚决斗争。
1936年10月，红军三大主力会师，长征结束，此后罗舜初被调到军委二局，担任了二局副局长一职。抗日战争全面爆发后，罗舜初进入抗日军政大学学习，结业后调任八路军总部作战科长。1939年，他奉命前往山东抗日根据地，参与组建了八路军山东纵队，并担任了参谋处长一职。
此后罗舜初长期活跃在鲁中一带，在根据地建设、抗日干部培养、锄奸反特等方面做了大量工作，多次粉碎敌军对根据地的“扫荡”，为抗战的胜利贡献了一份力量。抗战胜利后，罗舜初随军挺进东北，参加了解放东北的一系列战斗，并屡立奇功，被称为“旋风勇将”。
新中国成立后，罗舜初担任了海军参谋长，投身新中国海军的建设当中。1955年授衔时，41岁的罗舜初被授予中将军衔，成为开国中将之一。在这之后，罗舜初又担任了国防部第十研究院院长，国防工办副主任兼国防科学技术委员会副主任等职务，在“两弹一星”试验场地和观察站建设方面做了很多工作，并参与组织了我国第一颗人造地球卫星的发射，是“两弹一星”工程的功臣之一，为我国国防事业的发展作出了巨大的贡献。
1966年到1976年的那段特殊历史时期中，罗舜初也受到冲击，但他意志坚定，始终保持着一个党员的崇高气节，与造反派进行了坚决斗争。1975年，罗舜初改任沈阳军区副司令员，他也继续投身我军的各项建设，并发挥了积极的作用。1981年，罗舜初因病去世，享年67岁。
