陈锐霆出生于1906年，山东即墨人，出生于一个农民家庭。早年时期，陈锐霆先后在济南私立正谊中学、山东省立第一师范学校读书，1928年，他被分配到青岛沧口小学，成为一名小学教员。
在读书以及担任小学教员期间，陈锐霆对社会有了更为现实的认知，这也促使他积极探索拯救国家与民族的道路。1928年年底，陈锐霆毅然放弃了优渥的教员待遇，投笔从戎，考入了河北的黄埔军校第七期炮兵队。
1930年，从军校毕业后的陈锐霆被分配到山西阎锡山的炮兵部队任职。1935年，为了进一步掌握炮兵技术，陈锐霆考入了南京炮校第二期学习。也是在这所学校读书期间，陈锐霆接触到马克思主义，并对马克思主义产生了浓厚的兴趣。1937年3月，陈锐霆加入了我党，成为一名光荣的党员。
抗日战争全面爆发后，陈锐霆担任了国民党第三十二军炮兵团三营营长、四二五团团长等职务，率部参加了喜峰口抗战、徐州会战，与日本侵略者进行了坚决的斗争。1941年，国民党制造了皖南事变，包围了新四军。皖南事变后，只有极少数新四军将士突围成功，然而，国民党却持续破坏抗日民族统一战线，身为四二五团团长的陈锐霆也接到通知，要求他渡过颖河，与新四军交战。
在这种背景下，陈锐霆毅然通过南方局联系中央，并请求率部加入新四军。得到中央批准后，陈锐霆当即召集营级以上军官，向他们讲述一致抗日的重要性。在这之后，陈锐霆带领四二五团的1000多人加入了新四军。加入新四军后，这支队伍被改编为新四军独立旅，陈锐霆担任了独立旅旅长一职。
此后陈锐霆又担任了新四军司令部参谋处长兼炮兵司令员、抗大四分校副校长、淮北军区副参谋长等职务，因为当时新四军还没有炮兵，所以陈锐霆的主要任务是培训学员，为将来我军建设炮兵做好了准备。
抗日战争胜利后，陈锐霆继续留在华东大地，担任了山东军区参谋处长等职务。鲁南战役胜利后，我军缴获了大批先进装备，陈锐霆也有了大展身手的机会。此后陈锐霆担任了特种兵纵队司令员，重点组建我军的榴弹炮兵团。
在济南战役期间，陈锐霆率领的炮兵团发挥了重要的作用，当时他指挥10个炮兵团500余门火炮参加济南战役，开创了我军“利用强大炮火辅以爆破，夺取敌坚固设防和重兵据守的大城市”的先例，是济南战役胜利的功臣之一。
山东解放后，陈锐霆率部继续南下，参加了淮海战役以及渡江战役，立下赫赫战功，是建立新中国的功臣之一。新中国成立后，陈锐霆陆续担任了华东军区炮兵司令员兼南京炮校校长、炮兵参谋长、炮兵副司令员以及炮兵顾问等职务。1955年授衔时，他被授予少将军衔，成为开国少将。
离休之后，陈锐霆依然关心我军的各项建设，尤其是在炮兵建设方面，他积极献言献策，提出了很多有用的建议，促进了我军炮兵的正规化与现代化建设。晚年的陈锐霆主要生活在北京，于2010年因病去世，享年104岁。
