出生于贫苦农家。他勤劳好学,14岁进马尾造船厂当钳工学徒,面对帝国主义、官僚买办和监工的残酷压榨,曾与工人一道进行小的怠工斗争。1912年初,他通过技工考试,进入汉口江岸铁路工厂当钳工。1921年,武汉党组织负责人陈潭秋、林育南等经常深入到江岸铁路工人中宣传革命道理,很快就发现了富有反抗精神,在工人中有较高威信的林祥谦。在党的启发和教育下,他的阶级觉悟很快提高,积极地从事工人运动,参与筹建江岸工人俱乐部,并当选为干事,协助举办工人夜校,领导工人进行一系列的斗争。1922年夏,他光荣地加入了中国共产党。同年10月,江岸工人俱乐部改名为江岸京汉铁路工会,他被推选为江岸分工会的领导成员。不久,又当选为江岸分工会委员长。随着斗争形势的发展,成立京汉铁路总工会已是必然。1923年2月1日,他参加了京汉铁路总工会在郑州隆重举行的成立大会。反动军阀害怕工人运动,极力破坏总工会的成立,当天下午,反动军警占领了总工会会所,驱逐工会工作人员,查抄工会的文件材料,包围和监视工会代表的住处,并勒令工会代表立即离开郑州。面对敌人的疯狂威逼,当晚总工会召集各分工会和铁路代表秘密召开了紧急会议,一致决定向反动当局提出撤革警察局长、赔偿工会损失等五项要求,并限48小时内答复,否则将实行全路总同盟大罢工。会后还决定总工会迁到江岸办公,并组织了总罢工委员会。他被指定为江岸地区罢工总负责人,并于当晚搭车南下,赶到江岸。2日,江岸分工会召开会员大会,他在会上怒斥了军阀迫害工会代表,破坏总工会成立的罪行,传达了总工会关于发动全路总同盟大罢工的决定,号召工人们用最大的力量,反对军阀的暴行,争取自由,争取人权!会后,他沉着地做好罢工的各项准备,周密地制定罢工的计划和行动步骤。在他的领导下,江岸铁路工人组织了宣传队、调查队,扩大了工人纠察团,同时赶制铁棍、木棒准备自卫。4日上午九时,他接到总工会开始罢工的指示后,立即下达了罢工令。工人黄正兴拉响了江岸机厂锅炉房的汽笛,其它汽笛也跟着怒吼起来,响彻武汉三镇。在他的指挥下,工人们高擎铁棍、木棒,涌出各厂、段、站,犹如铁流直泻,势不可挡。一场在中国共产党领导下的政治大罢工,从江岸开始,沿着京汉铁路向北迅速推进,在不到3小时就胜利地实现了。5日,湖北督军肖耀南指派督军署参谋长张厚生带着军警来到江岸,企图以与工会谈判为名,诱捕他和其它工会领导人。这阴谋被识破后,张厚生又调来大批军警占领工厂,并抓走二名司机和三名纠察队员,强迫升火开车。林祥谦得知后,先后派出2千多名工人和纠察队员前去营救,迫使敌人无条件释放了工人。6日,罢工斗争进入了高潮,他和施洋带领工人、群众举行了声势浩大的示威游行。7日,罢工斗争到了生死搏斗的关头。下午,张厚生派警官到江岸分工会,约工会代表于下午五时半在会所谈判。5时20分,张厚生带着两营全副武装的军队,从江岸车站分三路向江岸分工会包抄。汉口租界的帝国主义则紧密配合,宣布租界临时戒严,同时从军舰上派兵登岸配合行动。面对穷凶极恶的敌人,他果断地命令纠察团迎敌。在和敌人的英勇搏斗中,三十多名铁路工人壮烈牺牲。他和六十多名工人不幸被捕。晚上七时多,北风呼啸,雪花纷飞,敌人把被捕的工人捆绑在江岸车站站台上。他被绑在站台东侧的木柱上。张厚生提着马灯走到他面前,奸笑地说:“林会长,受委屈了。你现在的唯一出路是下令工人赶快上工,这样做我保你有好处。不然,你就性命难保。”他横眉怒视敌人,不予置理。张厚生凶恶地命令刽子手先在他的左肩上砍了一刀,然后问:“到底上不上工?”他面对刽子手,威武不屈地说:“上工要总工会的命令,我头可断,血可流,工不可复!”张厚生恶狠狠地命令刽子手再往他身上猛砍一刀。他血流如注,顷刻昏厥。当他从昏迷中苏醒时,骄横的敌人洋洋得意地问:“现在怎么样了?”他使尽全身的力气,高声痛骂敌人。敌人未等他骂完,就气急败坏地命令刽子手杀害了他。解放后,在乌龙江畔的枕峰山上兴建了祥谦烈士陵园,朱德同志提写了“‘二七’烈士永垂不朽”。