Simone1937年，抗战爆发，刘湘任第七战区司令长官兼二十三集团军总司令，唐式遵任副总司令兼二十一军军，率部于太湖南岸抗击日军第18师团和伪满靖安军。关键时刻，他的亲信团长刘儒斋竟然不听指挥，擅自撤退，致使广德失守。饶国华师长向他控诉刘儒斋的行为，他反而让饶国华带一个营的兵力去反攻，结果饶国华身陷重围，被逼自杀，刘儒斋反而晋升旅长。他为了卸去责任，又诬陷知道实情的潘文华作战不力。蒋介石正想分化刘湘的势力，闻讯大喜，立即撤去死保铅凯好刘湘的潘文华的职务，由他升为23集团军司令。当时在武汉病床上的刘湘从报纸上得知唐式遵升任司令的消息，惊讶的对参谋傅常说：“子晋与我安危与共20余年，情同手足，何事不可明言，要当司令何必用这种做法。”不久唐式遵到汉口探望刘湘病情，被人传为逼宫要印，引起了甫系将领的普遍敌视。1938年，刘湘病逝。蒋介石趁机撤去第七战区，并改组四川省政府，以张群为省主席，但引起了川军各将领的普遍反对。王陵基公开咆哮道：“张群敢来上任，我就用机枪大炮来欢迎他。”孙腔蒋投鼠忌器，不敢在后方用兵，但撤销张群的任命则政府颜面何存，授意升任二十三集团军总司令唐式遵和继承了刘湘的一切政治、军事资产。成为甫系的第二代领袖的潘文华通电各方，表示遵守刘湘遗训，抗战到底......意图对川局施加影响。唐式遵尊令发出通电，但不仅未得到响应，反而落得个忘恩负义，吃里扒外的小人称号。
1939年，一度统兵驻扎九华山。发动青贵战役，将日军的扫荡部队赶了出去，升任第三战区副司令长官（司令长官顾祝同），仍兼二十三军团长总司令。 冬天布防江南一带，腰击长江日军航运。1941年皖南事变的时候，本来是他的防区，但顾祝同考虑到他指挥能力较差，特别另组司令部，由上官云相担任总指挥，担任围剿新四军槐铅的任务。
1942年，浙赣会战开始，中国军队失利，形势万分危急。唐式遵将军固守皖南，确保了皖南二十余县的安全，并牵制了日军西进和阻止了日军由长江口登陆 。当年12月，国民政府召开全军参谋长会议，高度评价了江防战绩，并受到军事委员会及国防部的传令嘉奖。1945年5月，国民政府召开六届六中全会，唐式遵被选为中央监察委员会委员 。
