李连璧被释放后，不思悔改，继续作恶，投靠日军，认贼作父，受到重用。委任他为伪金（乡）嘉（祥）鱼（台）济（宁）巨（野）五县联防团副总团长，下辖7个中队，700余人。李连璧还兼任伪羊山镇镇长，亲率3个中队300余人，盘踞在羊山集内，修围筑砦，安插据点，严重威胁我巨南抗日根据地活动。1941年10月23日，八路军一一五师教导三旅的第七、九团，在代旅长王秉璋、政委曾思玉的指挥下，发起了攻打羊山集伪据点的战斗。24日凌晨发起攻击，至下午3时，战斗胜利结束。除李连璧逃脱外，毙伤伪军54人，生俘277人，缴获轻机枪、步枪、短枪270余支，子弹7781发和其它军用物资一宗。这次战斗的胜利，削弱了敌人在金乡等地的力量，进一步巩固和发展了巨南抗日根据地。