1910年，济南机车厂的前身济南机器厂成立，是津浦铁路北段的配套设施，由德国工程司设计。当时工厂有15台德国造三三型蒸汽机车，热效率低，机车整备靠笨重体力作业。1917年，工厂管理权由德国人完全交还给北洋政府交通部管理，同年建了四维亭。

1921年春天，济南共产主义小组刚刚成立，王尽美、王荷波来到工厂“红房子”宿舍，介绍苏俄情况，宣传马克思主义，组建工友学习班——夜校。1921年夏天，王尽美建立津浦铁路济南大槐树机车厂工人俱乐部，是山东省第一个具有工会性质的组织。1922年6月18日，津浦铁路济南大槐树机厂工会宣告成立，这是山东省成立的第一个工会。工会成立后领导工人开展斗争，向铁路局提出改善工人政治、生活的条件，举行罢工，经过7天斗争，铁路局答应了部分条件。1925年初，中共津浦铁路大槐树机厂支部成立，是山东省第一个企业党支部。

济南解放后，济南机车车辆厂的工人们用日占时期埋藏在地下的机车配件，组装了“新中国号”和“济南号”两台机车，投入到支援大军南下和物资运输中。新中国成立后，工厂抢修蒸汽机车献礼新中国，钻研修车技术，创造了保持至今的全路最高修车纪录。1993年，工厂转产铁路货车，后来发展成为中国铁路货车制造骨干企业，具备年产10000辆以上各型货车的生产能力，还是国内首家取得TSI认证证书、首家实现向欧盟发达国家批量出口铁路货车的企业。

2007年，济南轨道交通装备有限责任公司成立，2016年更名为中车山东机车车辆有限公司。