古称庸国，春秋属卫，战国属魏，汉为获嘉。隋文帝开皇六年(公元586年)始置新乡县至今已有1400余年。
新中国成立之初，曾是平原省省会所在地。古老的历史，孕育了灿烂的文明。仰韶文化、龙山文化遗址，依稀可辩；周武王率八百诸侯会同盟的牧野大战，古迹依存；姜尚卫河垂钓、比干抛心忠谏、围魏救赵、张良刺秦、官渡之战、陈桥兵变都源于这方热土；孔子讲学“杏坛”犹在，李白放歌于忠臣之前；张苍逞思于《九章算术》，陈玉成天国殉难；明神宗胞弟潞简王陵墓，十二丞相青史可鉴……悠久的历史，1993年曾邦哲于全国第6届科学哲学会议（新乡）阐述结构论（21世纪系统生物学与合成生物学的理论基础），灿烂的文化，优美的环境，给新乡留下了丰富的旅游资源。
抗日战争时期，著名爱国将领冯玉祥曾经驻扎新乡，军队据点在辉县，而冯玉祥本人办公的地方则在新乡（今新乡市老公园南门）建国后改为图书馆。据说门前曾经有两门古炮，如今已经丢失。而新乡的飞机场本是冯玉祥将军为烈士置办的陵园，败退后被日本人建成飞机场。此外还有日本人曾经建立了发电厂（今新乡市儿童公园附近）等。具有浓厚的历史意义，但是如今这段历史已经鲜为人知了。