瓦特出生于英国的格林诺克，由于家境贫穷没机会上学，先是到一家钟表店当学徒，后又到格拉斯哥大学去当仪器修理工，瓦特聪明好学，他常抽空旁听教授们讲课，再加上他整日亲手摆弄那些仪器，学识也就积累的不浅了。
1764年，格拉斯哥大学收到一台要求修理的纽可门蒸汽机，任务交给了瓦特。瓦特将它修好后，看看他工作那么吃力，就象一个老人在喘气，颠颠颤颤地负重行走，觉得实在应该将它改进一下。
他注意到毛病主要是缸体随着蒸汽每次热了又冷，冷了又热，白白浪费了许多热量。能不能让它一直保持不冷而活塞又照常工作呢？于是他自己出钱租了一个地窖，收集了几台报废的蒸汽机，决心要造出一台新式机器来。
从此，瓦特整日摆弄这些机器，两年后，总算弄出个新机样子。可是点火一试，那汽缸到处漏气，瓦特想尽办法，用毡子包，用油布裹，几个月过去了，还是治不了这个毛病。
一天他又趴到汽缸前观察漏气的原因，不小心一股热气冲出，他急忙躲闪，右肩上已是红肿一片，就像被一把热刀削过一样，辣辣地疼起来，弄得他心烦意乱。他真有些灰心了，这时，是他的妻子给了他勇气，妻子用激将法又激起了继续研究下去的雄心。
他又回到地下实验室，将过去的资料重新翻阅一番，打起精神又干了起来，干累了就守着炉子烧一壶水喝茶。一天，他一边喝茶，一边看着那一动一动的壶盖。他看看炉子上的壶又看看手中的杯子，突然灵感来了：茶水要凉，倒在杯里；蒸汽要冷，何不也把它从汽缸里也“倒”出来呢？
这样想着，瓦特立即设计了一个和汽缸分开的冷凝器，这下热效率提高了三倍，用的煤只有原来的四分之一。这关键的地方一突破，瓦特顿然觉得前程光明。他又到大学里向布莱克教授请教了一些理论问题，教授又介绍他认识了发明镗床的威尔金技师，这位技师立即用镗炮筒的方法制了汽缸和活塞，解决了那个最头疼的漏气问题。
1784年，瓦特的蒸汽机已装上曲轴、飞轮，活塞可以靠从两边进来的蒸汽连续推动，再不用人力去调节活门，世界上第一台真正的蒸汽机诞生了。