王濬是弘农湖人，出身于世代为二千石的官吏之家。王濬少年时代就博通典籍，而且姿貌俊美。但不注意修养品行博取名声，故而不为乡里所称道。稍后才改变志节，爽朗旷达，恢宏有大志。
王濬曾经修建自己的宅第，在门前开了一条数十步宽的路。有人对他说路太宽有何用，王濬说：“我打算使路上能容纳长戟幡旗的仪仗。”众人都笑他，王濬说：“陈胜说过，燕雀哪能知道鸿鹄的大志呢？
王濬稍稍长大之后，被州郡长官征辟为河东从事。因王濬为人严正清峻，一些素来不廉洁的官吏听说他到任，皆望风而去。刺史燕国人徐邈有个才貌俱全的女儿，因选择夫婿而未嫁。徐邈便大会同僚佐吏，令女儿在内观看，女儿看中了王濬，并指着告诉了母亲，徐邈便把女儿嫁给了王濬。
后来，王濬受征南将军羊祜征辟，“参征南军事”，羊祜以深交知己待他。羊祜的侄子羊暨对羊祜说：“王濬为人志向太高，奢侈不节，不可单独担当大事，对他应该有所抑制。”羊祜说：“王濬有大才，将要实现他的愿望，是可以任用的。”后转为车骑将军从事中郎，有见识的人认为羊祜可算是善于荐贤的人了。
王濬又任巴郡太守，巴郡与吴国接壤，兵士苦于战争徭役，生了男丁多不愿养育。王濬制定了严格的法规条款，减轻徭役课税，生育者都可免除徭役，被保全成活的婴儿有数千人。
晋武帝泰始八年（272年），王濬转任广汉太守，对百姓广施德政，百姓非常爱戴他。一次，王濬梦见有三把刀悬挂在屋梁之上，不一会，又益（增）一刀。王濬惊醒后心中十分厌恶。主簿李毅拜了两拜表示祝贺道：“三个刀是州字，又增加一个，府君将要做益州刺史吧！”不久后，益州牙门将张弘发动叛乱，杀死益州刺史皇甫晏，朝廷果然迁王濬为益州刺史。王濬设下计谋，将张弘等人全部杀死，平息叛乱，因功封关内侯。王濬在任，广施仁政，树立威信，当地各族百姓，多来归附。
王濬因政绩突出，被拜为右卫将军、大司农。车骑将军羊祜当时正筹划平吴，素知王濬奇略过人。便密上表章，请仍留王濬于益州，参与平吴大计。同年·，晋武帝依羊祜之建议，复任王濬为益州刺史。
晋武帝谋划灭吴，下诏让王濬修造舟舰，王濬造连舫大船，方一百二十步，每艘可装载二千余人。大船周边以木栅为城，修城楼望台，有四道门出入，船上可以来往驰马。又在船头画上益鸟首怪兽，以恐吓江神，船舰规模之大数量之多，自古未有。王濬在蜀地造船，削下的碎木片浮满江面，顺流漂下。吴建平太守吾彦取些木片呈给孙皓说：“晋必有攻吴的打算，应在建平增兵防守，建平攻不下，晋军终不敢东下。”孙皓不听。当时吴国有童谣：“阿童复阿童，衔刀浮渡江，不畏岸上兽，但畏水中龙。”而王濬的小字又是“阿童”，正应了童谣之言，于是晋武帝拜王濬龙骧将军，监梁益诸军事。
当时朝中大臣对伐吴纷纷议论谏阻，王濬给皇帝上疏说：“臣多次查访研究吴楚的情况，孙皓荒淫凶暴，荆扬一带无论贤愚，没有不怨恨的，观察目前形势，应从速伐吴。今日不伐，形势变化不可预测。如果孙皓突然死去，吴人更立贤主，文武各得其所，人尽其才，则吴国就成了我们的强敌。再者，臣造船已经七年，船日渐腐朽损坏，另外臣年已七十，死期临近。以上三事如不遂人愿，伐吴更加困难。诚恳希望陛下不要失去良机。”武帝内心同意王濬的意见。