后来，吴将夏详、邵颉等前来归降，那两位少年的父亲也率其部属一起来降。吴将陈尚、潘景进犯，羊祜将二人追杀，然后，嘉赏他们死节而厚礼殡殓。两家子弟前来迎丧，羊祜以礼送还。吴将邓香进犯夏口，羊祜悬赏将他活捉，抓来后，又把他放回。邓香感恩，率其部属归降。羊祜的部队行军路过吴国边境，收割田里稻谷以充军粮，但每次都要根据收割数量用绢偿还。打猎的时候，羊祜约束部下，不许超越边界线。如有禽兽先被吴国人所伤而后被晋兵获得，他都送还对方。羊祜这些做法，使吴人心悦诚服，十分尊重他，不称呼他的名字，只称“羊公”。
对于羊祜的这些作法，陆抗心中很清楚，所以常告诫将士们说：“羊祜专以德感人，如果我们只用暴力侵夺，那就会不战而被征服的。我们只保住边界算了，不要为小利而争夺侵扰。”因此，在很长的一段时间里，晋、吴两国的荆州边线处于和平状态。羊祜与陆抗对垒，双方常有使者往还。陆抗称赞羊祜的德行度量，“虽乐毅、诸葛孔明不能过也”。一次陆抗生病，向羊祜求药，羊祜马上派人把药送过来，并说：“这是我最近自己配制的药，还未服，听说您病了，就先送给您吃。”吴将怕其中有诈，劝陆抗勿服，陆抗不疑，并说：“羊祜怎会用毒药害人呢？”仰而服下。当时人都说，这可能是春秋时华元、子反重现了。孙皓听到陆抗在边境的做法，派人前去诘问，陆抗回答：“一乡一镇之间，不能不讲信义，何况一个大国呢？如我不讲信义，正是宣扬了羊祜的德威，对他毫无损伤。”孙皓无言以对。
羊祜在边境，德名素着，可在朝中，却每遭诋毁。他正直忠贞，嫉恶如仇，毫无私念，因而颇受司马炎的亲信荀勖、冯紞等人的忌恨。王衍是羊祜的堂甥，曾来见他陈说事情，言辞华丽，雄辩滔滔。羊祜很不以为然，王衍拂衣而去。羊祜对宾客说：“王夷甫方以盛名处大位，然败俗伤化，必此人也”。西陵之战，羊祜曾要按军法处斩王戎。所以，王戎、王衍都怨恨他，言谈中常常攻击他。当时人说：“二王当国，羊公无德。”
咸宁二年（276年）十月，司马炎改封羊祜为征南大将军，恢复其贬降前的一切职权，开府仪同三司，可以自行辟召僚佐。当初羊祜便认为，要想伐吴，必须凭借长江上游的有利地势。当时吴国有童谣：“阿童复阿童，衔刀浮渡江，不畏岸上兽，但畏水中龙。”羊祜听后便说：“这一定是说伐吴必是水军成功，只是要考虑哪个人应童谣中的名字。”正逢益州刺史王濬被征召任大司农。羊祜发现王濬的才能可当重任，而王濬的小字又是“阿童”，正应了童谣之言。而当时在西晋朝廷内部，王濬是个有争议的人物。羊祜极力肯定王濬的军事才能，于是上表挽留他，使王濬重新被授为监益州诸军事，加龙骧将军。
此后，羊祜密令王濬缮甲训卒，广为戎备。经过七年的练兵和各项物质准备，荆州边界的晋军实力远远超过了吴军，而两年前陆抗病死，吴国境内又因为孙皓的高压统治使各种矛盾日益激化。这表明晋灭吴的条件和时机已经成熟。