西陵战事失利，羊祜从江陵回来以后，认真总结经验教训，认识到吴国实力犹存，又有陆抗等名将镇守，要讨平吴国，不宜操之过急。
于是，羊祜提倡信义，致力于整治道德诚信，以使吴人归顺。
每次与吴国交战，他都要约定日期才开战，不做乘其不备、突然袭击的打算。
将帅中有人要进献诡诈计谋时，羊祜总是给他喝醇厚的美酒，使他酒醉不能说话。
羊祜的军队外出在吴境内行走，割稻、麦做口粮，全都记下所取的数量，然后送去绢偿还。
每次与部众在长江、沔水一带打猎，经常只限于晋国的领地，如果禽兽先被吴人所杀伤而后被晋兵所得，都要送还吴人。
吴国边境的百姓因此对羊祜心悦诚服，十分敬重他，不呼其名，而称他为“羊公”。
陆抗称赞羊祜的德行度量，说：“就算是乐毅、诸葛孔明再世，也不过如此啊。”
两军在边境对峙，双方常有使者奉命往来。
陆抗送给羊祜的酒，羊祜从不生疑，喝得干干净净。
陆抗病了，向羊祜求药，羊祜把制好的成药送给他，说：“这是最近我自己配制的药，还未服，听说你病了，就先送给你吃。”
吴军许多将领害怕药中有毒，都谏阻陆抗服用。
陆抗说：“羊祜是绝不会用毒酒杀人的。”
说完，毫不犹豫，一口将药服下。
羊祜这么做的目的，陆抗自然也是心知肚明，告诫守边的士兵说：“别人专门行恩惠，如果我们专门做恶，这就等于不战而自己就屈服了。现在双方各自保住疆界就可以了，我们不要再想占什么小便宜。”
双方边境交往和谐，大家都说，这是春秋时华元、子反重见了。
吴帝孙皓听说此事，十分不解，派人责难陆抗。
陆抗说：“一邑一乡都不可以不讲信义，更何况大国呢？我如果不这样做，岂不正是显扬了羊祜的恩惠，对羊祜毫无损伤。”
孙皓听从巫师预言，一心兼并天下，采用诸将的策略，多次侵犯掠夺晋国边境。
陆抗上书说：“从前，夏朝作恶多端而商汤用兵，商纣王邪恶残暴而周武王举起讨伐大斧。假如不到时机，即使至圣之人，也应当积蓄威势而自保，不可以轻举妄动。现在不致力于兴农事以富国，不审查官吏任用贤能，不明确进退、升降的标准，不谨慎地使用刑罚奖赏，不以道德教诲各部门，不以仁爱安抚百姓，却听任诸将追求功名，穷兵黩武，动不动就耗费数以万计的钱财，士卒凋伤憔悴，敌军还没有削弱而我们却已经很劳累了。现在以争夺天下帝王霸业的资本，去贪图几十几百的小便宜，这只是臣下邪恶的便利，并不是国家的良策。从前齐、鲁打了三次仗，鲁人两次克敌制胜，但是，不及转足之间鲁国就灭亡了，这是什么原因？势力的大小有差别。如今军队战胜所得到利益，远远不能够弥补它所丧失的呢。”
孙皓不听。
羊祜正直忠贞，嫉恶如仇，毫无私念，从不攀附结交朝中权贵，虽在边境德名高著，但在朝中却屡遭诋毁，尤其受到荀勖、冯紞等人忌恨。
羊祜的堂外甥王衍曾经去羊祜那里陈述事情，言辞非常清晰明辨。
但羊祜对他并不赞赏，王衍不快，拂衣而去。
羊祜回过头对宾客们说：“王衍应当能以极大的名声达到高位，然而败坏风俗、损伤教化的也必定是他。”
西陵之战，羊祜曾依军法，要斩王衍的堂兄王戎。
所以兄弟二人都怨恨羊祜，言谈之间经常诽谤中伤羊祜。
时人为此有句话说：“二王当国，羊公无德。”
