王文谅撺掇韩绛说：“西夏驻守抚宁堡军队的高层有我不少朋友，我想带兵和赵余庆一起去抚宁堡，看看能不能里应外合夺下此要塞！”
“好呀，什么事不去试一下，怎么知道能否成功呢？我任命你为总指挥，你们分两路包围抚宁堡！”
“遵令！”
王文谅带兵出发，走到半道遇到西夏大军，王文谅吓得赶紧退兵。赵余庆带人赶到抚宁堡城下，没见到王文谅也退兵了。事后，王文谅怕被问责，采用恶人先告状，向韩绛抱怨道：“赵余庆畏战，约定时间他未到，我带领军队只得撤退！”
韩绛特别信任王文谅，也不听赵余庆的解释，气愤地命令手下说：“怪不得赵余庆所部久无战功，原来是他怕死畏战呀，把他抓起来治罪，蕃部军队就交给王文谅统一指挥！”
韩绛和种谔将军对宋军中由少数民族战士组成的蕃军情有独钟，确实他们骑射和战斗力要比宋军的广锐军强一些。军中论功行赏本无异议，但有时候广锐军为主攻夺下的敌寨，奖赏时蕃兵也比宋兵多。这样分配不公，时间一长，就引发了广锐军内官兵对韩绛和种谔作法的不满。
蕃兵战士缺马，王文谅向韩绛建议道：“韩大人，打仗都靠我们蕃军，现在我们马匹不足，而广锐军许多骑兵骑射也不行，不如把他们的马匹调拨给我们蕃军，如何？”
韩绛头脑一时发热，点头示意道：“这主意好！就这么办吧！”
王文谅把许多广锐军骑兵的战马拉走之后，这些宋兵和自己的战马感情十分深厚，都抱马首而号泣，一时间宋军军营像坟场一般哭声震天。但既然上面领导主意已定，木已成舟也无法改变，广锐军将士众皆怨恨。
大宋的军制主要有两种：中央禁军和地方厢军。这广锐军隶属中央禁军，是一支骑兵部队，许多人没有了马匹变成了步兵，又如何能在这片荒山野岭中作战。更令官兵气愤的是，没有马匹的广锐军士兵有时还被安排去为蕃兵牵马。
都虞候吴逵对手下发牢骚说：“妈的！什么中央禁军，去为蕃兵牵马？下命令的人脑子是不是烧坏了？我看我们广锐军就是小娘养的杂牌军！”都虞候职责负责军中的军事策划、军纪、警备巡查和内部监察，相当于参谋长的职位。吴逵平时为人豪爽，办事刚正不阿，喜欢为人打抱不平，所以在军中底层士兵中威信极高。
经常有广锐军，甚至蕃军里官兵到吴逵这里反映问题，投诉最多的是赏罚不公，说：“王文谅经常把下属上报的获取敌人首级和战利品占为己有，为己冒领朝廷奖赏！”
吴逵赶紧向韩绛汇报，韩绛去责问王文谅，王文谅流泪说是被人诬陷的，韩绛比较信任王文谅，此事便不了了之。但王文谅从此便恨起了吴逵，一心想置他于死地。
这一天，韩绛派遣王文谅统领庆州守将吴逵率军外出作战，王文谅完全可以获胜，他故意逃跑打了个小败仗。
韩绛气愤地责问王文谅：“敌军就二千人马，你们都打不过？”
“大人有所不知，我命吴逵出列迎战敌方偏将，这都虞侯吴逵根本不听我的，他不仅临阵不战，还在路上对下属说了一大堆关于韩大人的坏话！”