回朝后，贺若弼因为怨恨没有抓到陈叔宝，让韩擒虎抢了先，功劳也排在韩擒虎的后面，和韩擒虎争吵起来，两人把刀都拔了出来，经隋文帝调解才罢手。隋文帝下诏表扬贺若弼，杨广却因为贺若弼在事先定好的进攻时间之前就和陈军决战，违反了军令，把贺若弼交给有关官员处置。隋文帝派人把他追了回来，不但没有追究，反而厚待他，赏给他很多财物，并加官晋爵。
青瓷武士俑　隋
贺若弼立了大功，地位和名望都很高，他的兄弟都因为他而被封为郡公，担任了刺史、列将一类的官职。贺若弼家里的珍玩数不胜数，穿绫罗绸缎的婢女都有好几百人，当时的人都认为已经非常荣耀了。贺若弼认为自己的功劳和名声都超过了其他大臣，觉得自己应该能当宰相。后来杨素担任了右仆射，而自己还是个将军，心里很不平，还将这种不平表现在了言语中，所以被免官，贺若弼怨恨得更厉害了。几年后他进了监狱，皇帝对他说：“我任命高颎和杨素为宰相，你却经常发议论，说这两个人只会吃饭，这是什么意思？”贺若弼说：“高颎是我的老朋友，杨素是我的表兄弟，我知道他们的为人所以才这么说的。”大臣们都纷纷上书说他对朝廷不满，应当处死。隋文帝觉得他功劳很大，只把他废为平民。一年多后又恢复了他的爵位，从此不再重用他，只是每次宴会赏赐的时候，对他总是很优厚。有一次，突厥人入朝进贡，隋文帝让他射箭，突厥人一箭就命中靶心。皇帝说：“除了贺若弼没有人能和他们相比。”于是命令贺若弼射箭，贺若弼跪下来祈祷说：“我如果是赤心为国的，就应该一箭命中。如果不是那样的人，就射不中。”结果一箭命中红心。