秦末汉初时，由于汉王刘邦能够招贤纳士，广罗人才，所以许多有本领的谋士、大将纷纷投在他的门下。在这些人才中，韩信是一个突出的人物，曾被萧何称为“国士无双”的难得之将才。在灭秦和楚汉战争中，韩信充分发挥了他的军事才能，为后来西汉王朝的建立，立下了汗马功劳。
由于韩信功高势大，引起了不少人的妒嫉，也引起了刘邦的不安。汉朝建立不久，有人向刘邦报告，说韩信想谋反，刘邦用计逮捕了他，后因查无实据，才放了他。
韩信虽然被释放并封为淮阴侯，但心中总是闷闷不乐。他始终认为自己功劳大，本领高，对其他一些大臣和将领都看不上，便经常告病不上朝。他眼见周勃、樊哙、灌婴等人人前一套，人后一套，更是不愿意和他们一块儿上朝。
有一次，韩信从樊哙的门口经过，樊哙很殷勤地把他请到家里，很客气地说：“大王肯光临敝舍，臣下我感到十分荣幸。”韩信本来就瞧不起樊哙，现在见樊哙虚情假义地来这一套，越觉讨嫌，坐了一会儿，就告辞了。樊哙跪着把韩信送走。韩信一出大门，笑了笑说：“我真丢人，这一辈子竟然同樊哙这样的人在一起共事！”
“羞与哙伍”即以和樊哙这样的人在一起共事感到羞耻，据此，人们引伸出“羞与为伍”这句成语，表示耻于同自己所轻视的人在一起。