光武帝即位后，广揽人才，桓谭是其中的一位。他被诏书传唤，却又因为上书言事不和君意，没有得到任用。

　　冯衍也来到了光武帝那儿，是去投诚的。他是更始皇帝刘玄的人，在河东行使大将军职权的鲍永的得力助手立汉将军。

　　冯衍和鲍永同心同德，对刘玄忠心耿耿。他们一开始并没有打算归附光武帝，是后者主动去招降的。就是这样，他们也没有答应。当得到刘玄被赤眉害死的真实消息后，他们才将兵马解散，过来归顺。

　　光武帝对此很恼火，认为他们来迟了，也没有用他们。接着光武帝让鲍永去说降难攻的怀县，才给了他一官半职。怀县投降后，鲍永立了大功，继续被任用。冯衍没有这么好的机会，他仍旧被排斥。

　　鲍永去安慰他，说道：“以前汉高祖奖赏于他有罪的季布，却诛杀对他有功的丁公，这是权术在起作用。如今遇到明主，不搞这一套，何必担忧？”

　　冯衍听完，答道：“有一个故事，说一个男的去挑逗邻居的妻妾，挑逗大的，大的怒骂，挑逗小的，小的欢喜。邻居死了之后，这名男的娶了大的那位。有人很奇怪，问他为什么要娶骂他的。那人说，当时骂他，说明她对丈夫忠诚，是好女人。我们也同那名女的差不多的情形，却没能得到差不多的结果。不过，只要守住道义，也就没有什么了。”

　　大司空宋弘，刚正清廉，勇于举荐。光武帝向他询问博学之士，他推荐了桓谭，说他的才识快赶上刘向了。

　　大司空推荐的，又是自己主动询问的，光武帝就让桓谭做了议郎、给事中，充当顾问。

　　“一场愁梦酒醒时，斜阳却照深深院。”光武帝的余辉也映到了冯衍的身上，他被任命为曲阳令。

　　做了议郎、给事中的桓谭，开始行使自己的本职工作，对时政提出一些有益的建议。光武帝看到他的奏疏，却没有理睬。

　　冯衍到了曲阳，很快将那儿的反动武装头子郭胜收拾了，一下还收降了五千多人。立了大功，却没有小赏。光武帝听信了别人的谗言，不喜欢不说谀言的冯衍，没有给他任何奖励。

　　桓谭的琴弹得特别好，这是他的特长。他见光武帝喜好听郑声，就用靡靡之音去迎合。这遭到宋弘的不满，严厉训斥了对方。光武帝本来就不爱听桓谭在书中的絮聒，借机将其给事中的职位免去了。

　　桓谭暂时没有上书，冯衍上书了。他列出了几条好的想法，光武帝准备召见。和上次一样，一些臣工又给光武帝说了坏话。他爱听也爱信，冯衍没能见到这位天子的龙影。

　　光武帝特别迷信谶言，在他登基时都利用了这点。他常常运用谶言来解答疑惑、决定事情，沉醉过甚。桓谭实在看不下去，又冒险上书反对。光武帝把奏章看下去了，火也冒了上来，他对桓谭越发不满。

　　没有得到光武帝重视的冯衍，却受到了外戚阴家兄弟的敬重。“投之以桃，报之以李。”他同他们交往起来。孰不知，这下可撞在了枪口上。光武帝吸取前汉外戚结交宾客危害社稷的教训，也不论青红皂白，将现在那些宾客全部惩罚，重的死罪，轻的免职。冯衍属于轻的，只被枪打掉了头上的乌纱帽。不过，这也把他吓得够呛，回老家去闭门保身了。

　　桓谭不相信那些无稽的谶言，光武帝偏偏又去问他，想用谶言来做一次决策。桓谭觉得很可笑，又不好坚决驳斥，就委婉地说自己不读谶言，以此拒绝。光武帝却不知趣，非要桓谭讲个子丑寅卯。无奈之下，桓谭只好再次强调谶言虚妄，没有一点道理。光武帝听了大怒，说要杀了桓谭。桓谭赶忙磕头求饶，脑袋都流出了血。光武帝才消了一些气，将他赶出了洛阳。在路上，桓谭这个七十多岁的老人极其失意，很快就病死了。

　　冯衍的年纪比桓谭要小不少，回到家乡好多年后，他还是想为国家出力，一展抱负，又给光武帝上书。冯衍有忠心雄心，光武帝却没有悔心善心，他还在恨他，没有接纳。不得志的冯衍，只好将自己的感慨寄诸笔端，写下了一篇著名的《显志赋》。后来，他在家告终了。

　　在《桓谭冯衍列传》的最后，范晔写道：“谭非谶术，衍晚委质。道不相谋，诡时同失。体兼上才，荣微下秩。”

　　一朝正立多贤士，两人吐心来为君。

　　谶雾吞目独不信，荩火耀日孤留贞。

　　出京凄凄散九魂，归乡默默损六神。

　　何代没有遗弃才？明主未能撇谀尘。