学家司马迁的女儿。他自幼便受到良好的教养，未成年时就成了当朝的名人。汉宣帝时霍氏（霍光子孙，此时霍光已死）谋反，杨恽最先向宣帝报告。
事后被封平通侯，当时在朝庭中做郎官的人，贿赂之风极炽，有钱的人可用钱行贿，经常在外玩乐；无钱行贿的人，甚至一年中也没有一天休息。杨恽作中山郎后，便把这些弊病全部革除，满朝官员都称赞他的廉洁。
但他因少年得志，又有功劳，便产生了骄傲自满，结果与太仆长荣（长荣是宣帝旧友，最得信任）发生意见。
有一次，杨恽听见匈奴降汉的人说匈奴的领袖单于被人杀了，杨恽便说：“遇到一个这样不好的君王，他的大臣给他拟好治国的策略而不用，使自己白白送了命，就像我国秦朝时的君王一样，专门信任小人，杀害忠贞的大臣，结果国亡了。如果当年秦朝不如此，可能到现在国家还存在。从古到今的君王都是信任小人的，真像同一山丘出产的貉一样，毫无差别呀！”就这样，杨恽被免职了。
自古君王勇于改过，不信馋言者能有几人，杨恽仅被免职，已是不幸中之大幸了。