武攸緒,則天皇后的哥哥武惟良的兒子.恬淡寡欲.喜好<周易>,看莊周的書.年少時變更姓名,賣卜算卦于長安市上,得到卜錢常常丟棄(看來攸緒并不缺錢,只是有興趣罷了).后來,授太子通事舍人,累遷揚州大都督府長史,鴻臚少卿.武后革命,封他為安平郡王.跟從冊封中岳嵩山時,堅決辭去官職,愿意隱居.則天皇后懷疑他有詐,允許了.然后察其言,觀其行.攸緒在巖石下建自己的房子,如同早就遁世的人.武后派他的哥哥攸宜勸慰他,但攸緒終究不出來.皇后才驚異于他的作為.攸緒經常往來于龍門,少室山之間,冬天躲在茅屋里,夏天住在石室中.朝廷所賜的金鍋銀碗,衣服,王公大臣所贈的鹿裘,白蚊賬,杯盤等,都沾滿了灰塵,而不使用.在潁陽買了田地,讓家奴在其中勞作,自己混跡于百姓中.晚年的攸緒肌肉消瘦,眼瞳中有紫氣,白天能看見星星.
中宗初年,降封武攸緒為巢國公,派國子司業杜慎盈帶著詔書用安車召見他.史書上描述武攸緒入朝:皇帝敕禮官于兩儀殿給武設了座位.想依照帝王問道的禮節,讓武攸緒身穿隱士衣服參見,既不用稱呼自己的姓名,也不用行跪拜之禮.武攸緒到達后,小步快走,站立在群臣的行列中,再拜之禮后退去.唐中宗對武攸緒多次加以賞賜.他都辭讓不受,宗室權貴前來拜謁,問候時,除了與他們問寒問暖之外,不再多說一句話.
后來武攸緒苦苦祈求回嵩山,詔書說可以.安樂公主出嫁,又派通事舍人李邈以璽書迎接他.武攸緒再次還山時,朝廷百官因從前看慣武后族人驕橫的樣子,不由得由衷敬佩起這位”富貴不能移,貧賤不能移”的老先生.于是中書,門下,學士,朝官五品以上的,都于長安城東為他餞行.
不久,中宗駕崩,韋后因宮廷爭權之戰失敗,韋氏族人被誅殺,武后的族人也連帶殃及.只有武攸緒沒有牽連.睿宗即位后,恐怕他用內心不安,下詔安慰,又召拜他為太子賓客,武沒有聽召.譙王重福作亂,攸緒因被人誣陷而受牽連.張說將他安置在廬山.中書令姚元崇啟奏朝廷:”攸緒在武后時沒有出來 ,現今州縣官員逼他現身,各方人士都感到驚詫.愿皇上下詔賜還他嵩山舊居,命令州縣加以慰問.”下詔稱可以.武攸緒于開元十一年卒.