“五石散”这种东西早在孙邈之前就有，至少西汉就有“五石散”。广州南越王赵眜墓就出土过“五石散”。“五石散”又称“五色药石”，南赵王墓的五色药石包括：绿松石、赭石、紫水晶、雄黄、硫磺。当时被认为服食五色药石可以延年益寿，甚至长生不老，但实际上这些五色药石适当服食会有清热解毒的功效，而长久服用则有可能药物中毒。

孙思邈的《千金翼方》里有“寒食散”，一直被认为就是“五石散”，主治邪气上冲、心腹烦闷、五脏不调等等，但是从南越王墓出土的五色药石来看，并不是孙思邈的“寒食散”。葛洪说的“五石”是：丹砂、雄黄、白矾、曾青、慈石。《世说新语》里说何晏服食“寒食散”（五食散），“何平叔云服五石散”。有注释说，“寒食散之方，虽出汉代，而用之者寡，靡有传焉。魏尚书何晏首获神效，由是大行於世，服者相寻也。”何晏服食五石散，“非唯治病，亦觉神明开朗。也就是说五石散的功效就是偶一服食以至神志清明，但是这种作用可能在何晏本人身上被夸大了。魏晋以来，五石散几乎成了神药。五石散并没有长生功效，这个古人也知道，所以《古诗十九首》里说过，“服食求神仙，多为药所误。”不管是五石散，还是别的什么丹药，都不可能让人长生。

在《千金方》“有贪饵五石，以求房中之乐。”这恐怕才是魏晋时服食五石散成风的原因。苏东坡也说，“世有食钟乳、乌喙而纵酒色以求长年者，盖始于何晏。晏少而富贵，故服寒食散以济其欲，无足怪者。”五石散和孙思邈五石散在魏晋南北朝时流行，始作俑者是曹操的便宜儿子何宴。

在南北朝时，很多人因为服食五石散而丧命。孙思邈没见过五石散的完整配方，但是他在《备急千金要方》中却说过:宁食野葛，不服五石。为啥说这话呢？因为孙思邈曾见过一个五石散的残方，根据那个方子推测，五石散最后一味是剧毒的礜石。礜石含有砷，这玩意是砒霜的原料，可见真的很毒。

晚年孙思邈见到了张仲景《伤寒杂病论》的残本，证明了自己的推测。孙思邈倒是没有烧毁这个方子，而是对五石散进行了改进，把剧毒的礜石拿掉，改成了比较温和的石硫磺。方子的毒性大大降低了，孙思邈去世后虽然也有人服用五石散，但是服用的是孙思邈改良过的配方，致死率大大降低了。五石散是禁绝不了的，孙思邈只能保证自己或者自己的家人不吃。所以说孙思邈临终让人毁去五石散的方子，大约他想毁去的是含有礜石的剧毒五石散方子吧。

五石散在唐朝并没有禁绝，还有人在服用，白居易在《思旧》诗中就写道:

退之服硫黄，一病讫不痊。

微之炼秋石，未老身溘然。

杜子得丹诀，终日断腥膻。

崔君夸药力，经冬不衣绵。

或疾或暴夭，悉不过中年。

唯予不服食，老命反迟延。

崔玄亮和韩愈疑似吃的就是五石散，尤其崔玄亮，经冬不衣绵，这症状典型的吃五石散后的症状。所以孙思邈后，五石散依旧流行，作为一个负责任的医家，我觉得他不会把五石散一棒子打死，也打不死。他用自己的丰富知识去改进这个方子，让矢志服用的人死的少一些，再少一些，无法改变现状，但是可以改良，这是一个负责任医生的负责的做法。孙思邈正是这么做的。