桑弘羊却依然则坚决主张严管国家经济，故此，即便霍光掌权，因为金日磾等人的牵制，和桑弘羊的坚持，其理财政策却并未随着武帝的去世而废除，相反，是一直贯彻执行下去的。
这期间，霍光曾经几次提出停止盐铁专卖，推行与民休息、轻徭薄赋的政策。
这让霍光和桑弘羊原本就紧张的关系变得更加严峻。
两个人因此而争执了很长时间也没有能够在这个问题上达成一致。
于是，霍光便决定，干脆请来很多贤良文士，和桑弘羊那一派人召开了一次会议，专门讨论盐铁问题。
这就是盐铁会议的由来。
在召开会议之前，霍光专门派出几位亲信大臣走访民间，一方面寻找贤良之士，一方面调查百姓生活水平，希望掌握更多有利的证据来证明盐铁专卖的弊端。
桑弘羊因此经常自夸功劳，并以此作为替子弟某官的资本，却屡屡被霍光拒绝，也因为这个原因，桑弘羊与霍光矛盾也逐渐激化。
不过，这里面有一个非常有趣的事情。
霍光征兆的贤良之士大多是儒生，而这些儒生最想废弃的在汉武帝时期被推行的政策当中排名第一的，并不是盐铁专卖制度，而是‘限田令’。即便借助给小皇帝汉昭帝刘弗陵早婚这件事成功将金系一派的官员成功‘赶’出了朝堂，可是，当然是在霍光面前提及此事的，霍光严令，不得在会议中提及这个问题。
但是，还有一个有趣的事，在参与会议中的人当中，没有一个是金系一派的官员，哪怕是那些在地方上干得非常出色的刺史或者太守，都是如此。
内中的原因很简单，因为辩不过。
金知蝉口辩天下无敌，不但是因为她口齿伶俐，思维敏捷，而且，还因为，金系官员一派在地方上政绩卓着，让人无法辩驳。
那些个贤良之士嘴上说得再如何厉害，都是口炮无敌，没有一点实绩。这是霍光亲自派下去到地方上寻访的结果。
始元五年六月，杜延年便向霍光建议行文帝时期政策，提倡节俭、对民宽和，当时，就有传闻说，已经被免去长公主身份的金知蝉在听到这个消息的时候，说过一句非常讽刺的话：在恢复文景之治之前，先抄了杜氏一族的家，杜延年之父杜周既是酷吏，又是巨贪。
杜周初为廷史，家中只有一匹装备不齐的马，可是，后来，他为廷尉、御史大夫十余年，家资累巨万。而这个时候，杜周的两个年纪较大的儿子都成为重要地区的郡守——河内郡和河东郡，控制黄河北岸重地，而且，他们和其父亲杜周一样，为政手段一样残暴、一样的贪。
消息传到长安城，惹得朝野议论纷纷，杜周羞得只能向朝廷，向汉昭帝递交辞呈。不过，霍光并没有准许，他只是请旨将杜周的两个哥哥罢免了职位，杜延年还是继续当他的谏议大夫。同时，霍光采纳了杜延年的建议，诏令三辅、太常各举“贤良”二人，各郡国察举“文学”一人。
这就是贤良文学的由来。
具体与会人员：
政府官员方面：御史大夫桑弘羊，丞相府的属官丞相史和御史大夫的属官御史等。
政府方面的主要发言人，是御史大夫桑弘羊。
民间人士：贤良、文学，即“贤良方正”，共六十余人，这其中，霍光已经公然把金系官员一派地方刺史和太守举荐上来的人排斥出了参会名单。
而这个时候，当年那些金系一派地方官员事实上，还活在世上的其实已经不多了。他们的后人大多已经被金知蝉派人送达了海外，故此，即便还活着的，年纪也都已经非常大了。
奇怪的是，金知蝉自从呛过杜延年之后，从这次盐铁会议开始，一直到结束，再也没有发过一言。
有些人就猜测，金知蝉的目的其实不是针对杜延年，甚至是霍光，以及盐铁会议，仅仅只是杜延年那两个酷吏般的哥哥。
不过，金知蝉之后，再也没有发过声，也没有就此事辟过谣。
金知蝉究竟为什么要发声这件事便被隐藏了起来。
贤良是已经被朝廷认可的儒生，而文学是在某种学问上有一定成就的名士，他们都不是国家的官吏，而属于民间的知名人士。在盐铁论中留下姓名的有茂陵唐生、鲁国万生、汝南朱子伯、中山刘子雍、九江祝生等。贤良文学也是经过一定挑选的，并不是每个郡平均出人。
就是在这个过程中，霍光专门将金系官员一派全部都剔除了出去，对此，桑弘羊也并没有表示反对，正是因为这个决定，使得他在盐铁会议上成了真正的少数派。
丞相田千秋作为中间方，在会议中，他的发言并不多，只有在双方辩论最为激烈、争执不下的情况下，才会讲一些折中调解的话。
其实，他就是等于一个和稀泥的角色而已。
这次会议上，争论焦点上主要有两点。
一、内政。
二、外交。
也就是大汉朝对匈奴人的政策。
盐铁会议的中心议题是：‘民所疾苦，教化之要’。
在会议上，从民间来的贤良文学对盐铁官营等财政措施进行了全盘否定，并进而攻击汉武帝时期所有的内外政策；作为这些财政措施的经办人，桑弘羊坚决扞卫汉武帝的内外政策，不仅就盐铁等政策的存废与贤良文学展开了激烈论辩，而且充分肯定了诸如抗击匈奴、加强中央集权、大力抑摧豪强和农商并举政策的作用。
此外，还涉及农业的基本政策，对社会现状的估计和伦理道德观念的理解，以及如何看待古与今的关系等问题。
其实，这次会议本身已成为对汉武帝一朝中所有的政治得失进行讨论，甚至是批驳的一次会议。
会议一开始，贤良文学们不但表选出了咄咄逼人的气势，而且，他们都是有备而来的。