袁绍在家虽是庶出，但其家族却是东汉后期一个势倾天下的官宦世家“汝南袁氏”。从高祖父袁安起，袁氏四世之中有五人官拜三公。伯父袁成，官拜左中郎将，早逝。父亲袁逢，官拜司空。叔父袁隗，官拜司徒。袁绍庶出，过继于袁成一房。袁绍相貌英俊，气质威严，甚得袁逢、袁隗喜爱。凭借家世，年少拜郎。二十岁即出任濮阳县长，有清正能干的名声——家里钱财堆积如山，根本不用贪污；能和曹操争雄的人物，又有家族扶持，小小县长，不在话下，不过做事与曹操不同，可以说是左右逢源，面面俱到。不久，因母亲病故服丧，接着又补服父丧，前后共六年。服丧期满，袁绍拒绝朝廷辟召，隐居在洛阳。
这时是东汉统治日趋腐败、黑暗的年代，宦官专政愈演愈烈，残酷迫害以官僚士大夫和太学生为代表的“党人”。袁绍虽自称隐居，表面上不妄通宾客，但是暗中结交党人和侠义之士，如张邈、何颙、许攸等人。张邈是大名鼎鼎的党人，“八厨”之一。何颙也是党人，与党人领袖陈蕃、李膺（两人都是三俊之一）过从甚密，在党锢之祸中，常常一年中几次私入洛阳，与袁绍商量对策，帮助党人避难。而许攸同样是反对宦官斗争的积极参与者。曹操也参与进来，他们结成了一个以反宦官专政为目的的政治集团。袁绍的活动引起了宦官的注意，中常侍赵忠愤愤然地警告说：“袁本初抬高身价，不应朝廷辟召，专养亡命徒，他到底想干什么！”袁隗听到风声，于是斥责袁绍说：“你这是准备破灭我们袁家！”但袁绍依然不为所动。由此也可以看出袁绍丝毫不顾家族，自私自利。这也为后期反董卓联盟时，不安排好家族人员，贸然举旗，致使袁家嫡系被斩几十口。
中平元年（184年），黄巾起义爆发以后，东汉朝廷被迫取消党禁，大赦天下党人。袁绍这才应大将军何进召辟。袁绍有意借外戚何进之力除掉宦官，何进对宦官专政不满，因袁氏门第显赫，也很信任袁绍，从此，两人关系非同一般。
当时，宦官的势力仍然很大，中常侍赵忠、张让等并封侯爵，甚至被称为“让父忠母”。
中平二年(185年)发生三件大事：
一是弘农大族，司空杨赐死；
二是前司徒陈耽下狱死；
三是谏议大夫刘陶下狱自杀。
这三人在东汉都非常有名，而陈耽、刘陶都是被宦官诬陷，入狱而亡。刘陶说是自杀，真实原因，外人不得而知。两人含冤而死，天下莫不痛之。
袁绍更是利用此事，秘密结交大量反宦官党人。袁家本就是名门望族，门生故吏遍布天下。袁绍有意蓄名养望，一番操作之下，在党人心目中，名望急剧攀升。
一时之间，洛阳暗潮汹涌，宦官、与党人矛盾愈加尖锐。