尹翁归，字子兄，河东平阳人，幼年丧父，依靠着叔父过活。成年后他当了一名小狱吏，通晓文法，又练得一手好剑术。
当时，大将军霍光掌握朝政，诸霍住在平阳，他们的奴客仗势妄为，经常携带着兵器在街上捣乱，官吏们对他们无可奈何。
后来，尹翁归当了市吏，法治严明，吓得这些不法之徒都老老实实，不敢乱动，尹翁归为官清廉公正，谁送礼也不收，那些市井无赖之徒都很怕他。
田延年任河东太守时，有一次巡行各县，到平阳后，要面见县中文武官吏。他让文吏站在东面，武吏站在西面，五、六十个官吏都起身就位，唯独尹翁归仍然跪着不起，说：“翁归文武皆备，愿听驱使。”田延年左右的从吏认为尹翁归过于傲慢，可是田延年却不以为然，叫尹翁归起来，提出问题让他回答，尹翁归应对如流，田延年暗暗称奇，当即任命他为卒史，带回府舍。
后来，见他处理问题精明强干，诛锄豪强有胆略，对他更加敬重，甚至觉得自己的才能不及尹翁归，便提升尹翁归担任督邮职务。
当时，河东郡二十八县分为汾北、汾南两部，尹翁归督察汾南。他执法无私，对属县中一些犯了法的官吏都严加惩处，那些受到惩处的官吏自知是罪有应得，也没有怨言。田延年被选入朝中担任大司农后，尹翁归随之提升为都内令和弘农都尉，征拜为东海太守。
出守东海前，他想到廷尉于定国是东海人，便去向于定国辞行，乘便了解些东海民风。正巧于定国有两个老乡的孩子，想托尹翁归带去，给安排个差事，他让两个孩子坐在后堂等着拜见尹翁归。可是，他和尹翁归交谈了一整天，也没有敢提起此事，送走尹翁归后，他对两个孩子说：“尹翁归是当今贤吏，为人刚正，廉洁奉公，不便以私相托。而且你们两个人也不能任事，我就更不好启齿相求了。”
尹翁归到东海上任后，首先细心查访民间诉讼，把官吏和百姓中的好人、坏人，以及各种违法事情都了解得清清楚楚，分县做了记载。然后亲自决断，一个县一个县地把犯罪的人都抓捕起来，根据罪得轻重，依法论处，该判死罪的坚决处死，以求杀一儆百、改善社会风尚。
东海郯县有个大土豪叫许仲孙，目无法纪，称霸一隅，使附近的老百姓吃尽了苦头，历届的太守对他都无可奈何。尹翁归到任后，毫不犹豫地将他判处了死刑，这一举动对全郡震动极大。从此，东海一带法治严明，秩序井然。
汉宣帝选用良吏，入朝治事，看到尹翁归政绩卓着，便提拔他担任右扶风。尹翁归到职后，选拔重用了一些清廉严峻的官吏。同时，采用在东海时的办法，分县设立各种罪犯的名籍，一有盗窃案件，他就把那里的县官叫来，将主犯的名字告诉他，让他用类推法去追查罪犯的行踪，追查结果，往往正合尹翁归的推断。
尹翁归把惩处不法豪强视作当务之急，豪强一旦治罪，即交给掌管畜牧的官，令其给牲畜割草，规定了时间和数量，不准别人替代，完不成定额就加重惩处，有的豪强受不了这苦，就只好自杀。他就是这样以严酷的刑法威震京师，使扶风很快出现了大治的局面。由于他治盗有方、被称为三辅中的第一贤能。
尹翁归，病卒，生前为官清廉，死后家无余财，汉宣帝对他的早逝深表痛惜，制诏赏赐其子黄金百斤，以奉其祠祭，尹翁归的三个儿子后来也都当了郡守。