天启七年（1627年），白胤谦中举人，崇祯十六年（1643年）中进士，选翰林院庶吉士。入清后授内秘书院检讨，历侍读学士。清朝顺治二年（1645年），改内翰林秘书院检讨，次年任顺天乡试副考官、会试同考官。顺治五年，任内翰林弘文院侍读。次年，任内翰林弘文院侍读学士。顺治十二年，任内翰林秘书院侍读学士、内翰林国史院学士、武会主考官、武殿试读卷官。顺治十三年（1656年）六月，擢升吏部侍郎，顺治十四年（1657年）四月，升刑部尚书。顺治皇帝亲政之后，为加强皇权，注重刑法，颁布《大清律》；但惩奸除恶，惯用重典，常常不以法律而加重治罪。白胤谦独认为：“开国规模，宜崇宏大，务以宽平佐圣治。”所以他凡事都小心谨慎，无论在公堂或是在私宅，律令之书未尝离手，大小案件都依法处置，不敢有丝毫失当。就在白胤谦升任刑部尚书不久，南北科场案发。北闱顺天乡试同考官李振邺、张我朴因受贿将考生王树德、陆庆曾等录取，被判处死刑立斩，没收家产，父母兄弟流放尚阳堡。南闱江南乡试虽然舆论大哗，但未确指行贿受贿人具体姓名。白胤谦认为案情尚未查实，人命关天，恐怕冤枉了无辜，有待进一步认真推究，方可决断。这时江南举子编撰了《万金记传奇》杂剧，揭露正副主考方猷、钱开宗受贿丑闻。传入禁中，顺治帝大怒，未经过法律
程序，便下旨将方、钱二人处斩，家产妻子入官；其它考官及监场官十八人，除一人病死狱中外，均处死刑。白胤谦也因未能及时结案，受到降一级处分。顺治十六年（1659年）九月，苏松巡按王秉衡因贪赃罪被判处死刑，顺治帝下旨将其妻子儿女入官为奴。白胤谦认为根据《大清律》，此罪不应涉及妻子儿女，于是同三法司官员共议，免除了其妻子儿女之罪。顺治皇帝召白胤谦等官员廷对，厉声诘问再三，白胤谦皆援引律例正色以对，只自引罪，但仍坚持要依法裁处。此时，天威严重，廷臣被皇帝诘问者皆惶恐失措，不知所云，而白胤谦则从容不迫，据理侃侃而言，终于使顺治帝不得不服从于法律。但顺治帝年轻气盛，心中不悦，下旨将白胤谦降三级调用，补太常少卿。白胤谦认真考订祀典，议定雅乐，不以进退为意。不久升通政使，他又为冤民叩阍之事向皇帝力争，没有因为前事之故而少为退却。康熙皇帝登基之后，国家有许多大事要定夺，他多次奋颜谏议，必有利于国家人民而后已。康熙二年（1663年）五十九岁，染微疾，便遽求致仕。康熙十二年（1673年）卒，年六十九岁。