近代中国的海关长期把持在外国列强手中，他们控制中国海关的机构就是总税务司署。1840年鸦片战争后，清廷被迫出让各种通商贸易的权力，在通商口岸新设洋税，专门对外国商船进行征税，负责征收洋税的海关为了区别于以前的老关，因此又称新关。1853年，英、法、美驻上海领事趁小刀会起义之机，夺取了通商口岸洋税的征收权力，从此中国海关开始进入列强把控时代。
总税务司署的成立也不是一蹴而就的，有一个渐进的过程。1858年，英法联军攻陷大沽，清廷被迫签订《天津条约》及其附约《通商章程善后条约：海关税则》。1859年初两江总督何桂清内定李泰国为各口海关总税务司。李泰国刚就任总税务司时，只控制了江海关的洋税征收，但是很快他就开始筹建以税务司为核心的海关制度，力图把各口的新关都置于总税务司的控制之下。1859年，10月，李泰国新设粤新关以及潮新关。并且他还开始制定总税务司的人员编制以及经费预算。按照李泰国的设想，总税务司署包括总税务司一人，委员若干，帮办写字一人，中国写字先生三人，差役十人，共计薪俸支出25920两。1861年，赫德开始接替李泰国代理总税务司职务，各口陆续新设的海关多达十一处。从1864年初开始总税务司署这个名称开始正式被使用，并且一直延续下去。这一名称的使用也标志着总税务司署的最终形成。
总税务司署最初是设在上海，从1865年冬开始由于总税务司署的负责人赫德一直在北京活动，因此从这一年开始总税务司署也随之迁往北京办公，一直到1929年。总税务司署在京期间，总共历经了四任总税务司，分别是赫德、裴式楷、安格联、易纨士，其中赫德在位时间最长，他控制了中国海关长达半个世纪之久。总税务司署虽然主管的是关税征收，但是也插手中国的外交活动。例如1885年赫德插手中法谈判，致使中法战争中国不败而败。1886年，赫德又与英国外交部串谋逼迫清政府签订《缅甸条款》，使中国丧失缅甸。另外，总税务司署还办理洋务，具有代表性的就是办理邮政。1896年清廷正式委托总税务司署办理中国邮政，在总税务司署内设邮政总局，由赫德兼任总邮政司。这样中国近代的邮政事务也逐渐开办起来。
1927年南京国民政府成立，命令总税务司署迁往南京，但是由于总税务司署的抵制，实际上迁往了上海。1949年中华人民共和国成立，总税务司署才被废除。