杨某受某厂指派在本县范围内收购茶叶2万斤，厂方提供了介绍信、营业执照副本。杨某收购后未向税务机关纳税。县税务局知悉后即作出决定，杨某需缴纳增值税5000余元。杨某不服，认为自己是接受某厂的指派，与该厂是委托关系，其税款应当由厂方缴纳，县税务局未采纳杨某的意见，坚持要求杨某缴纳。如果杨某提起复议申请，应以何者为复议机关