Nascido na cidade de Wenzhou, na província de Zhejiang, Xu teve uma forte influência familiar para se tornar nadador. Sua mãe Yu Zhenzhen havia sido nadadora e especialista em provas de borboleta e ensinou o pequeno Xu a nadar aos quatro anos de idade. Com o tempo foi desenvolvendo suas habilidade e devido ao seu talento natural tornou-se um dos melhores jovens nadadores chineses.

Com apenas 17 anos foi convocado para representar a China nos Jogos Olímpicos de Londres-2012, porém, não passou das eliminatórias dos 200m costas terminando na 28ª colocação. Xu ainda nadou no final daquele ano o Campeonato Mundial de piscina curta em Istambul e mais uma vez parou nas eliminatórias. No ano seguinte no Mundial de longa em Barcelona disputou sua primeira final e foi sétimo nos 200m costas.

Em 2014 ele começou a subir no pódio em eventos internacionais, para não sair mais. Nos Jogos da Ásia em Incheon conquistou quatro medalhas, sendo três individuais nas provas de costas. No Mundial de Kazan-2015 chegou perto da medalha ao terminar em quarto nos 100m costas e sexto nos 200m. Os resultados no ciclo olímpico só mostraram que Xu estava pronto para ser medalhista olímpico.

E a tão cobiçada medalha veio nos Jogos Olímpicos do Rio-2016. Após um intenso duelo com o americano Ryan Murphy entre eliminatórias e finais, Xu conquistou a medalha de prata nos 100m costas. O chinês ainda foi o quarto colocado nos 200m costas. No final daquele ano ainda nadaria o Mundial de piscina curta em Windsor ganhando uma medalha de bronze nos 100m costas.

A partir de então Xu começou superar o campeão olímpico Murphy e a equilibrar a disputa pelo trono dos 100m costas. No Campeonato Chinês de 2017 ele ficou a apenas um centésimo do recorde mundial do adversário e no Mundial de Budapeste meses depois sagrou-se campeão mundial. Xu repetiu o feito dois anos depois no Mundial de Gwangju-2019 firmando-se como o grande nome da prova. Entre os dois eventos ele ainda faturou cinco ouros nos Jogos da Ásia de Jacarta.

Atualmente ele vem sendo um dos principais nadadores do país e assumiu o posto de número 1 após a suspensão de Sun Yang. Com apenas 25 anos de idade, Xu busca nos Jogos de Tóquio-2020 sagrar-se campeão olímpico dos 100m costas e desta forma firmar-se como o maior nadador de costas da atualidade.