Nascido na cidade de Maastrich, famosa por ter sido local onde foi criada a União Europeia, Pieter van den Hoogenband começou a nadar ainda criança inspirado pela mãe Astrid que havia sido medalhista em competições europeias. Despontou muito jovem ao cenário internacional e em Atlanta-1996, aos 18 anos de idade, disputou sua primeira Olimpíada. Nos Jogos surpreendeu e ficou muito perto de ir ao pódio olímpico ao terminar os 100m e 200m livre em quarto lugar.
No ciclo seguinte tornou-se um dos melhores do mundo indo ao pódio no Campeonato Mundial de Perth-1998 e ganhando sete medalhas de ouro no Europeu de Istambul-1999. Nos Jogos Olímpicos de Sydney-2000 foi um dos maiores nomes daquela Olimpíada, ao vencer os 100m e 200m livre. Na semifinal dos 100m bateu o recorde mundial e tornou-se o primeiro homem da história a nadar a distância abaixo de 48 segundos: 47s84. E nos 200m derrotou o favoritíssimo Ian Thorpe numa prova histórica,além de dois bronze nos 50m livre e com 4x200m livre holandês.
Já consagrado continuou em grande fase, mas sempre batendo na trave em Campeonatos Mundiais quando o assunto era medalha de ouro. Nas edições de Fukuoka-2001 e Barcelona-2003 ganhou sete medalhas, sendo seis delas de bronze. Na edição de Barcelona protagonizou um marcante duelo contra Alexander Popov nos 100m livre, sendo derrotado pelo russo.
Nos Jogos Olímpicos de Atenas-2004 voltou ao lugar mais alto do pódio olímpico com o bicampeonato nos 100m livre após uma segunda parcial onde ultrapassou na reta final o sul-africano Roland Schoeman. Nos 200m livre protagonizou ao lado de Ian Thorpe e Michael Phelps a prova do século, vencida pelo torpedo australiano. E ainda faturou uma prata com o revezamento 4x100m livre tendo a melhor parcial de todos os finalistas com o espetacular tempo de 46s79.
O holandês ainda nadaria mais um ciclo olímpico, mas já entrava na fase final da carreira. No Campeonato Mundial de Melbourne-2007 foi atropelado por Michael Phelps na final dos 200m livre. Uma foto icônica daquela prova ostra Phelps celebrando sua vitória com van den Hoogenband ainda nadando. Esta foi também sua última medalha em Mundiais. Disputou ainda os Jogos Olímpicos de Pequim-2008 onde chegou a final dos 100m livre, mas ficou longe do tricampeonato ao terminar apenas em quinto lugar.
Ainda em 2008 anunciou sua aposentadoria das piscinas e passou a se dedicar a outras funções ligadas a natação. Foi comentarista da uma emissora de TV holandesa nos Jogos de Londres-2012 e Rio-2016 e hoje atua no Comitê Olímpico da Holanda e será em Tóquio-2020 o chefe de missão da delegação laranja. Hoje a principal piscina da cidade de Eindhovem, que já foi palco de etapas da Copa do Mundo da FINA, leva o seu nome.