Pottier deed in 1905 voor het eerst mee met de Tour de France.
Dat jaar, in de derde Tour, waren er voor het eerst serieuze beklimmingen opgenomen in het parcours.
Pottier viel aan in de tweede etappe op de hoogste berg van dat jaar, de Ballon d'Alsace (1247 m).
Hij werd tweede in de etappe en leider in het algemeen klassement.

In 1906 was hij terug in de Tour.
In de etappe naar Nancy was Pottier zo sterk dat hij er na 5 lekke banden (het strooien van spijkers op de weg door fans en toeschouwers was toentertijd veelvoorkomend) en 25 km op de velg rijden niet alleen in slaagde het halve uur goed te maken dat hem van de koplopers scheidde, maar zelfs de etappe nog won.
Op de Ballon d'Alsace viel hij opnieuw aan, en won opnieuw de etappe.

Een half jaar later, in januari 1907, was Pottier echter zo ontgoocheld toen zijn geliefde aan een andere man de voorkeur gaf, dat hij zelfmoord pleegde.
Een jaar later werd op de Ballon d'Alsace een monument voor hem opgericht.