El club fue fundado oficialmente el 5 de abril de 1898 durante una reunión de directores en el 12 High Street de la ciudad costera de Portsmouth, situada en la Isla de Portsea en el condado de Hampshire (Sur de Inglaterra, a orillas del Canal de la Mancha y albergando el puerto naval más emblemático de Gran Bretaña). Nació por iniciativa de un grupo de comerciantes y promotores locales, liderados por John Brickwood (dueño de la Brickwoods Brewery), con la intención de crear un club de fútbol de asociación profesional que reemplazara al desaparecido Royal Artillery Portsmouth y defendiera el prestigio deportivo del puerto. El equipo adoptó colores azul y blanco, y el escudo tradicional de la estrella y la luna creciente, cimentando bases muy vinculadas a la vida marítima y militar.
En 1899, la directiva del club comisionó la edificación de su estadio definitivo, inaugurando el histórico estadio de Fratton Park, diseñado por el famoso arquitecto Archibald Leitch. Fratton Park se convirtió rápidamente en un recinto único en el sur de Inglaterra, célebre por su ruidosa y apasionada hinchada y su tribuna principal victoriana. El estadio sirvió como el escenario donde se edificaron sus campañas más memorables en la Football League y el estadio espiritual que define la identidad de la institución.
Bajo la conducción táctica de Jack Tinn, Portsmouth firmó su primer éxito nacional exitoso. El 29 de abril de 1939, los 'Pompey' conquistaron la FA Cup por primera vez al derrotar de forma inapelable al favorito Wolverhampton Wanderers por 4-1 en Wembley. Debido al estallido inmediato de la Segunda Guerra Mundial y la suspensión de la liga, Portsmouth retuvo y custodió con orgullo el trofeo de copa durante siete años ininterrumpidos en tiempos difíciles para el puerto.
La posguerra marcó la era deportiva más exitosa de la historia del club. De la mano del mánager Bob Jackson y guiados en el terreno por el emblemático centrocampista y emblema institucional Jimmy Dickinson, Portsmouth completó un logro formidable al proclamarse campeón de la Primera División de la liga inglesa de forma consecutiva en las temporadas 1948-49 y 1949-50, superando a todos los colosos de la época con un fútbol dinámico, veloz y de gran solidez defensiva.
El 17 de mayo de 2008, Portsmouth regresó a la gloria copera nacional de forma brillante en el nuevo Wembley. Dirigidos por el experimentado estratega Harry Redknapp, los 'Pompey' se adjudicaron la FA Cup por segunda vez en su historia al vencer al Cardiff City por 1-0 gracias a un agónico y oportuno gol del delantero nigeriano Nwankwo Kanu en el primer tiempo, desatando una celebración multitudinaria en todo Hampshire y clasificando a la UEFA Europa League.