El club fue fundado oficialmente el 13 de agosto de 1883 bajo la denominación de Singers FC por William Stanley, un administrativo de la empresa de bicicletas Singer Cycle Company en la ciudad de Coventry, situada en el condado de West Midlands (Inglaterra, sobre la cuenca del río Sherbourne y rodeada de los campos del centro del país). Nació como una extensión recreativa y de bienestar físico para los operarios de la famosa fábrica de bicicletas, con la intención de fomentar el deporte y el asociacionismo obrero durante los meses invernales. Bajo la dirección de Stanley, el equipo comenzó a disputar sus partidos en Dowells Field con colores negro y rojo, cimentando sus profundas bases industriales.
En 1898, con la intención de representar plenamente a la totalidad de la comunidad de la ciudad de Coventry y desvincularse de la tutela de la fábrica, el club adoptó formalmente su nombre actual de Coventry City Football Club. Un año más tarde, en 1899, la junta directiva tomó la trascendental decisión de mudarse al estadio de Highfield Road, que se convertiría en su hogar permanente e inconfundible por más de un siglo (hasta 2005) y en el escenario donde se edificaron sus campañas más memorables en la Football League.
La llegada del visionario e innovador mánager Jimmy Hill en 1961 cambió para siempre la historia y la estética de la institución. Hill revolucionó el club al introducir el color azul celeste (Sky Blue) como identidad inamovible, compuso el himno oficial del club, impulsó el concepto de estadio con asientos totales y organizó trenes especiales para la hinchada. Su obra maestra culminó en la temporada 1966-67 al consagrarse campeones de la Second Division y ascender a la Primera División por primera vez, iniciando una ininterrumpida permanencia de 34 años en la máxima categoría.
El 16 de mayo de 1987, Coventry City firmó su página de oro más brillante y emotiva. Dirigidos por la dupla de John Sillett y George Curtis, los 'Sky Blues' llegaron a la final de la FA Cup en Wembley, midiéndose ante el destacado Tottenham Hotspur. En uno de los partidos más vibrantes y respetados de la historia del torneo, Coventry se impuso de manera esforzada por 3-2 en el tiempo suplementario, gracias a los goles de Dave Bennett, Keith Houchen (con una inolvidable palomita) y un autogol providencial de Gary Mabbutt, alzando el prestigioso trofeo nacional.
En la temporada 2023-24, Coventry City reavivó su emblemático espíritu copero en una campaña esforzada bajo la conducción táctica de Mark Robins. Tras eliminar al Wolverhampton en cuartos de final con dos goles agónicos en tiempo de descuento, los 'Sky Blues' llegaron a semifinales en Wembley contra el Manchester United. Tras caer por 3-0 a falta de veinte minutos, Coventry completó una remontada inolvidable para empatar 3-3 y llevar el partido a la prórroga y a la tanda de penales, ganando el respeto absoluto de todo el fútbol mundial por su coraje y tenacidad.