El club fue fundado oficialmente el 17 de junio de 1902 durante una histórica reunión de comerciantes e hinchas deportivos en el Criterion Cafe de la ciudad de Norwich, situada en el condado de Norfolk (Este de Inglaterra, a orillas del río Wensum y sobre las llanuras agrícolas de Anglia del Este). Nació por iniciativa de Robert Webster y Albert T. Wright con la intención de establecer un club de fútbol de asociación profesional representativo de toda la comunidad del este inglés. El club adoptó rápidamente colores amarillo y verde en honor al arraigo de la industria de cría de canarios introducida por los refugiados flamencos en el siglo XVI, cimentando una identidad muy distintiva en el fútbol británico.
En 1935, debido al aumento de asistencia en su antiguo predio de The Nest, el club tomó la trascendental e histórica decisión de mudarse a un nuevo recinto. El estadio de Carrow Road fue edificado en un tiempo récord sin precedentes de apenas 82 días para el inicio de la temporada. Carrow Road se transformó rápidamente en el estadio espiritual indiscutido de los hinchas de Norfolk y en un bastión inexpugnable donde se cimentó el arraigo institucional de los 'Canaries' en el este.
La obtención de la Copa de la Liga (League Cup) marcó las páginas de mayor orgullo nacional del club. En 1962, bajo la dirección técnica de Willie Reid, Norwich conquistó su primer trofeo mayor al derrotar al Rochdale en la final. En 1985, el equipo repitió el logro al vencer al Sunderland por 1-0 en el recordado Wembley gracias a un providencial desvío defensivo en la final de la Milk Cup, estableciendo una era de gran fútbol directo y combativo.
En la temporada inaugural de la Premier League (1992-93), el Norwich conducido por Mike Walker sorprendió al fútbol europeo al pelear el título y finalizar en un histórico tercer puesto por detrás del Manchester United y el Aston Villa. En la Copa de la UEFA de la temporada siguiente, firmaron un logro irrepetible al convertirse en el primer (y único) club inglés en derrotar al destacado Bayern de Múnich en el recordado Olympiastadion, venciendo por 2-1 gracias a un soberbio gol de volea de Jeremy Goss.