Câu lạc bộ được thành lập tại quán cà phê Criterion của thành phố Norwich vào ngày 17 tháng 6 năm 1902. Sau đó, đội mở một cuộc họp phụ vào ngày 2 tháng 7 năm 1902 bởi ba cựu cầu thủ Norwich CEYMS, Robert Webster, Joseph Cowper và Brad Skelly và chơi trận đấu chính thức đầu tiên của mình với Harwich & Parkeston, tại sân Newmarket Road vào ngày 6 tháng 9 năm 1902. Câu lạc bộ chuyển sang thi đấu chuyên nghiệp vào năm 1905. Cuối năm 1905 đội tham gia chơi ở giải địa phương và vì số cổ động viên ngày càng tăng, câu lạc bộ đã phải rời khỏi sân Newmarket Road vào năm 1908, chuyển đến sân The Nest, một sân bị bỏ hoang. Biệt danh ban đầu của câu lạc bộ là Citizens, sau đến năm 1907 thì được đổi biệt danh thành Canaries bởi chủ tịch của câu lạc bộ (vốn là một người yêu thích chim hoàng yến) gọi con trai của mình là "The Canaries" và thay đổi áo đấu của đội bóng sang màu vàng và màu xanh lá cây. Trong cuộc chiến tranh thế giới thứ nhất, bóng đá bị đình chỉ tại thành phố và vì thành phố phải đối mặt với khoản nợ leo thang, câu lạc bộ đã tạm thời thanh lý vào ngày 10 tháng 12 năm 1917.

 

Sau chiến tranh thế giới thứ nhất, câu lạc bộ hoạt động trở lại vào ngày 15 tháng 2 năm 1919 bởi ông Watling, cha của chủ tịch câu lạc bộ sau đó, Geoffrey Watling và đến tháng 5 năm 1920, giải đấu chính thức đưa vào hệ thống giải hạng ba, và Norwich là một trong những đội bóng tham dự mùa đầu tiên của giải hạng ba. Trận đấu đầu tiên của đội bóng là cuộc so tài với đội Plymouth Argyle, vào ngày 28 tháng 8 năm 1920, đã kết thúc với tỷ số hòa 1-1. Câu lạc bộ đã trải qua thêm một thập kỷ bóng đá, vị trí của đội cao nhất là vị trí thứ tám và vị trí thấp nhất của đội bóng này là vị trí thứ 18. Thành công của câu lạc bộ đến ở thập kỷ 1930, với chiến thắng đậm 10-2 trước đội Coventry City và họ giành chức vô địch giải hạng hai mùa bóng 1933-34 dưới sự dẫn dắt của Tom Parker Với số cổ động viên tiếp tục tăng cao, và vì việc Liên đoàn bóng đá Anh lo ngại về sự độ an toàn của sân The Nest, câu lạc bộ xem xét việc cải tạo thêm đất và chỗ ngồi cho khán giả nhưng cuối cùng ban lãnh đạo đội bóng đã chuyển đến sân vận động Carrow Road. Trong trận đầu tiên của đội bóng mùa 1935-36 và cũng là trận đấu đầu tiên của Norwich City thi đấu tại Carrow Road, đội đã giành chiến thắng 4-3 trước West Ham United và thiết lập một kỷ lục mới của câu lạc bộ về số cổ động viên tham dự là 29.779. Điểm nhấn lớn nhất của câu lạc bộ là chuyến thăm của vua George VI đến sân Carrow Road vào ngày 29 tháng 10 năm 1938. Tuy nhiên câu lạc bộ đã bị xuống hạng vào cuối mùa 1938-39. Câu lạc bộ đã phải đình chỉ hoạt động mùa giải sau như một kết quả của sự bùng nổ của Chiến tranh thế giới thứ hai và không tham dự cho đến khi mùa giải 1946-47 khởi tranh. Câu lạc bộ đã tiếp tục tham dự và đứng ở vị trí thứ 21 Kết quả nghèo nàn khiến Norwich City phải tham gia cuộc bầu cử thêm giải hạng tư. Câu lạc bộ đã sa thải huấn luyện viên Norman trong những năm 1950, và sau sự trở lại của huấn luyện viên Tom Parker, Norwich hoàn thành mùa bóng với vị trí cuối bảng của giải đấu bóng đá trong mùa giải 1956-1957.

 

Mùa bóng 1958-59 chứng kiến Norwich lọt vào đến bán kết FA Cup. Họ đã đánh bại Tottenham Hotspur và Manchester United. Mùa giải 1959-60, Norwich được thăng lên hạng nhì sau khi kết thúc ở vị trí thứ hai, và đứng sau Southampton. Mùa giải 1960-61, họ kết thúc mùa giải ở vị trí thứ tư. Năm 1962, Ron Ashman dẫn dắt Norwich đến danh hiệu đầu tiên của họ kể từ năm 1933, đánh bại Rochdale 4-0 trong trận chung kết để giành chức vô địch League Cup.

 

Vị trí thứ sáu là vị trí cao nhất của họ tại giải hạng hai trong thập kỷ 1960, nhưng vào mùa giải 1971-72, dưới sự dẫn dắt của huấn luyện viên Ron Saunders, đội bóng đã chính thức được thăng hạng giải cao nhất của bóng đá Anh lần đầu tiên. Lần đầu tiên họ xuất hiện trên sân vận động Wembley là vào năm 1973 trong trận chung kết League Cup mùa bóng 1972-73, nhưng lại để thua 1-0 và bị mất danh hiệu vào tay Tottenham Hotspur. Tuy nhiên họ đã bị xuống hạng hai vào mùa giải 1973-74 đã dẫn đến việc huấn luyện viên Saunders phải từ chức và bổ nhiệm John Bond làm huấn luyện viên mới. Tuy nhiên mùa giải sau đó họ đã được thăng hạng trở lại giải hạng nhất mùa 1974-75, và lại trở lại sân Wembley khi vào đến chung kết League Cup, nhưng lại để thua 1-0 trước Aston Villa. Bond từ chức trong mùa giải 1980-81 và câu lạc bộ bị xuống hạng vào cuối mùa, nhưng đã thăng hạng trở lại ở mùa giải tiếp đó sau khi kết thúc ở vị trí thứ ba.