Đặng Thế Phong sinh ngày 5 tháng Tư năm Mậu Ngọ (1918) tại phố Hàng Đồng, thành phố Nam Định. Cha là Đặng Thế Hiển, làm thông phán, đã qua đời khi các con còn nhỏ. Mẹ buôn bán cau khô, nhưng do thua lỗ nhiều nên gia đình sớm lâm vào cảnh nghèo túng.
Đặng Thế Phong có gương mặt rất khả ái, môi đỏ như son, ngay từ tuổi niên thiếu đã nổi tiếng bởi một giọng hát hay và là tay guitare có tiếng đàn đầy xúc cảm.
Chị gái chàng là Đặng Bạch Tuyết vừa yêu quý em hết mức, vừa như là người bạn tri kỷ của em trai. Do vậy, những chuyện cuộc sống, chuyện tình cảm, Đặng Thế Phong đều có thể chia sẻ cùng người chị. Rồi sau này, Bạch Yến, người yêu của Đặng Thế Phong, cũng trở thành người em, người bạn thân thiết của Đặng Bạch Tuyết.
Gia đình lâm vào cảnh nghèo túng, Đặng Thế Phong đang học trường Paul Doumer đã phải thôi học, lên Hà Nội, vừa dạy học tự kiếm sống vừa học thêm về âm nhạc. Chàng còn ghi tên theo học dự thính ở Trường Mỹ thuật (Beaux arts). Tại trường này, có lần Đặng Thế Phong vẽ một bức tranh cây cổ thụ, nhưng trơ trụi, không một chiếc lá. Thầy Hiệu trưởng, hoạ sĩ Tardieu, đã buông một câu nhận xét: “Cậu vẽ đẹp, nhưng buồn quá. E là số của cậu không được thọ…”. Lời nhận xét đó, không ngờ, như một lời tiên tri, đúng như số phận Đặng Thế Phong.
