Tên "Nhật Bản" viết theo Rōmaji là Nihon theo chữ Hán (日本） hai chữ "Nhật Bản" có nghĩa là "gốc của Mặt Trời" và như thế, được hiểu là "đất nước Mặt Trời mọc".

Nhật Bản còn có các mỹ danh là "xứ sở hoa anh đào", vì cây hoa anh đào (桜 sakura) mọc trên khắp nước Nhật từ Bắc xuống Nam, những cánh hoa "thoắt nở thoắt tàn" được người Nhật yêu thích, phản ánh tinh thần nhạy cảm, yêu cái đẹp, sống và chết đều quyết liệt của dân tộc họ; "đất nước hoa cúc" (xin xem: Hoa cúc và thanh kiếm, của Ruth Benedict, nhà dân tộc học người Mỹ năm 1946) vì bông hoa cúc 16 cánh giống như Mặt Trời đang tỏa chiếu là biểu tượng của hoàng gia và là quốc huy Nhật Bản hiện nay; "đất nước Mặt Trời mọc" vì Nhật Bản là quốc gia ở vùng cực đông, tổ tiên của họ là nữ thần Mặt Trời Amaterasu (天照 Thái dương thần nữ).

Vào thế kỷ thứ 4, Nhật Bản đã lấy tên nước là Yamato. Còn người Hán từ trước Công nguyên đã gọi Nhật là Oa quốc (倭国 "nước lùn"), người Nhật là Oa nhân (倭人 "người lùn"), gọi cướp biển người Nhật trên biển Đông Trung Hoa thời Minh là Oa khấu (倭寇 "giặc lùn" - Chữ oa 倭 vẫn thường bị đọc nhầm là nụy).

Thời xưa, lúc người Nhật chưa có chữ viết riêng, đang dùng chữ Hán thì Yamato được viết là 倭 (oa). Về sau, người Nhật dùng hai chữ Hán 大和 (Đại Hòa)để biểu kí âm chữ Yamato, thể hiện lòng tự tôn dân tộc.

Năm 670, niên hiệu Hàm Hanh (670-674) thứ nhất đời vua Đường Cao Tông, Nhật Bản gửi một sứ bộ đến chúc mừng triều đình nhà Đường nhân dịp vừa bình định Triều Tiên và từ đó được đổi tên là Nhật Bản.

Nhật Bản còn được gọi là Phù Tang (扶桑). Cây phù tang, tức một loại cây dâu. Theo truyền thuyết cổ phương Đông có cây dâu rỗng lòng gọi là Phù Tang hay Khổng Tang, là nơi thần Mặt Trời nghỉ ngơi trước khi cưỡi xe lửa du hành ngang qua bầu trời từ Đôngsang Tây, do đó Phù Tang hàm nghĩa văn chương chỉ nơi Mặt Trời mọc