Безспорно, растенията са основен елемент във всяка градина. Подборът им в японската градина, обаче, изисква особено внимание. В нея рядко се използват растения с прекалено пищни цветове. По-голямо значение се отдава на различните нюанси на зеленото, на комбинацията от форми и текстури, както и на играта на светлината и на сенките. Стремежът е градината да изглежда добре през всички сезони. Необходимо е да помислим как ще изглеждат различните части на градината през зимата, когато листопадните растения са се оголили, а иглолистните дървета и храсти, каменните композиции и другите неизменчиви елементи в нея, придобиват водеща роля в общата композиция. Освен това, трябва да се съобразим със символиката на растенията.
Къде японската вишна (лат. Prunus serrulata) или сакура, символизираща чистотата, мимолетната красота и ефимерността на живота, ще събуди градината след зимния покой? Къде кленът (лат. Acer), символ на познанието и мъдростта, ще пламне с ярки цветове през есента? Къде ще цъфнат азалиите (лат. Azalea), олицетворяващи женската красота и нежност?
Други типични растения в японската градина са борът, бамбукът, рододендронът, ирисите около водните басейни и разбира се — хризантемата, която, наред със сакурата, се е превърнала в символ на Япония.