Окончил школу в Бауске в 1901 г., затем жил в имении своего отца Биллите, самостоятельно изучая французский язык. Короткое время учился в Риге в школе телеграфистов, затем в 1904 г. отправился в Москву, где вольнослушателем посещал лекции по экономике.
С началом революции 1905 года вернулся в Латвию.
В 1906 г. опубликовал первое стихотворение, в 1907 г. вышла первая книга стихов.
В 1916 г. поступил добровольцем в 5-й Земгальский стрелковый полк под командованием Иоакима Вацетиса.
В следующем году вместе с полком оказался в Петрограде, а в 1918 г. вернулся в Латвию.
В эти годы активно публиковался как публицист, отстаивая в статьях идею независимости Латвии, выступая по ряду вопросов вместе с Янисом Акуратерсом и Карлисом Скалбе.
В 1919 г. в Валке выступил соучредителем газеты «Tautas Balss» , затем вернулся в Ригу и вместе с Александром Грином работал в газете «Latvijas Kareivis» . Публицистические статьи Вирзы этих лет собраны в книге «Зелёная Земгале» (латыш. Zala Zemgale; 1923).
В том же году Вирза вступил в партию Крестьянский союз и возглавил литературный отдел в партийной газете «Briva Zeme» , которым руководил до конца жизни. Некоторое время он также возглавлял отдел искусств Министерства просвещения Латвии.