Klub byl založen v roce 2004 jako Virumaa Jalgpalliklubi Rakvere (anglicky: Virumaa Football Club Rakvere). Od roku 2008 se Rakvere stal členem Flóra a stal se Rakvere FC Flora. V roce 2011 byl název týmu změněn na Tarvas (anglicky: Aurochs), který je symbol Rakvere a je odvozen od historického názvu města Tarvanpea (Aurochsova hlava). V roce 2012 byl Tarvas povýšen na Esiliiga a dokončil 2012 sezóna na třetím místě. V propagačních hrách proti JK Tallinna Kalev Tarvas na souhrnu prohrál 1–3. Tarvas dokončil 2013 Esiliiga sezonu na 4. místě, ale v baráži o postup byli poraženi Tammeka 2–6 celkem. V červenci 2014 Valeri Bondarenko byl najat jako manažer.[2] Tarvas dokončil 2015 Esiliiga sezóny na 4. místě a byl povýšen do Meistriliiga poprvé v historii. Tarvas získal v prvních 14 hrách Meistriliiga jen 1 bod. Dne 4. června 2016 byl Valeri Bondarenko vyhozen a nahrazen manažerem Urmas Kirs, který tým trénoval v roce 2008. S novým trenérem Tarvas získal další dvě remízy a sezónu dokončil na konci tabulky.