De grottenstad Vardzia ligt nog 16 kilometer voorbij Khertvisi en is een cultureel symbool. Het heeft een speciale plaats in de harten van de Georgiers !

In de 12de eeuw bouwde Giorgi III een fort op deze plaats. Zijn dochter, koningin Tamar, stichtte hier een klooster dat uitgroeide tot een virtuele heilige stad met misschien wel 2000 monniken, bekend als een spiritueel bastion van Georgie en van de oostgrens van het Christendom. Het verhaal gaat dat het koningin Tamar was die, als een kind ronddwaalde in de grotten en, toen haar oom haar naam riep, antwoordde "Ak var dzia" ("hier ben ik, oom).

Het opmerkelijke aan Vardzia is dat het onder koningin Tamar's regering groeide en dat de inwoners leefden in uitgehakte grotten die zich uitstrekten over 13 verdiepingen met de hemelvaartkerk in het midden. Ten westen van de kerk, in het gebied dat zich ontwikkelde uit de 10de eeuwse stadje Ananuri zie je 40 grotten met in totaal 165 kamers en 6 kleinere kerken. Aan de oostkant zijn 79 grotten, 244 kamers en nog zes kerken. In totaal zijn er 25 wijnkelders.