Norviliskes znajduje się w tak zwanym „dodatku” Dieveniskes, około 12 km na wschód od Dieveniskes, tuż przy granicy z Białorusią. Chociaż zwykle wspomina się tylko o klasztorze, początki wioski sięgają renesansu. Murowany klasztor został zbudowany na początku XVII wieku na wzór Mitchyb Dolnych w słowackich Tatrach Wysokich.
Posiadał jadalnię z zielonym piecem i 4 oknami, a także 6 spichlerzy do sypania zboża, sypialnię i komorę na drugim piętrze. Na dole budynku znajdowały się dwie piwnice, a pod wieżami jeszcze dwie piwnice. Cały budynek pokryty był dachówką i gontem.
W 1832 r. w klasztorze Norviliskes mieszkało ośmiu mnichów, po czterech z GDL i Królestwa Polskiego. Niestety, klasztor został zamknięty, a budynki przekształcono w koszary dla carskich żołnierzy. W latach 1900-1915 budynek zajmowali studenci Szkoły Rolniczej. W 1918 roku klasztor został przekształcony w plebanię. Obecnie na terenie dawnego zamku działa kompleks turystyczny.
