Vas Prem je gručasta slemenska vas na severovzhodnem delu Brkinov in ima vse značilnosti brkinske arhitekture. Jedro naselja je pretežno stisnjeno v dveh vrstah na sedlu med gradom na eni in župnijsko cerkvijo sv. Helene na drugi strani slemena.
Vas se je najprej razvijala v neposredni bližini gradu, nato se je širila v sklenjeni vrsti proti vrhu vzpetine – proti cerkvi. Ob koncu 18. stoletja se je pričelo naselje širiti v značilnem slogu tudi na južno pobočje, imenovano Rep.
Vas se deli na več področij: Pri gradu, V Repu, Pri cerkvi, Preska in Potok ob vznožju slemena. Zaradi arhitekturnih umetnostnozgodovinskih in etnoloških značilnosti je naselje zavarovano kot kulturni spomenik