Школа находится в старинном семиэтажном замке в Шотландии. На территории школы, кроме замка, есть горное озеро, большой лес, называемый «Запретный Лес» из-за живущих там опасных существ, оранжереи, ещё несколько вспомогательных зданий, а также поле для игры в квиддич. Замок окружён горами.

Ближайшим населённым пунктом является маленькая деревушка Хогсмид — единственная деревушка в Англии, не населенная маглами. Там же находится и ближайшая к Хогвартсу железнодорожная станция. Между Хогсмидом и Лондоном курсирует специальный поезд «Хогвартс-экспресс», на котором ученики дважды в год добираются до школы и дважды уезжают на каникулы (летние и рождественские).
В школу можно добраться не только поездом. Хотя трансгрессия (apparation) на территории школы невозможна из-за наложенных защитных чар, можно трансгрессировать в точку рядом со школой и дойти до школы пешком. В школу можно также добраться, используя летающие мётлы или летучий порох.  Кстати, домашние эльфы, большая колония которых обслуживает замок, могут трангрессировать в Хогвартсе.

Чтобы добраться от Хогсмида до замка, первокурсники пересекают озеро на небольших лодках, а ученики старших курсов едут к замку в каретах, запряженных фестралами — крылатыми лошадьми. Въезд на прилежащую к замку территорию обозначен воротами. На колоннах, на которых они держатся, стоят статуи крылатых вепрей, так как Хогвартс в переводе с некоторого древнего языка означает «вепрь». Вероятно, есть две причины, почему первый раз в жизни ученики добираются до Хогвартса по воде. Во-первых, неизвестно кто из них увидит фестралов: малыши могут испугаться. Во-вторых, вода — сильная магическая субстанция (как ни странно), возможно, озеро как бы даёт «пропуск» в замок.

Школа заколдована таким образом, что для маглов она выглядит руинами с табличкой «Вход воспрещён» (Keep Out). Электрические и электронные устройства в Хогвартсе не работают из-за того, что там слишком много магии.