Пагорок, розташований на правому березі річки Уж, є найдавнішою частиною Ужгороду. Його вершину увінчують кафедральний собор, єпископський палац і сувора громада замку — найстарішого в Закарпатській області. Його історія йде корінням ще в VI-VII ст., коли тут виникло перше праслов’янське поселення, найраніше в усьому Закарпатті. У VIII—IX ст. на цьому місці існувало укріплене городище білих хорватів. Середньовічна угорська хроніка пов’язує його з ім’ям князя Лаборця. У 903 р. поселення і замок були узяті угорцями, які вторглися з-за Карпат в Дунайську низовину. Князь зі своєю дружиною покинув замок, але його наздогнали та вбили біля річки, яка з тих пір носить його ім’я.
У XI ст. угорці відновили замок над Ужем — відтепер він повинен був захищати східні кордони королівства. Пізніше його неодноразово перебудовували, передавали з рук в руки, до теперішнього часу від найдавніших споруд збереглася лише частина фундаменту, сліди якого збереглися в підземеллях замку.
В епоху середньовіччя Ужгородський замок мав важливе стратегічне значення. Про могутність його укріплень говорить хоч би той факт, що в 1086 р., під час спустошливого набігу на Закарпаття половецької орди під керівництвом хана Кутеська, оволодіти Ужгородським замком так і не змогли.
У 1241 р. фортецю над Ужем було стерто з лиця землі татаро-монгольськими ордами. Через півтора десятиліття угорський король Бела IV запрошує іноземних колоністів на спустошені татарами землі і наново відбудовує Ужгородський замок. До початку XIV ст. він знову стає важливим стратегічним пунктом і головним адміністративним центром Закарпаття.
Впродовж тривалого часу Ужгородський замок був особистим доменіальним володінням угорських королів, проте в 1322 р. король Карл Роберт подарував його своєму соратнику Яну Другету. Сімейство Другетів володіло замком аж до 1691 р.
У період, коли замок знаходився у володінні цього роду (1322-1691 рр.), у фортифікаційному мистецтві відбулися великі зміни, викликані появою вогнепальної зброї. Але і часи були неспокійні: у 1526 р. армія угорського короля була розбита турками під Мохачем, країна розпалася. Вся центральна частина королівства разом із столицею Будой була захоплена турками. Західні землі Угорщини відійшли до австрійських Габсбургів, а в східній частині утворилося Трансільванське князівство, яке визнало себе васалом Туреччини. Закарпаття стало ареною запеклої боротьби між трансільванськими князями, які претендували на роль об’єднувачів Угорщини, і Габсбургами, яким юридично належала угорська корона. Другети, власники Ужгородського замку, традиційно дотримувалися прогабсбургської орієнтації.
Всі ці бурхливі події не могли не позначитися на зовнішньому вигляді замку. Наприкінці XVI ст. Другети провели ґрунтовну реконструкцію замку з використанням новітніх досягнень європейського фортифікаційного мистецтва. У той час в північній Угорщині, Словаччині і Закарпатті працювала група італійських військових інженерів, запрошених віденською придворною військовою радою (гофкригсратом) для перебудови і зміцнення прикордонних замків і фортець з огляду на зростаючу турецьку загрозу. Ці інженери працювали і над укріпленням Ужгородського замку. Під їх керівництвом були зведені могутні стіни з кутовими бастіонами, висунутими за лінію квадрата стін, що підсилювало ефективність оборони за допомогою артилерії, яка була встановлена на майданчиках бастіонів. Про завершення цієї перебудови свідчить дата, висічена над головними воротами замку, — «1598». Над нею на кам’яній плиті вирізані чотири дрозди — герб роду Другетів. Через півстоліття стіни замку знову укріплювалися, про що говорить інша дата на північній стіні — «1653».
Наприкінці XVII ст. рід Другетів припинився. Ужгородський замок переходить до нового власника, який знов перебудовує його і укріплює за проектом французького інженера Лемера. Після цієї перебудови замок набув свого сучасного вигляду: могутні квадратні башти, масивна гладь високих кам’яних стін, позбавлених навіть бійниць. З трьох боків замок оточує рів завглибшки від 8 до 10 м, через який було перекинуто підйомний міст. За воротами відкривається простір внутрішнього двору, де височіє палац Другетів (XVI ст.) — сувора двоповерхова прямокутна будівля з масивними квадратними баштами по кутах. Північна стіна палацу тягнеться уздовж самого обриву, який є настільки крутим і неприступним, що будівельники навіть вважали зайвим зводити з цього боку захисну стіну.
Ужгородський замок зіграв визначну роль в подіях угорської Визвольної війни під керівництвом Ференца Ракоци II. (1676— 1735 рр.) — безпосереднього та єдиного спадкоємця династії трансільванських князів. У 1703 р. цей багатющий аристократ Угорщини очолив повстання проти австрійського панування. На свої власні кошти він озброював повстанців, забезпечував їх боєприпасами, продовольством, амуніцією. До Ракоци приєдналася безліч селян Закарпаття з надією, що після вигнання австрійців він виконає свої обіцянки і звільнить учасників руху від кріпосної залежності. Розбійницький отаман Іван Беца, який діяв в 90-х роках XVII ст. на околицях Ужгороду, теж підтримав повстання Ракоци. Його загін захопив Ужгород і оточив замок. Після довгої облоги гарнізон вирішив відмовитися від опору і склав зброю. 2 березня 1704 р. в таборі Ракоци в Мішкольці були підписані умови капітуляції. До Ужгородського замку увійшли повстанські загони. Вони займали фортецю аж до 11 травня 1711 р. Після поразки армії Ракоци Ужгородський замок капітулював.
Коли австрійські кордони відсунулися далеко на схід, замок втратив своє стратегічне значення. В даний час в його стінах розміщені Закарпатський краєзнавчий музей і картинна галерея.