Hrad Frymburk byl ze tří stran obklopen příkrými srázy, odkud by pouze ztěží mohl někdo úspěšně na hrad zaútočit. Jediné nebezpečí proto hrozilo z východní strany, kde se nacházela rozsáhlá plošina, ze které bylo možné proti hradu útočit soustředěnou palbou z praků.
Proto byla proti této hrozbě postavena mohutná štítová věž, která se stala dominantou hradu a která činila hrad v rámci českých hradů zcela unikátním. Svérázné bylo i vlastní řešení věže. Přízemí a první patro bylo zcela plné, provedené v kompaktním zdivu, což by v případě dobytí hradu zcela zabránilo možnosti provrtání se dobyvatelů do nitra věže, i její destrukci pomocí ohně nebo výbuchem střelného prachu. Teprve horní část věže byla obytná. Vchod do těchto obytných částí nebyl při zemi, ale z některého z přilehlých (nejspíše dřevěných) stavení.
Věž nebyla přesně kruhová, ale tvar byl tvořen zvláštní okrouhlou křivkou, na vnější straně zpevněnou vysokým soklem a dovnitř hradu nahraženou v místech, kde se připojovaly hradby, křivkou vydutou, místo převládajícího kruhu vypouklého.

Celý hrad sestával ze dvou částí. Přes padací most se jedinou přístupovou cestou od městečka Hrádku přicházelo k přední bráně a skrze ni do dolního hradu nebo-li předhradí. Zde byla vybudována všechna stavení, kromě samého obydlí panského a zásobáren. Tady byly i konírny. (Nyní zde stojí hájovna).
Po dalším mostě (říkalo se mu zadní) se přešlo branou kolem rozsáhlých sklepů do horního hradu. Tento horní hrad měl podobu obdélnou a byl ukrytý za asi 10 metrů vysokou kamennou hradbou (dodnes relativně dobře zachovalou). Vedle již popsané věže zde byly světnice pro panstvo a hradní kuchyně. Na nádvoří stála čtverhranná, ve skále tesaná studna, asi 30 sáhů (tj. 53 metrů) hluboká. Tato studna, která prý dávala velmi dobrou vodu, zabezpečovala i v době obléhání obráncům hradu neomezený přísun vody.

Před hradem stál pivovar se sklípkem, u řeky Olešenky (tehdy zřejmě zvané Mlýnský potok) byl zřízen hamr na zpracování železné rudy. V okolí hradu bylo mnoho zahrad a pasek, které byly pronajímány lidem, kteří tu seli obilí a sekali trávu.

K hradu patřily tyto obce:
Městečka Hrádek a Olešnice a vsi Dlouhé, Sněžné, Tis, Bystré, Janov, Nedvězí, Dobřany, Ohnišov, Vanovka, Bydlo, Kounov, Slavoňov, Bohdašín, Rovné, Provoz, domašín, Myškov, Ves Nová v Horách, Lhota.