方丈は大方丈（おおほうじょう）と小方丈（こほうじょう）からなります。
大方丈は京都御所内にあった建物の一部を移築したもので、古来の宮廷の姿を今に伝えます。
障壁画は安土桃山時代の代表的画派・狩野一派の手によるものとされ、計120面が重要文化財に指定されています。なお、大方丈自体は昭和28年（1953年）、国宝に指定されました。
一方、大方丈と繋がって建つ小方丈には伏見城の遺構が使われており、「群虎図」（ぐんこず、重要文化財）40枚などの狩野探幽作と伝えられる障壁画が飾られた部屋は、「虎の間」として親しまれています。
また、大方丈前面にある方丈庭園は小堀遠州の作と伝わる枯山水庭園（水を用いずに石・砂などで風景を表現する庭園様式）で、大小6個の石組みを川を渡る虎の親子に見立て、俗に「虎の子渡しの庭」（とらのこわたしのにわ）と呼ばれています。
この方丈庭園は昭和26年（1951年）に国指定の名勝となりました。