Pierwsza wzmianka o zamku olsztyńskim, wtedy identyfikowanym jako zamek w Przemiłowicach, pochodzi z roku 1306 a zawarta została w aktach drugiego procesu biskupa krakowskiego Jana Muskaty, wytoczonego mu w roku 1306 poprzez arcybiskupa gnieźnieńskiego, Jakuba Świnkę. Z tego również powodu w 2006 roku obchodzono Jubileusz 700 lecia Zamku Olsztyńskiego. Pierwsza wzmianka o Zbyszku, burgrabim olsztyńskim wywodzi się z 1349 r. Istniejącą od drugiej połowy XIII wieku strażnicę rozbudował w XIV wieku Kazimierz Wielki jako jeden z najbardziej warownych zamków na pograniczu śląsko-małopolskim co podają Janko z Czarnkowa i Długosz. Kluczowym celem warowni była ochrona południowo-zachodnich rubieży Państwa Polskiego przed najazdem ze strony Śląska i Czech, a jako jedno z pierwszych tego typu i najbardziej ufortyfikowane na Jurze miejsce to cieszyło się dużym zainteresowaniem ze strony władcy, Króla Kazimierza Wielkiego który przebywał tu osobiście przynajmniej pięciokrotnie, ostatni raz w roku 1369, gdy nadał tzw. prawo średzkie dla pobliskiego Przyrowa. Oprócz procedur potężnej strażnicy granicznej zamek służył także jako więzienie dla szlachty. Według tradycji za jego panowania więziony był w zamku wojewoda poznański Maćko Borkowic, który zmarł w niej skazany na śmierć głodową za zorganizowanie spisku przeciw królowi. Według podań duch wojewody, jęki, brzęk kajdan i zawodzenia do na dzień dzisiejszy posiadają straszyć w okolicy zamku.