В начале XIV столетия, на территории, принадлежавшей в те времена Тевтонскому рыцарскому ордену, в северо-западной части города Квидзынь, было начато строительство резиденции главы Помезанской епархии. Замок в Квидзыне был построен в готическом стиле, из камня и кирпича, и являлся типичным примером строительства оборонительных замков крестоносцев. План замка представлял собой четырёхугольник с внутренним двором, по углам были построены квадратные сторожевые башни. На втором этаже восточного крыла располагались больница, архив, сокровищница и комнаты главы кафедрального капитула. В южном крыле размещались зал для заседаний капитула, столовая, библиотека и помещения для воспитанников кафедральной школы. Западное крыло было предназначено под спальные помещения монахов и соединялось с санитарной башней. В северной части замка находились малая часовня и зимняя трапезная. На нижних этажах были расположены сараи для дров, продовольственные склады, кухня, пекарня, кладовые. Конюшни, сараи, пивоварня и огород размещались на предзамковой территории. Во второй половине XIV века главные строительные работы были окончены, к восточному крылу был присоединён кафедральный собор. Были возведены санитарная и колодезная башни, а также звонница, соединяющая собор с замком. Замок в Квидзыне стал не только резиденцией главы Помезанской епархии, но и религиозным и политическим центром. Члены Помезанского капитула жили в нём до времён реформации. После секуляризации замок перешёл в руки протестантских епископов, которые владели им до середины XVI века. В 1551 году замок был захвачен прусским князем Альбрехтом Гогенцоллерном, замковые интерьеры были перестроены и приспособлены под жилые и административные помещения. В 1709 году, во время своего пребывания в Квидзыне по приглашению короля Пруссии Фридриха I, в замке останавливался Петр I. В 1772 году в замке размещался Высший Дворцовый и Земской суды, многие помещения в связи с этим были перестроены. В 1935 - 1945 годах в замке располагались школа и воспитательное заведение нацистской молодёжной организации Гитлерюгенд. В 1949 году замок был передан под управление Министерства культуры и искусства Польши. Спустя год после восстановительных работ, в нём был открыт музей. В музее Замка в Квидзыне организованы археологический, этнографический, художественный, исторический и природный отделы. В коллекции представлены посуда, керамика, текстиль, мебель, живопись, скульптура, орудия сельского хозяйства, предметы декоративно-прикладного искусства.