Жил в Пскове богатый купец Сергей Поганкин, который своим жестоким нравом, алчностью к деньгам возбудил в народе ненависть, а поэтому и прозвали его "поганым". Так это позорное имя осталось за ним и за его потомками.

О жизни купца Поганкина сложено много легенд и ни в одной из них не сказано доброго слова о нем. Одна говорит о бродяге, который нашел клад и, познакомившись с "бесовскими деньгами", стал лютым человеком. Вторая - об атамане разбойников, который пролил много человеческой крови и на награбленное построил палаты, прозванные Поганкиными. Третья - об Иване Грозном, который за наглость и нечестно нажитое богатство прозвал купца "поганым"...

Из уст в уста передавались рассказы о страшных злодеяниях Сергея Поганкина. На железных цепях в глубоких сырых подвалах его палат томились и страдали заживо погребенные люди. А еще говорится, что сам Сергей Поганкин в пылу гнева привязал свою молодую жену к крупу полудикой лошади и пустил ее в поле. Лошадь вернулась на следующий день, вся обрызганная кровью. С этого времени Поганкин стал часто предаваться диким забавам.

Много жалоб от бедноты поступало в Москву на Сергея Поганкина, в которых винили его в хищениях, убийствах, в беспошлинной торговле с немцами...

Как известно, Поганкины палаты построены во второй половине XVII века, вскоре после известного псковского восстания 1650 года. В ту пору широко велось в Пскове строительство купеческих каменных домов-крепостей, рассчитанных на защиту их владельцев от народного возмущения.

Тяжелые каменные своды покрывали комнаты и подвалы Поганкиных палат. Окна, как крепостные бойницы, закрывались толстыми железными ставнями, переплетались витыми железными решетками. Межэтажные переходы (лестницы) выкладывались в толщине стен. Большое количество ниш и тайников, выходящие на все стороны 105 окон-бойниц, придавали зданию вид настоящей крепости.