Строительство резиденции для гражданского губернатора A.M. Безобразова было приурочено к встрече в августе 1823 года Александра I, который, обозревая внутренние области империи, «изволил осчастливить своим прибытием Ярославль». Город заранее был великолепно иллюминирован, и Губернаторский дом, убранный деревьями и цветами, «уподоблялся прекрасному саду».
Возведением этой губернаторской резиденции, отвечающей всем требованиям своего времени, занимался ярославский архитектор П. Я. Паньков, который, построив её в дворцовоусадебных традициях начала XIX века, придал административному центру Ярославля не только завершённый, но и более параднорепрезентативный вид.
Страницы жизни Губернаторского дома – это своеобразное отражение истории Российского государства. Сюда приходили ярославцы и в дни государственных праздников с засвидетельствованием верноподданнических чувств Их Императорским Величествам, и в дни всенародных бедствий. Так, например, когда Ярославль достигла весть о начале Первой мировой войны, люди собирались перед домом на Волжской набережной, исполняли национальный гимн и ждали появления губернатора на балконе.
Новый этап в жизни этого дома начался с 1917 года. В дни февральских событий, происходивших в Петрограде, Ярославль был охвачен какимто напряжённым ожиданием. С улиц пропали городовые, а в Губернаторский дом съехалось всё губернское начальство, заполнив автомобилями и экипажами Волжскую набережную. Днём 28 февраля ярославский губернатор – князь Н. Л. Оболенский получил телеграмму о событиях в столице, и, не смотря на принятые им меры к неразглашению информации, уже на следующее утро весть облетела весь город. Начались массовые митинги и демонстрации. Губернатору ничего не оставалось, как выразить лояльность Временному правительству, заявив представителям Ярославского земства, что он не намерен противодействовать силой замене на местах представителей старой власти представителями новой.
Тем не менее, 3 марта 1917 года после сформирования Общественного исполнительного комитета, к которому перешла вся административная власть в губернии, князь Н. А. Оболенский был арестован и из Губернаторского дома препровождён в тюрьму. К счастью, вскоре его выпустили, он спешно покинул Ярославль, а затем и Россию.
Во избежание угрозы анархии Временное правительство уже 5 марта распорядилось о введении в провинции губернских комиссаров. На этот пост в Ярославле был назначен отставной генералмайор, пошехонский помещик К.К. Черносвитов – представитель партии кадетов. В конце апреля в освободившуюся губернаторскую резиденцию переехал Ярославский совет рабочих депутатов, и она стала называться Домом народа.
Отношения К. К. Черносвитова с Советом складывались очень не просто. Любое его действие рассматривалось как посягательство на свободу и демократию, а сам военный комиссар объявлялся консерватором и реакционером. 2 августа К. К. Черносвитов официально отказался от должности. На его место был назначен Б. Н. Дюшен, бывший до этого помощником военного комиссара и одновременно входивший в городской комитет РСДРП.
Когда в Ярославле была получена весть о вооружённом перевороте в Петербурге в ночь с 25 на 26 октября 1917 года и низложении Временного буржуазного правительства, в Доме народа состоялось историческое заседание Совета рабочих депутатов. В парадном двусветном зале, в котором в честь приезда представителей царской фамилии устраивались блестящие балы; теперь обсуждали вопрос о власти представители от фабричнозаводских, полковых и ротных коллективов.
Мнения разделились. Эсеры предлагали дождаться созыва Учредительного собрания, меньшевики призывали голосовать против передачи власти Советам, но большинство присутствовавших было склонно поддержать резолюцию большевиков о переходе власти в руки Советов. Голосование проходило при керосиновых лампах и свечах, так как, якобы, оказавшиеся в меньшинстве меньшевики и эсеры вывели из строя электроосвещение во всём доме, чтобы опротестовать подсчёт голосов. Поздно ночью был объявлен результат голосования – большинство представителей Ярославля высказалось за Советскую власть.
Для упрочения своего положения Ярославскому совету потребовалось создание мощных вооружённых отрядов. И в начале ноября в Доме народа состоялось собрание, на котором Совет призвал рабочих записываться в ряды Красной гвардии для борьбы с саботажем. Избранный Центральный штаб до декабря 1917 года также располагался в Доме народа. Тогда же был упразднён губернский комиссариат. Сын генерала царской армии меньшевик Б. В.Дюшен не признал перехода власти к большевикам. Вскоре он был арестован и освобождён изпод стражи лишь благодаря вмешательству народного комиссара А. М. Коллонтай, его давней знакомой.
В июле 1918 года бывший военный комиссар примкнул к антибольшевистскому восстанию в Ярославле, исполняя в последние четыре дня обязанности начальника штаба. К этому времени большевики покинули Дом народа. В ночь на 21 июля, когда восстание было фактически подавлено, Б. В. Дюшен не пошёл сдаваться вместе со своими товарищами, а укрылся в комнате на 1м этаже Дома народа, что и спасло его от расстрела. Он находился здесь несколько дней, и хотя его фотографиями с информацией о розыске был обклеен весь город, ему удалось беспрепятственно под покровом ночи покинуть Ярославль.
С этого момента бывшая усадьба ярославских губернаторов, которую современники с гордостью называли Императорским дворцом для приезду, перестала существовать как целостный градообразующий архитектурнопарковый ансамбль. С 1929 года в основном доме находился батальон НКВД, во флигеле содержались овчарни, сад использовался для хранения дров. Губернаторские каменные конюшни и хозяйственные службы были снесены, и на их месте поставлен дом для работников обкома партии. После войны на территории Губернаторского сада разместился районный детский парк, а в доме – технологический институт.
Новый расцвет Губернаторской усадьбы как культурного и общественнозначимого центра пришёлся на последнюю треть ХХ века. Передача Ярославскому художественному музею основного дома, а позже и сада позволила не только провести комплексную научную реконструкцию усадьбы, но и значительно расширить её эстетические функции. В 1994 году была вновь введена должность губернатора, что повлекло за собой возвращение Губернаторской усадьбе параднопредставительского статуса.