Дом Губернатора построен по указу Александра I в 1821-1823 гг. (проект губернского архитектора П.Я. Панькова). Дом являлся не только официальной резиденцией ярославских губернаторов, но и императорским путевым дворцом для приезда высочайших особ.
Трёхэтажное, первоначально увенчаное бельведером, здание с двумя флигелями главным фасадом выходит на набережную Волги. Устроенная напротив полукрулая терраса набережной,
как бы продолжавшая балкон дома, виднеющаяся невдалеке изящная беседка-ротонда связывают здание с пейзажем, создавая постепенный переход от жилого пространства дома к бескрайнему простору реки.
