Одному из образованнейших людей своего времени, воспитаннику четырех духовных академий святителю Арсению выпала участь пасынка российского века Просвещения. Будучи аскетом и бессребреником, он мужественно протестовал против любого вмешательства верховной светской власти в дела церковные. Уже в преклонные лета митрополит дерзко отказался присягать государыне Екатерине II как «высшему судии» и был осужден Синодом как политический преступник. Жизненная драма одного из самых убежденных в истории православия поборников независимости церкви и веры завершилась в мрачном каземате прибалтийской крепости Ревель, нынешнего Таллина. Там он и был похоронен как простой мирянин, на погосте приходского храма. Несмотря на то, что еще полтора столетия после кончины изгнанника его судебное дело империя хранила за семью печатями, стереть имя праведника из людской памяти не удалось. Прихожане Никольской церкви и в новом веке помнят о нем, почитают его, ратуя за то, чтобы мощи митрополита Ярославского и Ростовского, причисленного к лику святых, обрели достойное место в раке или саркофаге и чтобы место это было отмечено памятной доской. По убеждению представителя Ярославской области в Эстонии Бориса Князева, у прошения протоиерея Олега Вроны есть реальные шансы быть удовлетворенным. Недавно по соглашению о помощи с ярославской стороны Эстонской православной церкви Московской патриархии, подписанному губернатором Анатолием Лисицыным по благословению Патриарха всея Руси Алексия II, 100 тысяч рублей выделено православному Пюхтинскому монастырю, что неподалеку от Силламяэ, города с преобладающим русскоязычным населением близ российско-эстонской границы.