Успехи Холмского на военно-дипломатическом поприще, расположение к нему Ивана III, несомненно, вызывали зависть у его менее удачливых современников. Вероятно, кто-то из них сделал ложный донос на полководца. Впрочем, возможно, и сам воевода впутался в одну из дворцовых интриг. Как бы там ни было, в том же 1474 году он был обвинен в намерении бежать со всей семьей за границу и взят под стражу. Лишь поручительство восьми знатнейших московских бояр, поклявшихся вы платить в казну 2 тысячи рублей в случае бегства Холмского за рубеж, вернуло князю свободу. Он целовал крест на верность Ивану III и, судя по всему, был полностью прощен.

Дружное заступничество московских бояр за выходца из тверской знати вполне объяснимо: Холмский уже давно жил в Москве и успел породниться с местной аристократией. Он был женат на дочери князя И. И. Заболоцкого - внука знаменитого московского боярина Ивана Всеволожского, ослепленного по приказу великого князя Василия II в 1433 году. Три сестры жены князя Холмского были замужем за виднейшими московскими боярами - С. В. Ряполовским, С. Б. Булгаковым и И. В. Булгаком-Патрикеевым (родным братом известного воеводы Даниила Щени). Одна дочь Холмского была замужем за боярином И. В. Ховриным, другая - за родным братом Ивана III князем Борисом Волоцким.

Осенью 1477 года Иван III вновь двинул огромное войско на Новгород. На сей раз он надеялся покончить с его вечевым строем и взять город под свою руку. С великим князем в поход отправились его братья Андрей Меньшой, Андрей Большой и Борис, касимовские татары во главе с царевичем Даньяром и ратники из многих русских городов. Путь Ивана III лежал через Волоколамск, Лотошино, Микулино городище, Торжок. Тверской князь Михаил Борисович приказал своим боярам сопровождать московское войско на его пути через тверские земли. Пробыв четыре дня в Торжке, Иван двинулся на Вышний Волочек, а оттуда пошел между торной Яжелбицкой дорогой и рекой Метой в сторону Новгорода. Здесь же, по левому берегу Меты, он приказал идти и полку, который возглавлял князь Холмский. В состав этого полка входили лучшие силы Ивана III - московские дворяне ("дети боярские"), а также владимирцы, переяславцы и костромичи.

Приблизившись к Новгороду, Иван III в местечке Полины определил боевой порядок своего войска. Передовой полк, авангард армии, он поручил брату, князю Андрею Меньшому. Не будучи вполне уверенным в военных способностях Андрея, Иван послал ему своих воевод - князя Холмского с костромичами, Федора Давыдовича с коломенцами, И. В. Оболенского с владимирцами.

Однако новгородцы не собирались сражаться с Иваном III в "чистом поле". Убедившись в том, что город придется брать длительной осадой, Иван послал вперед наиболее расторопных воевод, поставив им задачу: помешать новгородцам сжечь все пригородные села и монастыри и тем самым оставить москвичей без крова и без средств для "примета" к крепостной стене во время штурма. Этим делом поручено было заниматься воеводам передового полка, в том числе и Холмскому. Основной базой передового полка избрано было село Бронницы, расположенное на левом берегу реки Меты, верстах в двадцати восточнее Новгорода. Примечательно, что в перечне воевод передового полка летописец неизменно первым называет Холмского: он-то и был главным руководителем этой важнейшей части московского войска.

Из Бронниц передовой полк вскоре был направлен к самым стенам Новгорода. Вместе с другими силами он принял участие в окружении города. Маневр был выполнен стремительно и четко: московские воеводы прошли но льду озера Ильмень и в ночь с 24 на 25 ноября 1477 года почти одновременно внезапным нападением захватили княжескую резиденцию Городище близ Новгорода и все пригородные монастыри. Город оказался в кольце блокады.

Захватив монастыри, московские воеводы превратили их в свои штаб квартиры. Холмский расположился в Аркажском монастыре, на южной окраине Новгорода. Сам Иван III стал лагерем в Троицком Паозерском монастыре. В середине января 1478 года, не выдержав московской блокады, новгородцы приняли все условия, выдвинутые "государем всея Руси", Отныне новгородская феодальная республика превращалась в одну из областей Московского государства. Управление Новгородом и его областями - "пятинами", должны были осуществлять московские наместники. Все атрибуты вечевого строя и его административная система упразднялись.

Осенью 1479 года князь Холмский в составе свиты Ивана III вновь побывал в Новгороде. На сей раз ему не потребовалось извлекать меч из ножен: враждебные Москве новгородские бояре были слишком малочисленны и не имели сил для вооруженного сопротивления. Антимосковский заговор, вызвавший этот поход, был разгромлен сугубо "мирными" средствами - арестом и высылкой его руководителей.

Трудно найти какое-либо крупное событие военной истории России последней четверти XV века, в котором не был бы "замешан" князь Холмский. При его активном участии происходило и знаменитое "стояние на Угре", завершившееся окончательным свержением ордынского ига. Летопись сообщает, что именно Холмского в октябре 1480 года Иван III послал в качестве наставника и советника к своему сыну Ивану Молодому, стоявшему с полками на реке Угре, лицом к лицу с ордой хана Ахмата. Был момент, когда "государь всея Руси" дрогнул и приказал сыну отступить "от берега". Тот отказался выполнить отцовский приказ. Тогда разгневанный Иван III потребовал от Холмского силой захватить Ивана Молодого и доставить в Москву. Однако старый полководец нашел в себе мужество не исполнить этот гибельный для всего войска приказ. Он лишь попытался уговорить Ивана Молодого отправиться к отцу и помириться с ним. Но тот был настроен решительно. "Лучше мне здесь умереть, чем ехать к отцу", ответил он Холмскому. Войска остались стоять на занятом рубеже. Иван III вскоре одумался и начал действовать, исходя из плана обороны, который фактически навязали ему Иван Молодой и стоявший за ним Холмский. Итогом всех этих событий стала бескровная победа: 11 ноября 1480 года татары Ахмата отступили без боя. Роль Холмского в "стоянии на Угре" глубоко символична. Потомок казненных татарами князей-мучеников Михаила и Александра Тверского разрубил последние путы ордынского ига над Русью.

Не знаем, как отблагодарил Иван III своего полководца за отражение татар на Угре. Известно, что благодарность тиранов часто принимает весьма своеобразные формы. Во всяким случае он не лишил его главного, того, что составляло смысл жизни Холмского, - возможности глядеть на мир с высоты походного седла, слышать над собой шелест боевого стяга и ощущать себя надеждой и опорой целого народа.