Принадлежал к "мятежной" стороне казаков, поднявших в 1772 г. восстание против старшинской верхушки, которая при поддержке царской администрации стремилась утвердить свою власть на
Яике, устранить старинные основы казачьего самоуправления и своекорыстно захватить в свои руки распределение войсковых доходов.
После поражения этого восстания Зарубин бежал из
Яицкого городка и в течение нескольких месяцев скрывался на глухих степных хуторах. С начала сентября 1773 он входил в группу казаков-заговорщиков (М.Г. Шигаев, Т.Г Мясников, Д.К. Караваев, М.А. Кожевников и др.), обсуждавших с Пугачевым, самозванно принявшим на себя титул "императора Петра Третьего", планы нового вооруженного выступления на Яике.
С первых дней восстания, начавшегося 17 сентября 1773, Зарубин находился в числе наиболее близких советников Пугачева, входил в его "Тайную думу", занимал командные посты в повстанческом войске, участвовал во взятии прияицких крепостей и боях под осажденным
Оренбургом. Вместе с атаманом
А.А. Овчинниковым он возглавлял пугачевские отряды, которые в боях 7-9 ноября у д. Юзеевой под Оренбургом нанесли поражение карательному корпусу генерала
В.А. Кара. В том же месяце Зарубин был послан на Воскресенский завод для организации производства пушек и снарядов.
В начале декабря Пугачев произвел его в сан "графа Чернышева" и отправил под Уфу для руководства находившимися там отрядами восставших. Объединив эти отряды (состоявшие из русских крестьян и казаков, башкир, татар и других слоев трудового населения) в 12-тысячное войско, Зарубин приступил к осаде Уфы, обороняемой гарнизоном и ополчением из отставных военных, казаков, дворян и посадских людей. В результате его энергичных действий в селе Чесноковке под Уфой образовался военный центр, осуществлявший руководство повстанческим движением на Урале, в Прикамье и Зауралье, дополнявший собою деятельность главной ставки Пугачева, находившейся в
Бердской слободе под Оренбургом.
Затянувшаяся борьба за Уфу не увенчалась успехом. В ходе четырехмесячной осады города отряды Зарубина не раз штурмовали его, врывались в предместья, но не смогли сломить сопротивления осажденных. Тем временем к Уфе приблизился подошедший с запада карательный корпус
И.И. Михельсона, который 24 марта 1774 атаковал Зарубина с его отрядами. Более четырех часов повстанцы отчаянно оборонялись, не раз бросались в контратаки, но не смогли устоять против фронтального и фланговых ударов, а затем ретировались, оставив на поле боя до 500 чел. убитыми, все пушки и потеряв до 7 тыс. чел. пленными.
Сам Зарубин со своими ближними (И.И. Ульяновым, И.В. Губановым, С.П. Толкачевым) и 20 казаками бежал к Табынску. Здесь 26 марта они были схвачены и переданы карателям. Зарубин содержался в тюремном заключении в Уфе, оттуда его доставили в Казань, где в течение нескольких дней допрашивали в Секретной комиссии . На допросах он держался с несгибаемым упорством и мужеством. Производивший дознание генерал
П.С. Потемкин доносил
Екатерине
II , что, несмотря на все увещевания и пытки, ему не удалось склонить Зарубина к раскаянию и добиться от него откровенных показаний. На требование Потемкина, чтобы Зарубин признал тяжесть своей вины, тот "дерзновенно" заявил, что все его помыслы и деяния "есть истинное служение Отечеству", направленное на защиту "нещастного государя" (т.е. Пугачева).
В ноябре 1774 Зарубин был отконвоирован в Москву, где производилось "генеральное" следствие над Пугачевым и ближайшими его сподвижниками. По приговору ("сентенции") от 9 января 1775 он вместе с Е.И. Пугачевым,
А.П. Перфильевым,
М.Г. ШигаевымТ.И. ПодуровымВ.И. Торновым был осужден на смертную казнь. Из Москвы Зарубина отконвоировали в Уфу, где и казнили 24 января 1775 .