Родился 1 августа 1870 года в селе Николаевская Тума Касимовского уезда Рязанской губернии в семье пономаря местной церкви Михаила Гавриловича Рябцева и его жены Марии Тимофеевны. 6 августа того же года был крещён в честь апостола Матфия.
С 1880 по 1885 год обучался в Касимовском духовном училище, затем поступил в Рязанскую духовную семинарию.
По окончании в 1891 году семинарии по первому разряду был назначен учителем и регентом в двухклассную приходскую школу в село Полянки Пронского уезда Рязанской губернии.
В 1893 году был назначен псаломщиком в храм села Николаевская Тума Касимовского уезда, получив должность своего отца, а также учителем и законоучителем в местную двухклассную церковно-приходскую школу.
В 1894 году по своему желанию остался только учителем школы, так как отец вернулся к своей должности.
В 1895 году обвенчался с Любовью Павловной и 22 мая того же года был рукоположен во священника к Димитриевскому храму в селе Горлово Скопинского уезда. Но поскольку здесь не было свободного места по штату, 27 мая того же года был назначен служить в храм в селе Макшеево Егорьевского уезда (ныне Коломенский район) и заведующим и учителем местной школы.
В 1903 и в 1905 годах избирался депутатом на училищный и епархиальный съезды. В 1905 году нёс послушание противораскольнического миссионера по 1-му Егорьевскому благочинию.
2 сентября 1905 года был назначен служить в Вознесенский собор города Касимов.
С 1906 по 1910 год - заведующий Касимовской одноклассной церковно-приходской школой и законоучитель в ней. С 1906 года, кроме того, состоял законоучителем и учителем латинского языка в городской мужской гимназии.
Когда началась Первая мировая война и в городском лазарете были размещены раненые воины, то отец Матфий стал служить и в городском лазарете и духовно окормлять раненых.
В семье отца Матфия и его супруги Любови Павловны в это время было шестеро детей: Анатолий, Виктор, Борис, Серафим, Евгений, Нина.
1 ноября 1918 года во время митинга мобилизованных в городе Касимове выстрелом из толпы был убит выступающий перед ними военный комиссар Илюшкин. Это стало поводом к началу восстания в уезде. Мобилизованные, разойдясь по волостям, поднимали крестьян против новой власти. Волнениями было охвачено 9 волостей. Подавление восстания сопровождалось расстрелами.
Было отдано распоряжение об аресте священника. Причины ареста называют разные. Одна из них якобы, заключалась в том, что отец Матфий укорял за жестокость комиссара, который впоследствии и расстрелял его. Другая причина – священник порицал власти за расстрел касимовцев у собора. Третья и наиболее вероятная версия – отца Матфия, авторитетного священника, уважаемого в городе человека, новая богоборческая власть решила убрать.
Солдаты, пришедшие арестовать отца Матфия, предложили ему спрятаться, с тем, чтобы своему начальству доложить, что не застали его дома. Но священник не согласился и решил идти с ними на казнь.
В числе других приговоренных к смерти, священник был расстрелян у стены городского кладбища. Солдаты отказались стрелять, и тогда сам предводительствующий отрядом карателей, большевистский комиссар по фамилии Кокорев (в честь него была позже переименована улица, которая ведет к кладбищу), расстрелял священника. Трупы расстрелянных перебросили через ограду кладбища, где потом они и были захоронены. На его могиле надпись: "Протоиерей соборной церкви Рябцев о. Матфей". Отец Матфий не был протоиереем, но человеческая любовь возвела его в этот сан.
Известно, что комиссар, который расстрелял отца Матфия, смертельно заболел уже в 1919 году злокачественной волчанкой и попал в больницу. Лицо его было изуродовано страшными язвами. Когда ему сделали трепанацию черепа, гной был обнаружен и в головном мозге. Болезнь была настолько мучительна, что он кричал от боли и, осознавая, по-видимому, что эти страдания ему посланы за тяжкие грехи, кричал: "Отец Матвей, прости меня!". Однако по воспоминаниям старых касимовских священников, убийца так и не смог покаяться приглашенному к нему родственниками священнику Григорию Отрадину, находясь в бреду и явно не понимая происходящего.
Священник Матфий Рябцев причислен к лику святых новомучеников и исповедников Российских на Архиерейском Соборе Русской Православной Церкви 2000 года для общецерковного почитания.
