Родился Я.М. Терентьев в 1897 году в Казани в семье бедного крестьянина-батрака. Занимаясь самообразованием, в 1913 году экстерном окончил высшее начальное училище.
В 1915-1917 годах - участник первой мировой войны, получил офицерское звание. В 1918 году добровольно вступил в Красную гвардию в роли организатора частей Красной гвардии и Красной Армии. С 1919 года стал членом партии большевиков (РКПб). В начале 1932 года при начальнике вооружений РККА М.Н. Тухачевском был создан специальный сектор по руководству большим количеством образовавшихся особых конструкторских бюро, экспериментальных баз, полигонов, в том числе и ГДЛ (Газо-динамической лаборатории) в Ленинграде и группе изучения реактивного движения (ГИРД) в Москве. Начальником сектора назначили Я.М. Терентьева. С 1932 года там испытывали и разрабатывали более 15 видов военного оружия.
17 августа 1933 года коллективом ГИРДа была запущена первая ракета с жидкостным двигателем конструкции М.К. Тихонравова. В 1938 году Якова Матвеевича арестовали и больше двух лет он содержался в Таганской и Бутырской тюрьмах, потом был осужден на пять лет исправительно-трудовых лагерей. После освобождения из лагеря в 1946 году, Терентьев работал начальником буро-взрывных работ и старшим инженером Чаун-Чукотского горно-промышленного управления и Геолого-разведочного управления до 1953 года. В 1953 году переехал в Ульяновку. Через два года Яков Матвеевич получил реабилитацию. И его восстановили в партии и в звании генерал-майора.
11 августа 1965 года в Ульяновку к Якову Матвеевичу приезжал Сергей Павлович Королев, а в 26 декабря 1981 года космонавт В. Савиных, который вручил Я.М. Терентьеву медаль С. П. Королева. Скончался Я.М. Терентьев в 1983 году.