据张居正的记载，张关保是一个非常忠厚老实的人，一直踏踏实实地做一名小兵，以至于在徐达以及汤和做了开国元勋后的很长一段时间内，张关保还一直是徐达麾下的小兵。后来，张关保在一次战役中立下了军功并得到了封赏。那是在一次渡江战役中，徐达及其麾下成员的目的是要占领采石矶，在攻占的过程中，张关保非常英勇，率先冲入敌阵勇猛杀敌，最后成功地占领了采石矶。战役结束后，张关保得到了封赏。在后来的战役中，他又屡屡立功，受到了非常多的封赏。张居正在《先考观澜公行略》中也为张太保的功绩感到自豪。张居正说：“张关保，国初以军功授归州安御千户。”就这样，张关保因军功而被授予了军职并分配到了荆州府的归州，也就是现在的湖北秭归。
当时的明朝实行军分区的军事制度，和现在的军分区是一个性质，就是在各府的要地设立卫，而卫就是指整个的一个军分区。卫下设立五个千户，每个千户直接管辖一千二百多人。由此看来，当时的地方军事将领的势力非常大。另外，那个时候千户是一种世袭的荣耀，可以代代相传。而张关保的千户荣耀只传到了后辈第四代，到了张居正那一代便更无缘了。