Ông làm quan từ đời vua Lê Thái Tổ (1428-1433), dưới triều Lê Nhân Tông, ông giữ chức Điện tiền đô chỉ huy sứ. Sau khi Lạng Sơn Vương Nghi Dân tiếm ngôi, năm Canh thìn (1460), ông cùng các đại thần phế Nghi Dân và đưa Bình Nguyên Vương Tư Thành lêm làm vua ( tức là Lê Thánh Tông). Năm này, ông đưa người con gái thứ hai là Nguyễn Thị Ngọc Hằng vào cung và sau này là me vua Lê Hiến Tông. Năm Đinh hợi (1467) ông dẹp yên giặc ở trấn Yên Bang. Năm Canh dần (1470), ông phò xa giá đánh Chiêm Thành, trận này quân ta đại thắng. Ông là một lão tướng có công trạng, lại có con gái sinh ra Hoàng Thái Tử nên rất được nhà vua vị nể. Ông được phong là Thái Úy Triènh Quốc Công.

                    Ông mất ngày 11 tháng 8 năm Đinh dậu (17-9-1477) (có phả chép ngày mất của ông là mồng 2 tháng 8).

                    Ông có 6 người con trai là Nguyễn Hữu Vĩnh, Nguyễn Công Toản, Nguyễn Công Độ, Nguyễn Công Chiêu, Nguyễn Công Nghị và Nguyễn Công Hòa và sáu người con gái là Nguyễn Thị Liên, Nguyễn Ngọc Hằng, Nguyễn Thị Du, Nguyễn Thị Diễn, Nguyễn Thị Tú, Nguyễn Thị Dịch, Nguyễn Thị Túc và Nguyễn Thị Đường.