Cụ tổ là Ngô Quý Công: Cụ Công làm quan võ triều Lê. Do đi sứ về bị triều đình lệnh tru di, phải cùng em là Ngô Văn Tảo trốn vào Hưng Yên lập nghiệp. Có bài thơ rằng:
Nhị đại tổ:

Đại hành chính thống thứ Mười
Ngày 21 tháng 10 giờ thân (1)
Chệnh niềm về việc tư nhân
Đặt làm gia phả hậu nhân được tường
Quê xưa ở tỉnh Hà Đương(2)
Phù Yên là xã, huyện Chương Phủ hoài(3)
Gia tiên ngày trước khác người
Lê triều phụng sứ là người họ Ngô(4)
Thông minh chính tuệ có thừa
Nhâm cầm độn toán mưu mô ai tầy
Sơn hà một gánh cầm tay
Diệt thù chưa định được ngày lập công
Chung riêng chưa thoả tấm lòng
Phải cùng Hiền đệ (3) lộ hành xa quê
An cư Hiền đệ lai gia
Giữ đường gặp nạn(6) em đà quy tiên.

Chú thích:
1- Cụ Ngô Quý Công cùng với em trai là Ngô Văn Tảo ra đi lúc gần sáng ngày 21/10
2- Hà Đông cũ.
3- Thôn Phù Yên, xã Viên An, huyện Chương Mỹ (nay là ứng Hoà), tỉnh Hà Tây
4- Làm quan đời Lê, có đi sứ sang Tàu.
5- Em trai
6+7- Cụ Công có gia đình ở quê mới (Hưng Yên) thì cho em trai về báo tin cho quê cũ, nhưng giữa đường (Quán Gánh) thì bị cảm chết, đã cải cát đưa về an táng tại quê gốc.