Tổ Phi Lai họ Nguyễn, là người Duy Xuyên (Quảng Nam), xuất thân trong gia đình nhiều đời làm quan. Bản thân ngài cũng làm quan Hậu Bố tại hạt Khánh Hòa khi mới 18 tuổi (1878). Tuy có tài kinh lược nhưng ngài vẫn không thích thú làm quan như truyền thống gia đình.