توفى أبوه وأخوه السيد جعفر وعمره لم يتجاوز الثلاث سنوات وهو الوحيد في عائلته الذي نجا من الطاعون فنشأ ولم يسمع حوله إلّا التنهدات لما أصاب أسرته من جراء الوباء الجارف وما جره عليها من ويلات وقد انتهزت الأيدي الأثيمة هذه الفترة فامتدت الى البيت العريق وانتزعت تراثه العلمي والأدبي والمادي ممثلاً بمكتبة جده واثار آله العلمية والأدبية ولقد كان في بداية نشأته طموحاً عالي الهمة فنشط في الدرس والتحصيل حتى بلغ منهما مبلغاً عظيماً جعله من أجل العلماء الذين يشار اليهم مجددا بذلك أمجاد أسلافه باعثاً لكيانهم العلمي والأدبي فوفق في ذلك غاية التوفيق وها هو خالد بآله آل الصافي وقد أعقب العلامة السيد الصافي ولدين علمين وجيهين وشاعرين هما المقدس العلامة السيد محمد وأخوه حجة الاسلام السيد علي وهما أبوا هذه الأسرة.