Jacob da Silva Rosa was de zoon van Samuel da Silva Rosa en Sara Morpurgo. Op 4 januari 1912 trouwde hij met Helena Sarphatie. Het echtpaar kreeg twee dochters, Sara en Mina Felicitas.
Da Silva Rosa studeerde Klassieke Letteren aan de Universiteit van Amsterdam. Vanaf 1910 is hij assistent van David de Raphael Montezinos, oprichter-bibliothecaris van Ets Haim, de bibliotheek van de Portugees-Israëlietische Gemeente in Amsterdam. Na de dood van Montezinos in 1916 wordt Da Silva Rosa de bibliothecaris van Ets Haim.
Hij werkte verder als redacteur voor het Joodse weekblad De Vrijdagavond, later als hoofdredacteur.