En 1498 el número de huérfanos en las calles de Valencia había aumentado en exceso, por lo que se tomó la decisión de convertir la casa natalicia de san Vicente Ferrer y el convento de santo Domingo como sedes complementarias de la institución, que por aquel entonces se conocía como "Colegio de huérfanos de san Vicente Ferrer" (Espital dels Orfens de Sanct Vicent Ferrer).

En 1540 la protección asistencial de los beguines había decaído, por lo que un grupo de caballeros recoge el testigo asistencial y crean la "Cofradía del buenaventurado san Vicente Ferrer" o "Cofradía de los huérfanos de san Vicente". En 1547 fueron aprobadas las primeras ordenanzas, pero en 1593 los administradores del colegio fueron acusados de una mala administración, por lo que el rey Felipe II suprime la cofradía de san Vicente Ferrer y nombra una junta de gobierno formada por tres miembros: un canónigo de la catedral, un jurado de la ciudad y un administrador del Hospital General de Valencia. Los tres miembros elegían a su vez a un clavario que era el encargado ejecutivo del gobierno de la institución.

En 1624 el rey Felipe IV hace donación a la institución del edificio conocido desde antiguo, como "Colegio imperial Nuestra Señora de la Misericordia", donde se daba educación a hijos de moriscos, por lo que también era conocido como colegi dels morets, institución creada en 1545 por el rey Carlos I de España. Este colegio estaba situado en la actual calle de Lauria cruce con la calle Colón (donde hoy se levanta un Corte Inglés). Con la expulsión de los moriscos en 1609 el edificio se encontraba vacío y era un lugar adecuado para acoger la institución vicentina. El edificio era conocido como la casa del emperador, ya que según se afirmaba, el colegio se construyó sobre una casa propiedad del emperador Carlos I de España (V de Alemania). Será a partir de este momento cuando el colegio tome el nombre de "Colegio imperial de niños huérfanos san Vicente Ferrer" denominación que sigue manteniendo en la actualidad.

Los ingresos y gastos del colegio eran anotados en el "libro de la clavería". Además existía un registro de ingresos de huérfanos donde se anotaban los nombres de los niños (niños y niñas por separado) acogidos en la institución y donde además se anotaban los progresos y anotaciones que tuvieran a bien hacer los maestros. Los ingresos debían ser aprobados por la junta de gobierno. Los registros de los huérfanos se realizaban por nombre y apellidos, además se hacía constar el nombre de los padres, la fecha de nacimiento, de bautismo y la fecha de acogida en el colegio. En notas al margen se podían poner anotaciones como los apodos, los nombres de pila, oficio etc.

Con la creación en 1837 de la "Junta municipal de beneficencia de Valencia", la estructura del colegio sufre cambios, entre ellas tal vez la más importante la inclusión en la junta de gobierno del alcalde de la ciudad.

La educación consistía básicamente en enseñar a leer y a escribir, enseñanza de un oficio según aptitudes, siempre bajo la óptica de una moral cristiana. Los escolares se encontraban bajo la tutoría de un maestro y una mujer conocida con el nombre de "madre de los niños" que era un referente de las figuras del padre y de la madre. La enseñanza de leer y escribir a niñas ya había comenzado en el siglo XVIII, fecha muy temprana si tenemos en cuenta que el resto de las instituciones públicas no empezaron esta labor hasta bien entrado el siglo XIX. La edad límite en la que podían permanecer en la institución eran los veinte años, a partir de esta edad, los jóvenes tenían que salir del colegio y ganarse la vida por su cuenta.

Hasta prácticamente el siglo XIX los únicos ingresos que tenía el colegio eran las limosnas. La petición de limosnas la realizaban los propios huérfanos (limosneros) en iglesias, mercados, casas etc. y estaban supervisadas por un responsable del colegio para evitar abusos y engaños. A los limosneros se les expedía un certificado donde se hacía constar su condición de alumno del "colegio imperial" y la autorización para pedir limosna y donde. (Carta monitoria de hermandad).

En 1968 el edificio que amenazaba ruina fue demolido y el colegio se trasladó hasta la cercana población de San Antonio de Benagéber, donde en 1977 quedo inaugurado el nuevo edificio, y donde a día de hoy aún continua prestando función educativa, aunque alejada de la función asistencial.

La existencia de la fiesta de los niños de la calle de san Vicente, se debe precisamente a la antigua tradición de cuando el colegio se encontraba ubicado en la plaza de san Agustín-calle san Vicente. Por entonces se hacía una procesión desde el colegio y se hacia una representación teatral conocida como los miracles de sant Vicent. Conviene precisar que no hay que confundir la calle de san Vicente Mártir, con san Vicente Ferrer creador del colegio.