En realidad se sabe muy poco de su infancia, ni siquiera es seguro el año de nacimiento, aunque se supone alrededor de 1154. Creció en el pequeño pueblo de Faucon, en la Provenza francesa, aunque en aquel tiempo su región pertenecía al Condado de Barcelona.
Con unos quince años sus padres lo enviaron a Paris para estudiar en la escuela de la catedral. Estudió con los mejores teólogos del siglo XII, sobre todo porque la escuela más famosa del momento era precisamente la de Paris, pero eso no dejaba a Juan contento, así que dejó la escuela de la catedral y se unió a la escuela de la abadía de San Víctor, donde enseñaba Ricardo de San Víctor, fundada por Hugo de San Víctor, que había transformado la teología describiendo la Trinidad como Amor y no como especulación filosófica.
El joven Juan no sabía lo que quería de su vida, es verdad que en aquellos tiempos todo el mundo hablaba de cruzadas, de recuperar los santos lugares a los musulmanes, de devolver al cristianismo su antigua gloria en el campo de batalla. Pero a Juan no le convencía ese estilo de hacer cristianismo. Cuando decidió ordenarse sacerdote pidió a Dios insistentemente que le diera una señal para saber qué hacer con su vida.
Celebró la primera Misa en Paris, acompañado por el obispo y el abad de san Víctor, y entonces, cuando consagraba el pan y el vino, sintió que Dios le llamaba a liberar, su visión se centraba en Cristo que liberaba por igual a un cristiano y a un musulmán. Esto dejó a Juan de Mata muy intrigado. ¿Cómo podía Cristo tratar igual a un musulmán y a un cristiano? ¿No eran acaso los musulmanes los que ocupaban el sepulcro de Cristo?
Para meditar bien todo esto se fue a pasar un tiempo a un lugar cercano a Paris, llamado Cerfroid, donde algunos ermitaños vivían solos y dedicados a la oración y la penitencia. Allí conoció a algunos de ellos e intercambió sus ideas y sueños. Entre otros destacó su amistad con Félix de Valois, el que más le animó para que comenzaran un nuevo camino en la Iglesia, haciendo ellos mismos aquello que Juan había intuido en la visión de su primera Misa.
Comenzaron a vivir juntos en una pequeña casa que les regalaron en aquel bosque de Cerfroid, era el año 1193. Cinco años después decidieron hacer más oficial la nueva comunidad, así que Juan de Mata viajó a Roma para pedir la aprobación del papa Inocencio III. El 17 de diciembre de 1198, el Papa no sólo aprobó la Orden de la Santísima Trinidad y de los Cautivos, sino que también dio a Juan de Mata una carta para el sultán de Marruecos, presentando su proyecto de redención. Después le regalaría una casa en Roma para que pudiera estar cerca de él una comunidad de estos religiosos, tan importantes en aquella época de cruzadas y guerras religiosas.
Lo único en lo que falló el Papa es que aquellos religiosos no querían saber nada de las cruzadas ni de las armas. Más bien se fueron haciendo famosos entre los mismos musulmanes por dedicarse a la misericordia sin mezclarse en otros temas que les enfrentaban a los cristianos.
No se sabe si Juan de Mata realizó algún rescate de cautivos. Según la tradición lo hizo en 1199, con la carta que le dio el Papa, pero no hay nada probado. Lo que sí se conoce es su gran actividad fundando nuevas comunidades, especialmente en Francia y España.
El 17 de diciembre de 1213 Juan de Mata murió en Roma, en la casa de Santo Tomás in Formis, en cuya fachada había mandado colocar tres años antes un gran mosaico representando la visión de su primera Misa. Unos quinientos años después, por avatares de la historia, sus reliquias viajaron a Madrid y en 1969 se depositaron en la iglesia de los trinitarios en Salamanca, donde aún se encuentran actualmente.
Su fiesta se celebra el 17 de diciembre.