Situada en el centro de California, la Misión de San Luis Obispo de Tolosa lleva el nombre de San Luis, obispo de Toulouse, y fue fundada en quinto lugar de la cadena el 1 de septiembre de 1772 por el padre Junípero Serra. La misión se fundó tres años después de que los padres descubrieran por primera vez La Cañada de Los Osos -el Valle de los Osos- durante un viaje fallido desde San Diego en busca de Monterrey.
Cuando los suministros disminuyeron en 1772 en las cuatro misiones ya establecidas de California, los residentes se vieron acosados por la escasez de alimentos. Recordando el Valle de los Osos, se envió una expedición de caza en el verano de 1772 para traer carne. Los indios locales estaban agradecidos a los soldados por haber matado a los osos, un enemigo temido. Parte de la carne se intercambió con la población local a cambio de semillas comestibles, tras lo cual el padre Serra decidió que La Cañada de Los Osos sería un lugar ideal para la quinta misión. Aunque la ciudad de San Luis Obispo no se ha mantenido como un país de osos escarpados, una estatua de un oso pardo se asienta como recordatorio en la plaza de la misión.
En 1776, cuatro años después de su fundación, un indio disparó una flecha en llamas sobre el tejado de uno de los edificios de la misión, iniciando un desastroso incendio que dañó gravemente varios edificios. Después de este incidente, los padres comenzaron a trabajar en la fabricación de tejas a nivel local, para reducir la susceptibilidad al fuego.
A medida que la ciudad se modernizó, también lo hizo la misión. Lo que antes era el comedor de los padres es ahora este centro juvenil. La Misión de San Luis Obispo es una de las únicas misiones que nunca tuvo que reubicarse; sigue en pie en su emplazamiento original.
Los muros de la misión, de entre 15 y 18 metros de altura, se construyeron según la ley del Vaticano. Esta ley establecía que las iglesias debían construirse tan altas como el árbol local, en este caso, el pino. La iglesia, con una larga nave secundaria, forma una iglesia en forma de L, la única de este tipo entre las misiones de California.
El padre Luis Antonio Martínez, que dirigió la misión durante 34 años, cultivó un gran viñedo en la misión. Vendía parte de este vino a las otras misiones cuando no podían cultivar el suyo, y también lo exportaba hasta Inglaterra y Rusia.