La opción A es a mano desde la BDD de MySQL, exporta el script de la bdd y sustituir la url y volver a importar este fichero.
La opción B es con un plugin que facilite el trabajo, el más sencillo y efectivo: Better Search Replace by Delicious Brains
Una vez instalado lo lanzamos desde Herramientas:
Escribes la cadena de búsqueda y sustitución, y reemplazas, así de sencillo, seleccionas primero todas las tablas de la bbdd