Siempre que tienes que modificar alguna característica de tu Web App a nivel de servidor puede ser bastante tedioso trabajar directamente con el archivo Web.Config del sitio, con el riesgo de equivocarte al modificar o añadir alguna de las secciones. Por ello, te recomiendo que utilices IIS Manager para llevar a cabo esta tarea, con el que te puedes conectar de forma remota siguiendo estos pasos:

En este caso se presupone que ya tienes instalado IIS en tu máquina local y Web Deploy. De no ser así, deberías ir a  Program and Features y en Turn Windows features on or off seleccionar la opción Internet Information Services.

Y por otro lado, descargar la herramienta Web Deploy desde aquí.
Con la instalación básica sólo podrás conectarte a aquellos sitios web que estén hospedados en tu máquina local. En este caso, como necesitamos acceder a un sitio que se encuentra en Microsoft Azure, es necesario además instalar IIS Manager for Remote Administration sobre tu IIS Manager local. Una vez instalado aparecerá bajo el menú File la posibilidad de conectarte a un sitio remoto.

Como es lógico, lo primero que te pide el asistente es la URL del sitio de administración (Kudu) y un nombre descriptivo para el sitio:

Al tratarse de la configuración del servidor, necesitas proporcionar las credenciales. Éstas no son las de acceso al FTP sino las que se utilizan para el despliegue desde Visual Studio. Las mismas puedes encontrarlas en el Dashboard de la Web App, seleccionando la opción More > Get publish profile

Abre el archivo XML y copia el atributo userName y userPWD para pegarlos en el asistente.

Una vez que IIS Manager tenga acceso a la Web App te mostrará todas aquellas características utilizadas en el sitio que son necesarias instalarlas en local.

A partir de este momento podrás gestionar todas las características de tu Azure Web App desde IIS Manager.

¡Saludos!