¿Qué son las máscaras?

Las máscaras son imágenes, generalmente en blanco y negro, o escala de grises en el que, al aplicarla a la composición de una imagen a través de dos o más imágenes superpuestas, uno de los dos colores deja ver totalmente la imagen que se encuentra en un segundo plano mientras que la región de la máscara coloreados con el otro color sean opacos y por lo tanto, se vea la imagen superior.

Dicho de otra manera: una máscara lo que hace es que unas partes de una imagen sean opacas y otras transparentes. En las zonas opacas se verá la imagen superior y en las zonas transparentes se verá la imagen inferior. 

Y cuando hay más colores que el blanco y el negro, los tonos medios serán más o menos traslúcidos  dependiendo si se acercan al color transparente o al color opaco. 

¿Cómo aplica ImageMagick las máscaras?

Cuando componemos una imagen con composite, el orden de las imágenes es de arriba a abajo, es decir, la primera imagen que le indiquemos será la superior y la segunda imagen,será la capa inferior. 
Y cuando usemos una máscara, esta deberá ser la última imagen indicada. 
Respecto al color opaco y transparente, el blanco será el color opaco y el negro, el color tranparente. 

Ejemplo de uso

Como una imagen vale más que mil palabras, vamos a ver cuatro imágenes. Que, por una sencilla regla de tres, valdrá más que cuatro mil palabras:

Hacemos dos imágenes planas para que se vea claro, una roja y otra azul:

convert -size 300x150 xc:red rojo.png
convert -size 300x150 xc:blue azul.png

Y una imagen blanca y negra que será la que usemos como máscara:

convert -size 150x150 xc:white xc:black +append mascara.png

Y ahora vamos a comprobar cómo trabaja composite con máscaras poniendo en primer plano la imagen roja, en segundo plano la azul y usando la máscara:

composite rojo.png azul.png mascara.png imagenconmascara.png