少し硬い場合はスクレーパーかマイナスドライバー等で押すと動きやすいです。

ハンガー金具はビスで固定されています。
ビスで止まっている部分はミラーで隠れているのでハンガー金具を取りはずす場合は、ミラーも外す必要があります。

【ハンガー金具を使って壁にミラーを取り付ける方法】