お客様側から退会手続きをできないようにしたい

マイページの「会員解除」画面で退会ボタンを表示させないことで、
会員側から退会できなくすることが可能です。

デザイン管理＞テンプレート編集＞退会手続き
こちらのテンプレートで、該当の記述を編集してください。

なおボタンを非表示にする場合、問い合わせフォームへのリンクを設置するなど
代替手段をご用意されることをお勧めします。