「プログラムと機能」から「Windows の機能の有効化または無効化」をクリックして、表示された「Internet Explorer 11」をアンインストールすると、Internet Explorer そのものがなくなってしまいます。

「プログラムと機能」で「インストールされた更新プログラムを表示」をチェックして、その中にある「Internet Explorer 11」を右クリックして「アンインストール」を選択します。

アンインストールされた後は、OS再起動が必要です。

一度アンインストールした更新プログラムは、再度自動で適用されることはないらしいですが、Internet Explorer については、インストール無効化プログラムがあります。

Internet Explorer 11 自動配布の無効化ツールキット
http://www.microsoft.com/ja-jp/download/details.aspx?id=40722

適用方法は意外と面倒くさくて、自己回答形式ファイルを展開、その後コマンドプロンプトを「管理者として実行」後、以下のコマンドを入力します。

cd <展開したフォルダ>
ie11_blocker.cmd /B

参考

Windows 7 から IE 11 をアンインストールして IE 10 に戻す方法
http://fnya.cocolog-nifty.com/blog/2013/09/windows-7-ie-11.html