羽沢 仁 
長方形選択ツールを起動する
- ツールバーの「長方形選択ツール」をクリックします。
- オプションバーは新規選択、ぼかし：0px、スタイル：標準と設定します。
- 長方形選択ツールで選択する部分を指定します。
選択範囲の境界を滑らかにする
メニューバーの「選択範囲」＞「選択範囲を変更」＞「滑らかに…」をクリックします。
半径を設定してOKボタンをクリックします。
確認
選択範囲の境界が丸まりますが、さらに右下の「マスクの追加」ボタンをクリックします。
そうするとつぎのように確認することができます。
参考書
僕は旧版の書籍で学びましたが、新版が出ているようなので、そちらの書籍のリンクを張っておきます。