長方形選択ツールを起動する
- ツールバーの「長方形選択ツール」をクリックします。
- オプションバーは新規選択、ぼかし:0px、スタイル:標準と設定します。

- 長方形選択ツールで選択する部分を指定します。

選択範囲の境界を滑らかにする
メニューバーの「選択範囲」>「選択範囲を変更」>「滑らかに…」をクリックします。

半径を設定してOKボタンをクリックします。

確認
選択範囲の境界が丸まりますが、さらに右下の「マスクの追加」ボタンをクリックします。

そうするとつぎのように確認することができます。

参考書
僕は旧版の書籍で学びましたが、新版が出ているようなので、そちらの書籍のリンクを張っておきます。