ソケットがいったん切断されると、非同期でのみ再び受け取ることができます。操作が完了するまで終了しないスレッド上で BeginAccept を呼び出さなければなりません。

Once the socket has been disconnected, you can only accept again asynchronously. BeginAccept must be called on a thread that won't exit until the operation has been completed.