Короче отвечу сам себе!
Леонид, переводи и клиентский сокет в неблокирующий режим и будет тебе счастье!