HTTPWebResponse + StreamReader очень медленный

HttpWebRequest может занять некоторое время, чтобы определить ваши настройки прокси-сервера. Попробуйте добавить это в конфигурацию вашего приложения:

<system.net>
  <defaultProxy enabled="false">
    <proxy/>
    <bypasslist/>
    <module/>
  </defaultProxy>
</system.net>

Вы также можете увидеть небольшой прирост производительности за счет буферизации ваших операций чтения, чтобы уменьшить количество вызовов, выполняемых к базовому сокету операционной системы:

using (BufferedStream buffer = new BufferedStream(stream))
{
  using (StreamReader reader = new StreamReader(buffer))
  {
    pageContent = reader.ReadToEnd();
  }
}

DownloadString WebClient — это простая оболочка для HttpWebRequest, не могли бы вы попробовать использовать ее временно и посмотреть, улучшится ли скорость? Если все станет намного быстрее, не могли бы вы поделиться своим кодом, чтобы мы могли посмотреть, что с ним не так?

ИЗМЕНИТЬ:

Кажется, HttpWebRequest наблюдает за параметром «максимальное количество одновременных подключений» IE, эти URL-адреса находятся в одном домене? Вы можете попробовать увеличить лимит подключений, чтобы увидеть, поможет ли это? Я нашел эту статью о проблеме:

По умолчанию вы не можете выполнить более 2-3 асинхронных HttpWebRequest (зависит от ОС). Чтобы переопределить его (самый простой способ, ИМХО), не забудьте добавить этот раздел в конфигурационный файл приложения:

<system.net>
  <connectionManagement>
     <add address="*" maxconnection="65000" />
  </connectionManagement>
</system.net>

У меня была та же проблема, но когда я установил для параметра Proxy HttpWebRequest значение null, это решило проблему.

UriBuilder ub = new UriBuilder(url);
HttpWebRequest request = (HttpWebRequest)WebRequest.Create( ub.Uri );
request.Proxy = null;
HttpWebResponse response = (HttpWebResponse)request.GetResponse();

Вы пробовали ServicePointManager.maxConnections? Я обычно устанавливаю его на 200 для вещей, подобных этому.

У меня была такая же проблема, но хуже. ответ = (HttpWebResponse) webRequest.GetResponse(); в моем коде задержалось примерно на 10 секунд, прежде чем запустить дополнительный код, и после этого загрузка переполнила мое соединение.

ответ Курта defaultProxy enabled="false"

решил проблему. теперь ответ почти мгновенный, и я могу загрузить любой http-файл на максимальной скорости моего соединения :) извините за плохой английский

Я обнаружил, что метод Application Config не работает, но проблема по-прежнему связана с настройками прокси-сервера. Мой простой запрос раньше занимал до 30 секунд, теперь он занимает 1.

public string GetWebData()
{
            string DestAddr = "http://mydestination.com";
            System.Net.WebClient myWebClient = new System.Net.WebClient();
            WebProxy myProxy = new WebProxy();
            myProxy.IsBypassed(new Uri(DestAddr));
            myWebClient.Proxy = myProxy;
            return myWebClient.DownloadString(DestAddr);
}

Спасибо всем за ответы, они помогли мне копать в правильном направлении. Я столкнулся с той же проблемой производительности, хотя предложенное решение для изменения файла конфигурации приложения (как я понял, это решение для веб-приложений) не соответствует моим потребностям, мое решение показано ниже:

HttpWebRequest webRequest;

webRequest = (HttpWebRequest)System.Net.WebRequest.Create(fullUrl);
webRequest.Method = WebRequestMethods.Http.Post;

if (useDefaultProxy)
{
    webRequest.Proxy = System.Net.WebRequest.DefaultWebProxy;
    webRequest.Credentials = CredentialCache.DefaultCredentials;
}
else
{
    System.Net.WebRequest.DefaultWebProxy = null;
    webRequest.Proxy = System.Net.WebRequest.DefaultWebProxy;
}

Почему многопоточность не решает эту проблему? Многопоточность сведет к минимуму время ожидания в сети, а поскольку вы будете хранить содержимое буфера в системной памяти (RAM), не будет узких мест ввода-вывода при работе с файловой системой. Таким образом, ваши 82 страницы, загрузка и анализ которых занимает 82 секунды, должны занимать около 15 секунд (при условии 4-кратного процессора). Поправьте меня, если я что-то упустил.

____ СКАЧАТЬ ТЕМУ_____*

Загрузить содержимое

Формировать поток

Читать содержимое

_________________________*

Попробуйте добавить cookie(AspxAutoDetectCookieSupport=1) к вашему запросу следующим образом

request.CookieContainer = new CookieContainer();
request.CookieContainer.Add(new Cookie("AspxAutoDetectCookieSupport", "1") { Domain = target.Host });