当采集中的url包含%2F时


请的一次信息抓取的时候,URI中包含%2F,但在URI虽包含的%2F的都转成/,如web.com/%2F 显示的是web//,导致地址出错。有时候如worda%2Fwordb,代表一个关键词,而转换后worda/wordb,成目录了,2次编码也能解决,,很显然,URI把地址给转换或者说是标准化了,但有时候却不对,具说之方法是作者在stackoverflow中找到解方法的。

解决方法:

static void ForceCanonicalPathAndQuery(Uri uri)

{

string paq = uri.PathAndQuery; // need to access PathAndQuery

FieldInfo flagsFieldInfo = typeof(Uri).GetField("m_Flags", BindingFlags.Instance | BindingFlags.NonPublic);

ulong flags = (ulong)flagsFieldInfo.GetValue(uri);

flags &= ~((ulong)0x30); // Flags.PathNotCanonical|Flags.QueryNotCanonical

flagsFieldInfo.SetValue(uri, flags);

}

调试:

Uri uri = new Uri("xxx.com/%2F");
ForceCanonicalPathAndQuery(uri);

 

希望有其它方法...


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM