powershell Invoke-WebRequest Invoke-RestMethod 乱码 encoding sharset CharacterSet
Invoke-WebRequest和Invoke-RestMethod 爬部分网址会乱码。这个问题很久了，很多人知道。
似乎从有这两个命令的时候起，就有这个问题，至今已经4年有余了，但没人知道原因。或许是没人关注它。
其实这个问题并不难，经我研究，找出了原因，指出了解决方案。
但我当时片面地认为，这有可能和linux的http服务器有关，但后来发现，
http://www.msn.com 是iis网站，微软官方网址，这个网址也有此乱码现象，
最后才确定了这是Invoke-WebRequest Invoke-RestMethod，这两个命令的bug。
才敢给微软提交bug，这个乱码最终的消除，还是要靠微软。
powershell 传教士 原创文章 2016-05-01 允许转载，但必须保留名字和出处，否则追究法律责任
2017-02-10更新： 参见下面的bug报告，由于我报告bug时，只给出了utf8的例子，现在ps5.1版中，发现utf8的bug已经修复了，但gb2312的还没修复。
------------【第一章 编码知识点】-----------------
编码类型，和编码值，是不可分割的一对。所有乱码的产生，是由于只知道编码值，而不知道编码类型！ 如：
编码值【70 00 73 00 20 4F 59 65 EB 58】 和 编码类型【utf16】 结合起来，才知道，上述内容是【ps传教士】。
这也是微软发明，在文本中使用【bom头】的原因。
【bom头】【bom头】，有头无乱码！
【bom头】【bom头】，用的人多的牛x文本编辑器，都支持【bom头】，如vi，gedit等。
我以前遇到的某些烂人，怪人。他们很讨厌，微软使用的文本【bom头】，非要不用。非要用某些野路子的奇技淫巧猜测编码。 那么将导致:
1）必然有一定的猜错几率。此乃故意给自己乱码吃。
2）某些文档，如html，可能是多种编码组合的。或许在【<>】中就使用了单独的charset编码。在这种单文件多编码情况下，猜错几率更多。
3）不用【bom头】的.py文档，必然要用 coding：之类的。它们是同一种东西，都是编码类型的标识。
有能耐你别用【bom头】，也别用【coding】，纯猜！脚本编码未知，解析中文注释报错，导致的运行不了 活该！ 宁可py脚本不能运行，也别用【bom头】和【coding】
【bom头】只解决了，纯文本文件的乱码。传输字符串的时候，也必须跟着编码类型。一旦编码类型丢失或未知，将产生乱码。
--------------------【第二章 序】--------------------
（PowerShell中的）两只爬虫，两只爬虫，跑地快，爬网页不赖~~~
一只基于com版的ie，一只基于.net中的WebRequest类，都是老奶奶，不奇怪 。。。
虽然很老了，但爬的也很快 。。。
如果你的系统是win8，或者win8以上，或者win7安装了powershell 4.0，5.0，那么 powershell中自带了这样的两个命令，【Invoke-WebRequest】和【Invoke-RestMethod】。 第一个命令返回的是对象，第二个返回的是（整个网页）字符串。
这两个命令有时候会返回乱码，很长一段时间，我认为，是这个命令有解码bug，但后来发现，把结果用其自带的-outfile参数输出到文件之后，编码是正确的。 也就是说，其实是我们不知道怎么解码。只能用写入磁盘的慢方法。
后来我看了博客园友【昵称：老马说编程】的这两篇帖子，琢磨出来的，感谢他！ 也请大家先看看这两篇乱码修复类文章。
http://www.cnblogs.com/swiftma/p/5420145.html
http://www.cnblogs.com/swiftma/p/5430007.html
------------【第三章 正文】-----------------
乱码命令版本：
所有版本的powershell。
乱码原因：大概90%以上都是这种问题。
网页编码为utf8，但是接收到编码后，把网页源码，编码类型认错误了，或者说丢失了。 把utf8编码网页源码，错误地认为是iso8859-1编码类型的编码，把此utf8再次转换成了utf8，然后给我们呈现了。
bug重现powershell命令：
Invoke-WebRequest -Uri 'http://www.msn.com' # return chinese messy code (Invoke-WebRequest -Uri 'http://www.msn.com').BaseResponse.CharacterSet # utf8 web page,but return ISO-8859-1 Invoke-RestMethod -Uri 'http://www.msn.com'
修复办法： 对上述编码进行逆转换。
bug修复powershell命令：
$utf8 = [System.Text.Encoding]::GetEncoding(65001) $iso88591 = [System.Text.Encoding]::GetEncoding(28591) #ISO 8859-1 ,Latin-1 $wrong_string = Invoke-RestMethod -Uri 'http://www.msn.com' $wrong_bytes = $utf8.GetBytes($wrong_string) $right_bytes = [System.Text.Encoding]::Convert($utf8,$iso88591,$wrong_bytes) #仔细看这里 $right_string = $utf8.GetString($right_bytes) #仔细看这里 write-host $right_string
gbk乱码的解决：网页源码声明了gb2312，浏览器打开正常，但powershell识别不正常的解决。
$gbk = [System.Text.Encoding]::GetEncoding(936) $utf8 = [System.Text.Encoding]::GetEncoding(65001) $iso88591 = [System.Text.Encoding]::GetEncoding(28591) #ISO 8859-1 ,Latin-1 $wrong_string = Invoke-RestMethod -Uri 'http://1212.ip138.com/ic.asp' $wrong_bytes = $utf8.GetBytes($wrong_string) $right_bytes = [System.Text.Encoding]::Convert($utf8,$iso88591,$wrong_bytes) #仔细看这里 $right_string = $gbk.GetString($right_bytes) #仔细看这里 write-host $right_string
欢迎去顶这个bug：
https://windowsserver.uservoice.com/forums/301869-powershell/suggestions/13685217-invoke-restmethod-and-invoke-webrequest-encoding-b
问：在这个bug没修复之前，如何用powershell爬数据？
答：请看我这篇文章： 转帖不会乱码的，powershell网络蜘蛛 http://www.cnblogs.com/piapia/p/5093201.html
------------【第四章 后记：分析 列举 网页常用编码类型】-----------------
wincodepage 名称
936 gbk
54936 gb18030
GB18030使用变长编码，有的字符是两个字节，有的是四个字节。 在两字节编码中，字节表示范围与GBK一样。在四字节编码中，第一个字节的值从0x81到0xFE，第二个字节的值从0x30到0x39，第三个字节的值从0x81到0xFE，第四个字节的值从0x30到0x39。 解析二进制时，如何知道是两个字节还是四个字节表示一个字符呢？看第二个字节的范围，如果是0x30到0x39就是四个字节表示，因为两个字节编码中第二字节都比这个大。
932 japanese
949 korean
950 big5
20127 us-ascii us 7bit
1252 ISO-8859-1
28591 ISO 8859-1 又称Latin-1
1200 utf-16
1201 utf-16 Big-Endian
12000 utf-32
12001 utf-32 Big-Endian
65001 utf-8
gb2312，gbk，gb18030，之间是兼容的。由于网页中都是简单中文，所以可以把它们看作是同一种编码。 所以常用（网页！）编码只有，gbk，big5，utf8，ISO 8859-1，1252， 所以常用（文本！）编码只有，gbk，big5，utf8，ISO 8859-1，1252，utf16le，
摘自： https://msdn.microsoft.com/zh-cn/library/system.text.encodinginfo.codepage.aspx
------------【第五章 相关问题】-----------------
问：如何获取网页编码？
答： 下载网页，并查找网页中的charset关键字。
powershell代码： $网址 = 'http://www.baidu.com' $网页编码字串 = (Invoke-RestMethod -Uri $网址 ) -split '>' | select-string "Content-Type.*charset" #如这个百度网页，有些网页没有 "`n" 换行符
问：【Invoke-WebRequest】和【Invoke-RestMethod】如何获取网页编码？
答：
这个获取方法是不可靠的，有些是错误的。powershell传教士注
(Invoke-WebRequest -Uri www.baidu.com ).BaseResponse.CharacterSet #返回 utf-8 (Invoke-WebRequest -Uri news.qq.com ).BaseResponse.CharacterSet #返回 GB2312 (Invoke-WebRequest -Uri http://www.nmc.cn ).Headers.'content-type' #text/html (Invoke-WebRequest -Uri http://www.nmc.cn ).BaseResponse.CharacterSet #ISO-8859-1 (Invoke-WebRequest -Uri http://www.scielo.br).BaseResponse.CharacterSet
问：如何给网页传值？
答：
$text = '要发送的内容' $postData = [System.Text.Encoding]::UTF8.GetBytes($text) Invoke-WebRequest -Uri 'http://www.mydomain.com/' -Method Post -Body $postData -ContentType "text/plain; charset=utf-8"