RestTemplate發送請求時,自動對參數進行urlencode的問題


我們用Java開發項目時,發送請求都是用的RestTemplate。最近和其他部門合作時,我們需要請求他們的一個http接口。兩邊協議都確定好后,發現聯調不通。后來發現是我們這邊發出的請求,到達對方那邊時,他們接收到的是經過了urlencode后的結果,通過wireshark抓包也看到確實發出的請求是被urlencode的。

我們這邊的進程,並沒有顯式調用urlencode相關的方法,因此猜測是RestTemplate自動給我們進行了urlencode。網上查找資料,發現這兩篇文章講得很詳細:

https://blog.csdn.net/Petershusheng/article/details/54236816

RestTemplate確實在底層自動給我們進行了urlencode,不過我們也可以通過UriComponentsBuilder來構建URI對象,手動選擇不進行urlencode,具體操作方式可以參考這個文章:

https://blog.csdn.net/blueheart20/article/details/80916517

1
2
3
4
riComponentsBuilder builder = UriComponentsBuilder
.fromHttpUrl("http://xxx.com/image-checker/train_mean.txt").queryParam("Expires", "3678172563").queryParam("Signature", "2FqOFfzePCjESlKMqiGc9V8C9Es%3D");

URI uri = builder.build(true).toUri();

不過一般接口調用,都應該進行urlencode,避免一些特殊字符在傳遞過程中出現問題。因此回到我們這個應用,最終還是聯系接口提供方,在接收請求時,對所有參數都進行了urldecode。

RestTemplate中encode請求參數的原理

我的請求參數里面,有個sign參數,其值含有一些特殊符號,比如斜杠(/)和等號(=),經過RestTemplate處理並發送請求后,我抓包發現請求中的斜杠沒有被urlencode,但是等號卻被urlencode了,這是為什么呢?RestTemplate的urlencode難道不是通用的,而是自定義的么?

下午花了2個小時,通過IDE斷點跟蹤調試源碼,終於弄清楚原因了。

原因

在HierarchicalUriComponents的大約234行,有個encodeUriComponent方法,這個方法就是RestTemplate用來對url中的參數進行encode處理的邏輯:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
static String (String source, Charset charset, HierarchicalUriComponents.Type type) {
if (!StringUtils.hasLength(source)) {
return source;
} else {
Assert.notNull(charset, "Charset must not be null");
Assert.notNull(type, "Type must not be null");
byte[] bytes = source.getBytes(charset);
ByteArrayOutputStream bos = new ByteArrayOutputStream(bytes.length);
boolean changed = false;
byte[] var6 = bytes;
int var7 = bytes.length;

for(int var8 = 0; var8 < var7; ++var8) {
byte b = var6[var8];
if (b < 0) {
b = (byte)(b + 256);
}


* 這個type規定了哪些字符需要被encode轉義
*/
if (type.isAllowed(b)) {
bos.write(b);
} else {
bos.write(37);
char hex1 = Character.toUpperCase(Character.forDigit(b >> 4 & 15, 16));
char hex2 = Character.toUpperCase(Character.forDigit(b & 15, 16));
bos.write(hex1);
bos.write(hex2);
changed = true;
}
}

return changed ? new String(bos.toByteArray(), charset) : source;
}
}

從代碼可以看到,encode的過程,是先將參數轉為byte數組,然后逐個byte進行檢查,如果發現某個byte不在url參數允許的范圍內,則對其進行encode操作。

然后我們找到上面的HierarchicalUriComponents.Type.QUERY_PARAM的代碼,大約在HierarchicalUriComponents的811行:

1
2
3
4
5
6
7
8
9
10
11
QUERY_PARAM {
public boolean isAllowed(int c) {
// 61是=,31是&
if (61 != c && 38 != c) {
// 47是/,63是?
return this.isPchar(c) || 47 == c || 63 == c;
} else {
return false;
}
}
}

從上面的邏輯可以看到,如果字符是斜杠(ASCII碼等於47),那么進程會判斷這個字符是在url參數中被允許的,則不進行encode了;而等號(ASCII碼為61)被其判斷為是一個不被允許的url字符,因此就會被encode。

至此,原因終於找到了。

解決方案

解決方案也比較簡單,因為我們可以自行選擇要不要讓RestTemplate對我們的參數進行urlencode,所以我們可以先自己手動將url進行encode,然后發送請求時,選擇不讓RestTemplate自動做encode即可。

這是處理參數的方法:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
/**
* 將Key-Value格式的Map參數,轉換為url參數,類似key1=value1&key2=value2這樣
* 做了2個特殊的操作:
* 1.對參數名進行了排序
* 2.對value進行urlencode處理
* @param mapper
* @return
*/
public static String mapToUrlString(Map<String, Object> mapper, boolean encode) {
String urlString = "";
TreeMap<String,Object> map =new TreeMap<>();
map.putAll(mapper);
for (Map.Entry<String,Object> entity : map.entrySet()) {
String value = "";
try {
value = encode ? URLEncoder.encode((String)entity.getValue(), "UTF-8") : (String)entity.getValue();
} catch (UnsupportedEncodingException e) {
logger.error("獲取參數[" + entity.getKey() + "]失敗:" + e.getMessage());
}
urlString += entity.getKey() + "=" + value + "&";
}
return urlString.substring(0, urlString.length() - 1);
}

這是發送請求的代碼:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
String requestUrl = "http://www.10jqka.com.cn/"
Map<String, Object> params = new HashMap<>(){
{
put("name", "zhangsan");
put("nickname", "可 / 口 / 可 / 樂");
}
};
HttpMethod httpMethod = this.request.getHttpMethod();

RestTemplate client = new RestTemplate();
HttpHeaders headers = new HttpHeaders();
headers.setContentType(MediaType.APPLICATION_JSON_UTF8);

HttpEntity<String> entity = new HttpEntity<>(headers);

// 將Map格式的參數轉為字符串,並且做urlencode
String urlParams = mapToUrlString(params, true);
requestUrl += "?" + urlParams;

// 通過UriComponentsBuilder創建URI對象,這樣RestTemplate不會自動進行urlencode
UriComponentsBuilder uriComponentsBuilder = UriComponentsBuilder.fromHttpUrl(requestUrl);
URI uri = uriComponentsBuilder.build(true).toUri();

String resultContent = client.exchange(uri, HttpMethod.GET, entity, String.class).getBody();


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM