一、前言
核心隱私數據無論對於企業還是用戶來說尤其重要，因此要想辦法杜絕各種隱私數據的泄漏。下面陳某帶大家從以下三個方面講解一下隱私數據如何脫敏，也是日常開發中需要注意的：
- 配置文件數據脫敏
- 接口返回數據脫敏
- 日志文件數據脫敏
文章目錄如下：
二、配置文件如何脫敏？
經常會遇到這樣一種情況：項目的配置文件中總有一些敏感信息，比如數據源的url、用戶名、密碼....這些信息一旦被暴露那么整個數據庫都將會被泄漏，那么如何將這些配置隱藏呢？
以前都是手動將加密之后的配置寫入到配置文件中，提取的時候再手動解密，當然這是一種思路，也能解決問題，但是每次都要手動加密、解密不覺得麻煩嗎？
今天介紹一種方案，讓你在無感知的情況下實現配置文件的加密、解密。利用一款開源插件：jasypt-spring-boot。項目地址如下：
https://github.com/ulisesbocchio/jasypt-spring-boot
使用方法很簡單，整合Spring Boot 只需要添加一個starter。
1. 添加依賴
<dependency>
<groupId>com.github.ulisesbocchio</groupId>
<artifactId>jasypt-spring-boot-starter</artifactId>
<version>3.0.3</version>
</dependency>
2. 配置秘鑰
在配置文件中添加一個加密的秘鑰（任意），如下：
jasypt:
encryptor:
password: Y6M9fAJQdU7jNp5MW
當然將秘鑰直接放在配置文件中也是不安全的，我們可以在項目啟動的時候配置秘鑰，命令如下：
java -jar xxx.jar -Djasypt.encryptor.password=Y6M9fAJQdU7jNp5MW
3. 生成加密后的數據
這一步驟是將配置明文進行加密，代碼如下：
@SpringBootTest
@RunWith(SpringRunner.class)
public class SpringbootJasyptApplicationTests {
/**
* 注入加密方法
*/
@Autowired
private StringEncryptor encryptor;
/**
* 手動生成密文，此處演示了url，user，password
*/
@Test
public void encrypt() {
String url = encryptor.encrypt("jdbc\\:mysql\\://127.0.0.1\\:3306/test?useUnicode\\=true&characterEncoding\\=UTF-8&zeroDateTimeBehavior\\=convertToNull&useSSL\\=false&allowMultiQueries\\=true&serverTimezone=Asia/Shanghai");
String name = encryptor.encrypt("root");
String password = encryptor.encrypt("123456");
System.out.println("database url: " + url);
System.out.println("database name: " + name);
System.out.println("database password: " + password);
Assert.assertTrue(url.length() > 0);
Assert.assertTrue(name.length() > 0);
Assert.assertTrue(password.length() > 0);
}
}
上述代碼對數據源的url、user、password進行了明文加密，輸出的結果如下：
database url: szkFDG56WcAOzG2utv0m2aoAvNFH5g3DXz0o6joZjT26Y5WNA+1Z+pQFpyhFBokqOp2jsFtB+P9b3gB601rfas3dSfvS8Bgo3MyP1nojJgVp6gCVi+B/XUs0keXPn+pbX/19HrlUN1LeEweHS/LCRZslhWJCsIXTwZo1PlpXRv3Vyhf2OEzzKLm3mIAYj51CrEaN3w5cMiCESlwvKUhpAJVz/uXQJ1spLUAMuXCKKrXM/6dSRnWyTtdFRost5cChEU9uRjw5M+8HU3BLemtcK0vM8iYDjEi5zDbZtwxD3hA=
database name: L8I2RqYPptEtQNL4x8VhRVakSUdlsTGzEND/3TOnVTYPWe0ZnWsW0/5JdUsw9ulm
database password: EJYCSbBL8Pmf2HubIH7dHhpfDZcLyJCEGMR9jAV3apJtvFtx9TVdhUPsAxjQ2pnJ
4. 將加密后的密文寫入配置
jasypt默認使用ENC()包裹，此時的數據源配置如下：
spring:
datasource:
# 數據源基本配置
username: ENC(L8I2RqYPptEtQNL4x8VhRVakSUdlsTGzEND/3TOnVTYPWe0ZnWsW0/5JdUsw9ulm)
password: ENC(EJYCSbBL8Pmf2HubIH7dHhpfDZcLyJCEGMR9jAV3apJtvFtx9TVdhUPsAxjQ2pnJ)
driver-class-name: com.mysql.jdbc.Driver
url: ENC(szkFDG56WcAOzG2utv0m2aoAvNFH5g3DXz0o6joZjT26Y5WNA+1Z+pQFpyhFBokqOp2jsFtB+P9b3gB601rfas3dSfvS8Bgo3MyP1nojJgVp6gCVi+B/XUs0keXPn+pbX/19HrlUN1LeEweHS/LCRZslhWJCsIXTwZo1PlpXRv3Vyhf2OEzzKLm3mIAYj51CrEaN3w5cMiCESlwvKUhpAJVz/uXQJ1spLUAMuXCKKrXM/6dSRnWyTtdFRost5cChEU9uRjw5M+8HU3BLemtcK0vM8iYDjEi5zDbZtwxD3hA=)
type: com.alibaba.druid.pool.DruidDataSource
上述配置是使用默認的prefix=ENC(、suffix=)，當然我們可以根據自己的要求更改，只需要在配置文件中更改即可，如下：
jasypt:
encryptor:
## 指定前綴、后綴
property:
prefix: 'PASS('
suffix: ')'
那么此時的配置就必須使用PASS()包裹才會被解密，如下：
spring:
datasource:
# 數據源基本配置
username: PASS(L8I2RqYPptEtQNL4x8VhRVakSUdlsTGzEND/3TOnVTYPWe0ZnWsW0/5JdUsw9ulm)
password: PASS(EJYCSbBL8Pmf2HubIH7dHhpfDZcLyJCEGMR9jAV3apJtvFtx9TVdhUPsAxjQ2pnJ)
driver-class-name: com.mysql.jdbc.Driver
url: PASS(szkFDG56WcAOzG2utv0m2aoAvNFH5g3DXz0o6joZjT26Y5WNA+1Z+pQFpyhFBokqOp2jsFtB+P9b3gB601rfas3dSfvS8Bgo3MyP1nojJgVp6gCVi+B/XUs0keXPn+pbX/19HrlUN1LeEweHS/LCRZslhWJCsIXTwZo1PlpXRv3Vyhf2OEzzKLm3mIAYj51CrEaN3w5cMiCESlwvKUhpAJVz/uXQJ1spLUAMuXCKKrXM/6dSRnWyTtdFRost5cChEU9uRjw5M+8HU3BLemtcK0vM8iYDjEi5zDbZtwxD3hA=)
type: com.alibaba.druid.pool.DruidDataSource
5. 總結
jasypt還有許多高級用法，比如可以自己配置加密算法，具體的操作可以參考Github上的文檔。
三、接口返回數據如何脫敏？
通常接口返回值中的一些敏感數據也是要脫敏的，比如身份證號、手機號碼、地址.....通常的手段就是用*隱藏一部分數據，當然也可以根據自己需求定制。
言歸正傳，如何優雅的實現呢？有兩種實現方案，如下：
-
整合Mybatis插件，在查詢的時候針對特定的字段進行脫敏
-
整合Jackson，在序列化階段對特定字段進行脫敏
-
基於
Sharding Sphere實現數據脫敏，查看之前的文章：基於Sharding Sphere實現數據“一鍵脫敏”
第一種方案網上很多實現方式，下面演示第二種，整合Jackson。
1. 自定義一個Jackson注解
需要自定義一個脫敏注解，一旦有屬性被標注，則進行對應得脫敏，如下：
/**
* 自定義jackson注解，標注在屬性上
*/
@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.FIELD)
@JacksonAnnotationsInside
@JsonSerialize(using = SensitiveJsonSerializer.class)
public @interface Sensitive {
//脫敏策略
SensitiveStrategy strategy();
}
2. 定制脫敏策略
針對項目需求，定制不同字段的脫敏規則，比如手機號中間幾位用*替代，如下：
/**
* 脫敏策略，枚舉類，針對不同的數據定制特定的策略
*/
public enum SensitiveStrategy {
/**
* 用戶名
*/
USERNAME(s -> s.replaceAll("(\\S)\\S(\\S*)", "$1*$2")),
/**
* 身份證
*/
ID_CARD(s -> s.replaceAll("(\\d{4})\\d{10}(\\w{4})", "$1****$2")),
/**
* 手機號
*/
PHONE(s -> s.replaceAll("(\\d{3})\\d{4}(\\d{4})", "$1****$2")),
/**
* 地址
*/
ADDRESS(s -> s.replaceAll("(\\S{3})\\S{2}(\\S*)\\S{2}", "$1****$2****"));
private final Function<String, String> desensitizer;
SensitiveStrategy(Function<String, String> desensitizer) {
this.desensitizer = desensitizer;
}
public Function<String, String> desensitizer() {
return desensitizer;
}
}
以上只是提供了部分，具體根據自己項目要求進行配置。
3. 定制JSON序列化實現
下面將是重要實現，對標注注解@Sensitive的字段進行脫敏，實現如下：
/**
* 序列化注解自定義實現
* JsonSerializer<String>：指定String 類型，serialize()方法用於將修改后的數據載入
*/
public class SensitiveJsonSerializer extends JsonSerializer<String> implements ContextualSerializer {
private SensitiveStrategy strategy;
@Override
public void serialize(String value, JsonGenerator gen, SerializerProvider serializers) throws IOException {
gen.writeString(strategy.desensitizer().apply(value));
}
/**
* 獲取屬性上的注解屬性
*/
@Override
public JsonSerializer<?> createContextual(SerializerProvider prov, BeanProperty property) throws JsonMappingException {
Sensitive annotation = property.getAnnotation(Sensitive.class);
if (Objects.nonNull(annotation)&&Objects.equals(String.class, property.getType().getRawClass())) {
this.strategy = annotation.strategy();
return this;
}
return prov.findValueSerializer(property.getType(), property);
}
}
4. 定義Person類，對其數據脫敏
使用注解@Sensitive注解進行數據脫敏，代碼如下：
@Data
public class Person {
/**
* 真實姓名
*/
@Sensitive(strategy = SensitiveStrategy.USERNAME)
private String realName;
/**
* 地址
*/
@Sensitive(strategy = SensitiveStrategy.ADDRESS)
private String address;
/**
* 電話號碼
*/
@Sensitive(strategy = SensitiveStrategy.PHONE)
private String phoneNumber;
/**
* 身份證號碼
*/
@Sensitive(strategy = SensitiveStrategy.ID_CARD)
private String idCard;
}
5. 模擬接口測試
以上4個步驟完成了數據脫敏的Jackson注解，下面寫個controller進行測試，代碼如下：
@RestController
public class TestController {
@GetMapping("/test")
public Person test(){
Person user = new Person();
user.setRealName("不才陳某");
user.setPhoneNumber("19796328206");
user.setAddress("浙江省杭州市溫州市....");
user.setIdCard("4333333333334334333");
return user;
}
}
調用接口查看數據有沒有正常脫敏，結果如下：
{
"realName": "不*陳某",
"address": "浙江省****市溫州市..****",
"phoneNumber": "197****8206",
"idCard": "4333****34333"
}
6. 總結
數據脫敏有很多種實現方式，關鍵是哪種更加適合，哪種更加優雅.....
四、日志文件如何數據脫敏？
上面講了配置文件、接口返回值的數據脫敏，現在總該輪到日志脫敏了。項目中總避免不了打印日志，肯定會涉及到一些敏感數據被明文打印出來，那么此時就需要過濾掉這些敏感數據（身份證、號碼、用戶名.....）。
關於Spring Boot 日志方面的問題有不理解的可以看我之前的文章：Spring Boot第三彈，一文帶你搞懂日志如何配置？、Spring Boot第二彈，配置文件怎么造？。
下面以log4j2這款日志為例講解一下日志如何脫敏，其他日志框架大致思路一樣。
1. 添加log4j2日志依賴
Spring Boot 默認日志框架是logback，但是我們可以切換到log4j2，依賴如下：
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
<!-- 去掉springboot默認配置 -->
<exclusions>
<exclusion>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-logging</artifactId>
</exclusion>
</exclusions>
</dependency>
<!--使用log4j2替換 LogBack-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-log4j2</artifactId>
</dependency>
2. 在/resource目錄下新建log4j2.xml配置
log4j2的日志配置很簡單，只需要在/resource文件夾下新建一個log4j2.xml配置文件，內容如下圖：
關於每個節點如何配置，含義是什么，在我上面的兩篇文章中有詳細的介紹。
上圖的配置並沒有實現數據脫敏，這是普通的配置，使用的是PatternLayout
3. 自定義PatternLayout實現數據脫敏
步驟2中的配置使用的是PatternLayout實現日志的格式，那么我們也可以自定義一個PatternLayout來實現日志的過濾脫敏。
PatternLayout的類圖繼承關系如下：
從上圖中可以清楚的看出來，PatternLayout繼承了一個抽象類AbstractStringLayout，因此想要自定義只需要繼承這個抽象類即可。
1、創建CustomPatternLayout，繼承抽象類AbstractStringLayout
代碼如下：
/**
* log4j2 脫敏插件
* 繼承AbstractStringLayout
**/
@Plugin(name = "CustomPatternLayout", category = Node.CATEGORY, elementType = Layout.ELEMENT_TYPE, printObject = true)
public class CustomPatternLayout extends AbstractStringLayout {
public final static Logger logger = LoggerFactory.getLogger(CustomPatternLayout.class);
private PatternLayout patternLayout;
protected CustomPatternLayout(Charset charset, String pattern) {
super(charset);
patternLayout = PatternLayout.newBuilder().withPattern(pattern).build();
initRule();
}
/**
* 要匹配的正則表達式map
*/
private static Map<String, Pattern> REG_PATTERN_MAP = new HashMap<>();
private static Map<String, String> KEY_REG_MAP = new HashMap<>();
private void initRule() {
try {
if (MapUtils.isEmpty(Log4j2Rule.regularMap)) {
return;
}
Log4j2Rule.regularMap.forEach((a, b) -> {
if (StringUtils.isNotBlank(a)) {
Map<String, String> collect = Arrays.stream(a.split(",")).collect(Collectors.toMap(c -> c, w -> b, (key1, key2) -> key1));
KEY_REG_MAP.putAll(collect);
}
Pattern compile = Pattern.compile(b);
REG_PATTERN_MAP.put(b, compile);
});
} catch (Exception e) {
logger.info(">>>>>> 初始化日志脫敏規則失敗 ERROR：{}", e);
}
}
/**
* 處理日志信息，進行脫敏
* 1.判斷配置文件中是否已經配置需要脫敏字段
* 2.判斷內容是否有需要脫敏的敏感信息
* 2.1 沒有需要脫敏信息直接返回
* 2.2 處理: 身份證 ,姓名,手機號敏感信息
*/
public String hideMarkLog(String logStr) {
try {
//1.判斷配置文件中是否已經配置需要脫敏字段
if (StringUtils.isBlank(logStr) || MapUtils.isEmpty(KEY_REG_MAP) || MapUtils.isEmpty(REG_PATTERN_MAP)) {
return logStr;
}
//2.判斷內容是否有需要脫敏的敏感信息
Set<String> charKeys = KEY_REG_MAP.keySet();
for (String key : charKeys) {
if (logStr.contains(key)) {
String regExp = KEY_REG_MAP.get(key);
logStr = matchingAndEncrypt(logStr, regExp, key);
}
}
return logStr;
} catch (Exception e) {
logger.info(">>>>>>>>> 脫敏處理異常 ERROR:{}", e);
//如果拋出異常為了不影響流程，直接返回原信息
return logStr;
}
}
/**
* 正則匹配對應的對象。
*
* @param msg
* @param regExp
* @return
*/
private static String matchingAndEncrypt(String msg, String regExp, String key) {
Pattern pattern = REG_PATTERN_MAP.get(regExp);
if (pattern == null) {
logger.info(">>> logger 沒有匹配到對應的正則表達式 ");
return msg;
}
Matcher matcher = pattern.matcher(msg);
int length = key.length() + 5;
boolean contains = Log4j2Rule.USER_NAME_STR.contains(key);
String hiddenStr = "";
while (matcher.find()) {
String originStr = matcher.group();
if (contains) {
// 計算關鍵詞和需要脫敏詞的距離小於5。
int i = msg.indexOf(originStr);
if (i < 0) {
continue;
}
int span = i - length;
int startIndex = span >= 0 ? span : 0;
String substring = msg.substring(startIndex, i);
if (StringUtils.isBlank(substring) || !substring.contains(key)) {
continue;
}
hiddenStr = hideMarkStr(originStr);
msg = msg.replace(originStr, hiddenStr);
} else {
hiddenStr = hideMarkStr(originStr);
msg = msg.replace(originStr, hiddenStr);
}
}
return msg;
}
/**
* 標記敏感文字規則
*
* @param needHideMark
* @return
*/
private static String hideMarkStr(String needHideMark) {
if (StringUtils.isBlank(needHideMark)) {
return "";
}
int startSize = 0, endSize = 0, mark = 0, length = needHideMark.length();
StringBuffer hideRegBuffer = new StringBuffer("(\\S{");
StringBuffer replaceSb = new StringBuffer("$1");
if (length > 4) {
int i = length / 3;
startSize = i;
endSize = i;
} else {
startSize = 1;
endSize = 0;
}
mark = length - startSize - endSize;
for (int i = 0; i < mark; i++) {
replaceSb.append("*");
}
hideRegBuffer.append(startSize).append("})\\S*(\\S{").append(endSize).append("})");
replaceSb.append("$2");
needHideMark = needHideMark.replaceAll(hideRegBuffer.toString(), replaceSb.toString());
return needHideMark;
}
/**
* 創建插件
*/
@PluginFactory
public static Layout createLayout(@PluginAttribute(value = "pattern") final String pattern,
@PluginAttribute(value = "charset") final Charset charset) {
return new CustomPatternLayout(charset, pattern);
}
@Override
public String toSerializable(LogEvent event) {
return hideMarkLog(patternLayout.toSerializable(event));
}
}
關於其中的一些細節，比如@Plugin、@PluginFactory這兩個注解什么意思？log4j2如何實現自定義一個插件，這里不再詳細介紹，不是本文重點，有興趣的可以查看log4j2的官方文檔。
2、自定義自己的脫敏規則
上述代碼中的Log4j2Rule則是脫敏規則靜態類，我這里是直接放在了靜態類中配置，實際項目中可以設置到配置文件中，代碼如下：
/**
* 現在攔截加密的日志有三類:
* 1，身份證
* 2，姓名
* 3，身份證號
* 加密的規則后續可以優化在配置文件中
**/
public class Log4j2Rule {
/**
* 正則匹配 關鍵詞 類別
*/
public static Map<String, String> regularMap = new HashMap<>();
/**
* TODO 可配置
* 此項可以后期放在配置項中
*/
public static final String USER_NAME_STR = "Name,name,聯系人,姓名";
public static final String USER_IDCARD_STR = "empCard,idCard,身份證,證件號";
public static final String USER_PHONE_STR = "mobile,Phone,phone,電話,手機";
/**
* 正則匹配，自己根據業務要求自定義
*/
private static String IDCARD_REGEXP = "(\\d{17}[0-9Xx]|\\d{14}[0-9Xx])";
private static String USERNAME_REGEXP = "[\\u4e00-\\u9fa5]{2,4}";
private static String PHONE_REGEXP = "(?<!\\d)(?:(?:1[3456789]\\d{9})|(?:861[356789]\\d{9}))(?!\\d)";
static {
regularMap.put(USER_NAME_STR, USERNAME_REGEXP);
regularMap.put(USER_IDCARD_STR, IDCARD_REGEXP);
regularMap.put(USER_PHONE_STR, PHONE_REGEXP);
}
}
經過上述兩個步驟，自定義的PatternLayout已經完成，下面將是改寫log4j2.xml這個配置文件了。
4. 修改log4j2.xml配置文件
其實這里修改很簡單，原配置文件是直接使用PatternLayout進行日志格式化的，那么只需要將默認的<PatternLayout/>這個節點替換成<CustomPatternLayout/>，如下圖：
直接全局替換掉即可，至此，這個配置文件就修改完成了。
5. 演示效果
在步驟3這邊自定義了脫敏規則靜態類Log4j2Rule，其中定義了姓名、身份證、號碼這三個脫敏規則，如下：
下面就來演示這三個規則能否正確脫敏，直接使用日志打印，代碼如下：
@Test
public void test3(){
log.debug("身份證：{}，姓名：{}，電話：{}","320829112334566767","不才陳某","19896327106");
}
控制台打印的日志如下：
身份證：320829******566767，姓名：不***，電話：198*****106
哦豁，成功了，so easy！！！
6. 總結
日志脫敏的方案很多，陳某也只是介紹一種常用的，有興趣的可以研究一下。
五、總結
本篇文章從三個維度介紹了隱私數據的脫敏實現方案，碼字不易，趕緊點贊收藏吧！！！
源碼已經上傳GitHub，需要的公眾號碼猿技術專欄，回復關鍵詞
數據脫敏獲取。