背景
創(chuàng)新互聯(lián)主營雞東網(wǎng)站建設的網(wǎng)絡公司,主營網(wǎng)站建設方案,app軟件定制開發(fā),雞東h5小程序定制開發(fā)搭建,雞東網(wǎng)站營銷推廣歡迎雞東等地區(qū)企業(yè)咨詢
在最近的項目中,有一個需求是對一個很大的數(shù)據(jù)庫進行查詢,數(shù)據(jù)量大概在幾千萬條。但同時對查詢速度的要求也比較高。
這個數(shù)據(jù)庫之前在沒有使用Presto的情況下,使用的是Hive,使用Hive進行一個簡單的查詢,速度可能在幾分鐘。當然幾分鐘也并不完全是跑SQL的時間,這里面包含發(fā)請求,查詢數(shù)據(jù)并且返回數(shù)據(jù)的時間的總和。但是即使這樣,這樣的速度明顯不能滿足交互式的查詢需求。
我們的下一個解決方案就是Presto,在使用了Presto之后,查詢速度降到了秒級。但是對于一個前端查詢界面的交互式查詢來說,十幾秒仍然是一個不能接受的時間。
雖然Presto相比Hive已經(jīng)快了很多(FaceBook官方宣稱的是10倍),但是對分頁的支持不是很友好。我在使用的時候是自己在后端實現(xiàn)的分頁。
在這種情況下應用緩存實屬無奈之舉。講道理,優(yōu)化應從底層開始,自底而上。上層優(yōu)化的方式和效率感覺都很有局限。
為什么要使用緩存
前端查詢中,單次查詢的匹配數(shù)據(jù)量有可能會達到上百甚至上千條,在前端中肯定是需要分頁展示的。就算每次查詢10條數(shù)據(jù),整個查詢也要耗時6-8s的時間。想象一下,每翻一頁等10s的場景。
所以,此時使用redis緩存。減少請求數(shù)據(jù)庫的次數(shù)。將匹配的數(shù)據(jù)一并存入數(shù)據(jù)庫。這樣只有在第一次查詢時耗費長一點,一旦查詢完成,用戶點擊下一頁就是毫秒級別的操作了。
使用redisTemplate
Spring封裝了一個比較強大的模板,也就是redisTemplate,方便在開發(fā)的時候操作Redis緩存。在Redis中可以存儲String、List、Set、Hash、Zset。下面將針對List和Hash分別介紹。
List
Redis中的List為簡單的字符串列表,常見的有下面幾種操作。
hasKey
判斷一個鍵是否存在,只需要調(diào)用hasKey
就可以了。假設這個Key是test
,具體用法如下。
if (redisTemplate.hasKey("test")) { System.out.println("存在"); } else { System.out.println("不存在"); }
range
該函數(shù)用于從redis緩存中獲取指定區(qū)間的數(shù)據(jù)。具體用法如下。
if (redisTemplate.hasKey("test")) { // 該鍵的值為 [4, 3, 2, 1] System.out.println(redisTemplate.opsForList().range("test", 0, 0)); // [4] System.out.println(redisTemplate.opsForList().range("test", 0, 1)); // [4, 3] System.out.println(redisTemplate.opsForList().range("test", 0, 2)); // [4, 3, 2] System.out.println(redisTemplate.opsForList().range("test", 0, 3)); // [4, 3, 2, 1] System.out.println(redisTemplate.opsForList().range("test", 0, 4)); // [4, 3, 2, 1] System.out.println(redisTemplate.opsForList().range("test", 0, 5)); // [4, 3, 2, 1] System.out.println(redisTemplate.opsForList().range("test", 0, -1)); // [4, 3, 2, 1] 如果結束位是-1, 則表示取所有的值 }
delete
刪除某個鍵。
Listtest = new ArrayList<>(); test.add("1"); test.add("2"); test.add("3"); test.add("4"); redisTemplate.opsForList().rightPushAll("test", test); System.out.println(redisTemplate.opsForList().range("test", 0, -1)); // [1, 2, 3, 4] redisTemplate.delete("test"); System.out.println(redisTemplate.opsForList().range("test", 0, -1)); // []
size
獲取該鍵的集合長度。
Listtest = new ArrayList<>(); test.add("1"); test.add("2"); test.add("3"); test.add("4"); redisTemplate.opsForList().rightPushAll("test", test); System.out.println(redisTemplate.opsForList().size("test")); // 4
leftPush
我們把存放這個值的地方想象成如圖所示的容器。
container
并且取數(shù)據(jù)總是從左邊取,但是存數(shù)據(jù)可以從左也可以從右。左就是leftPush
,右就是rightPush
。leftPush如下圖所示。
left-push
用法如下。
for (int i = 0; i < 4; i++) { Integer value = i + 1; redisTemplate.opsForList().leftPush("test", value.toString()); System.out.println(redisTemplate.opsForList().range("test", 0, -1)); }
控制臺輸出的結果如下。
[1]
[2, 1]
[3, 2, 1]
[4, 3, 2, 1]
leftPushAll
基本和leftPush一樣,只不過是一次性的將List入棧。
Listtest = new ArrayList<>(); test.add("1"); test.add("2"); test.add("3"); test.add("4"); redisTemplate.opsForList().leftPushAll("test", test); System.out.println(redisTemplate.opsForList().range("test", 0, -1)); // [4, 3, 2, 1]
當然你也可以這樣
redisTemplate.opsForList().leftPushAll("test", test); System.out.println(redisTemplate.opsForList().range("test", 0, -1)); // [4, 3, 2, 1]
leftPushIfPresent
跟leftPush
是同樣的操作,唯一的不同是,當且僅當key存在時,才會更新key的值。如果key不存在則不會對數(shù)據(jù)進行任何操作。
redisTemplate.delete("test"); redisTemplate.opsForList().leftPushIfPresent("test", "1"); redisTemplate.opsForList().leftPushIfPresent("test", "2"); System.out.println(redisTemplate.opsForList().range("test", 0, -1)); // []
leftPop
該函數(shù)用于移除上面我們抽象的容器中的最左邊的一個元素。
Listtest = new ArrayList<>(); test.add("1"); test.add("2"); test.add("3"); test.add("4"); redisTemplate.opsForList().rightPushAll("test", test); redisTemplate.opsForList().leftPop("test"); // [2, 3, 4] redisTemplate.opsForList().leftPop("test"); // [3, 4] redisTemplate.opsForList().leftPop("test"); // [4] redisTemplate.opsForList().leftPop("test"); // [] redisTemplate.opsForList().leftPop("test"); // []
值得注意的是,當返回為空后,在redis中這個key也不復存在了。如果此時再調(diào)用leftPushIfPresent,是無法再添加數(shù)據(jù)的。有代碼有真相。
Listtest = new ArrayList<>(); test.add("1"); test.add("2"); test.add("3"); test.add("4"); redisTemplate.opsForList().rightPushAll("test", test); redisTemplate.opsForList().leftPop("test"); // [2, 3, 4] redisTemplate.opsForList().leftPop("test"); // [3, 4] redisTemplate.opsForList().leftPop("test"); // [4] redisTemplate.opsForList().leftPop("test"); // [] redisTemplate.opsForList().leftPop("test"); // [] redisTemplate.opsForList().leftPushIfPresent("test", "1"); // [] redisTemplate.opsForList().leftPushIfPresent("test", "1"); // []
rightPush
rightPush如下圖所示。
right-push
用法如下。
for (int i = 0; i < 4; i++) { Integer value = i + 1; redisTemplate.opsForList().leftPush("test", value.toString()); System.out.println(redisTemplate.opsForList().range("test", 0, -1)); }
控制臺輸出的結果如下。
[1]
[1, 2]
[1, 2, 3]
[1, 2, 3, 4]
rightPushAll
同rightPush,一次性將List存入。
Listtest = new ArrayList<>(); test.add("1"); test.add("2"); test.add("3"); test.add("4"); redisTemplate.opsForList().leftPushAll("test", test); System.out.println(redisTemplate.opsForList().range("test", 0, -1)); // [1, 2, 3, 4]
當然你也可以這樣。
redisTemplate.opsForList().rightPushAll("test", "1", "2", "3", "4"); System.out.println(redisTemplate.opsForList().range("test", 0, -1)); // [1, 2, 3, 4]
rightPushIfPresent
跟rightPush
是同樣的操作,唯一的不同是,當且僅當key存在時,才會更新key的值。如果key不存在則不會對數(shù)據(jù)進行任何操作。
redisTemplate.delete("test"); redisTemplate.opsForList().rightPushIfPresent("test", "1"); redisTemplate.opsForList().rightPushIfPresent("test", "2"); System.out.println(redisTemplate.opsForList().range("test", 0, -1)); // []
rightPop
該函數(shù)用于移除上面我們抽象的容器中的最右邊的一個元素。
Listtest = new ArrayList<>(); test.add("1"); test.add("2"); test.add("3"); test.add("4"); redisTemplate.opsForList().rightPushAll("test", test); redisTemplate.opsForList().rightPop("test"); // [1, 2, 3] redisTemplate.opsForList().rightPop("test"); // [1, 2] redisTemplate.opsForList().rightPop("test"); // [1] redisTemplate.opsForList().rightPop("test"); // [] redisTemplate.opsForList().rightPop("test"); // []
與leftPop一樣,返回空之后,再調(diào)用rightPushIfPresent,是無法再添加數(shù)據(jù)的。
index
獲取list中指定位置的元素。
if (redisTemplate.hasKey("test")) { // 該鍵的值為 [1, 2, 3, 4] System.out.println(redisTemplate.opsForList().index("test", -1)); // 4 System.out.println(redisTemplate.opsForList().index("test", 0)); // 1 System.out.println(redisTemplate.opsForList().index("test", 1)); // 2 System.out.println(redisTemplate.opsForList().index("test", 2)); // 3 System.out.println(redisTemplate.opsForList().index("test", 3)); // 4 System.out.println(redisTemplate.opsForList().index("test", 4)); // null System.out.println(redisTemplate.opsForList().index("test", 5)); // null }
值得注意的有兩點。一個是如果下標是-1
的話,則會返回List最后一個元素,另一個如果數(shù)組下標越界,則會返回null
。
trim
用于截取指定區(qū)間的元素,可能你會理解成與range是一樣的作用??戳讼旅娴拇a之后應該就會立刻理解。
Listtest = new ArrayList<>(); test.add("1"); test.add("2"); test.add("3"); test.add("4"); redisTemplate.opsForList().rightPushAll("test", test); // [1, 2, 3, 4] redisTemplate.opsForList().trim("test", 0, 2); // [1, 2, 3]
其實作用完全不一樣。range
是獲取指定區(qū)間內(nèi)的數(shù)據(jù),而trim
是留下指定區(qū)間的數(shù)據(jù),刪除不在區(qū)間的所有數(shù)據(jù)。trim
是void
,不會返回任何數(shù)據(jù)。
remove
用于移除鍵中指定的元素。接受3個參數(shù),分別是緩存的鍵名,計數(shù)事件,要移除的值。計數(shù)事件可以傳入的有三個值,分別是-1
、0
、1
。
-1
代表從存儲容器的最右邊開始,刪除一個與要移除的值匹配的數(shù)據(jù);0
代表刪除所有與傳入值匹配的數(shù)據(jù);1
代表從存儲容器的最左邊開始,刪除一個與要移除的值匹配的數(shù)據(jù)。
Listtest = new ArrayList<>(); test.add("1"); test.add("2"); test.add("3"); test.add("4"); test.add("4"); test.add("3"); test.add("2"); test.add("1"); redisTemplate.opsForList().rightPushAll("test", test); // [1, 2, 3, 4, 4, 3, 2, 1] // 當計數(shù)事件是-1、傳入值是1時 redisTemplate.opsForList().remove("test", -1, "1"); // [1, 2, 3, 4, 4, 3, 2] // 當計數(shù)事件是1,傳入值是1時 redisTemplate.opsForList().remove("test", 1, "1"); // [2, 3, 4, 4, 3, 2] // 當計數(shù)事件是0,傳入值是4時 redisTemplate.opsForList().remove("test", 0, "4"); // [2, 3, 3, 2]
rightPopAndLeftPush
該函數(shù)用于操作兩個鍵之間的數(shù)據(jù),接受三個參數(shù),分別是源key、目標key。該函數(shù)會將源key進行rightPop,再將返回的值,作為輸入?yún)?shù),在目標key上進行l(wèi)eftPush。具體代碼如下。
Listtest = new ArrayList<>(); test.add("1"); test.add("2"); test.add("3"); test.add("4"); List test2 = new ArrayList<>(); test2.add("1"); test2.add("2"); test2.add("3"); redisTemplate.opsForList().rightPushAll("test", test); // [1, 2, 3, 4] redisTemplate.opsForList().rightPushAll("test2", test2); // [1, 2, 3] redisTemplate.opsForList().rightPopAndLeftPush("test", "test2"); System.out.println(redisTemplate.opsForList().range("test", 0, -1)); // [1, 2, 3] System.out.println(redisTemplate.opsForList().range("test2", 0, -1)); // [4, 1, 2, 3]
Hash
存儲類型為hash其實很好理解。在上述的List
中,一個redis的Key可以理解為一個List,而在Hash
中,一個redis的Key可以理解為一個HashMap。
put
用于寫入數(shù)據(jù)。
Listlist = new ArrayList<>(); list.add("1"); list.add("2"); list.add("3"); list.add("4"); redisTemplate.opsForHash().put("test", "map", list.toString()); // [1, 2, 3, 4] redisTemplate.opsForHash().put("test", "isAdmin", true); // true
putALl
用于一次性向一個Hash鍵中添加多個key。
Listlist = new ArrayList<>(); list.add("1"); list.add("2"); list.add("3"); list.add("4"); List list2 = new ArrayList<>(); list2.add("5"); list2.add("6"); list2.add("7"); list2.add("8"); Map valueMap = new HashMap<>(); valueMap.put("map1", list.toString()); valueMap.put("map2", list2.toString()); redisTemplate.opsForHash().putAll("test", valueMap); // {map2=[5, 6, 7, 8], map1=[1, 2, 3, 4]}
putIfAbsent
用于向一個Hash鍵中寫入數(shù)據(jù)。當key在Hash鍵中已經(jīng)存在時,則不會寫入任何數(shù)據(jù),只有在Hash鍵中不存在這個key時,才會寫入數(shù)據(jù)。
同時,如果連這個Hash鍵都不存在,redisTemplate會新建一個Hash鍵,再寫入key。
Listlist = new ArrayList<>(); list.add("1"); list.add("2"); list.add("3"); list.add("4"); redisTemplate.opsForHash().putIfAbsent("test", "map", list.toString()); System.out.println(redisTemplate.opsForHash().entries("test")); // {map=[1, 2, 3, 4]}
get
用于獲取數(shù)據(jù)。
Listlist = new ArrayList<>(); list.add("1"); list.add("2"); list.add("3"); list.add("4"); redisTemplate.opsForHash().put("test", "map", list.toString()); redisTemplate.opsForHash().put("test", "isAdmin", true); System.out.println(redisTemplate.opsForHash().get("test", "map")); // [1, 2, 3, 4] System.out.println(redisTemplate.opsForHash().get("test", "isAdmin")); // true Boolean bool = (Boolean) redisTemplate.opsForHash().get("test", "isAdmin"); System.out.println(bool); // true String str = redisTemplate.opsForHash().get("test", "map").toString(); List array = JSONArray.parseArray(str, String.class); System.out.println(array.size()); // 4
值得注意的是,使用get
函數(shù)獲取的數(shù)據(jù)都是Object類型。
所以需要使用類型與上述例子中的布爾類型的話,則需要強制轉換一次。List
類型則可以使用fastjson
這種工具來進行轉換。轉換的例子已列舉在上述代碼中。
delete
用于刪除一個Hash鍵中的key。可以理解為刪除一個map中的某個key。
Listlist = new ArrayList<>(); list.add("1"); list.add("2"); list.add("3"); list.add("4"); List list2 = new ArrayList<>(); list2.add("5"); list2.add("6"); list2.add("7"); list2.add("8"); Map valueMap = new HashMap<>(); valueMap.put("map1", list.toString()); valueMap.put("map2", list2.toString()); redisTemplate.opsForHash().putAll("test", valueMap); // {map2=[5, 6, 7, 8], map1=[1, 2, 3, 4]} redisTemplate.opsForHash().delete("test", "map1"); // {map2=[5, 6, 7, 8]}
values
用于獲取一個Hash類型的鍵的所有值。
Listlist = new ArrayList<>(); list.add("1"); list.add("2"); list.add("3"); list.add("4"); redisTemplate.opsForHash().put("test", "map", list.toString()); redisTemplate.opsForHash().put("test", "isAdmin", true); System.out.println(redisTemplate.opsForHash().values("test")); // [[1, 2, 3, 4], true]
entries
用于以Map的格式獲取一個Hash鍵的所有值。
Listlist = new ArrayList<>(); list.add("1"); list.add("2"); list.add("3"); list.add("4"); redisTemplate.opsForHash().put("test", "map", list.toString()); redisTemplate.opsForHash().put("test", "isAdmin", true); Map map = redisTemplate.opsForHash().entries("test"); System.out.println(map.get("map")); // [1, 2, 3, 4] System.out.println(map.get("map") instanceof String); // true System.out.println(redisTemplate.opsForHash().entries("test")); // {a=[1, 2, 3, 4], isAdmin=true}
hasKey
用于獲取一個Hash鍵中是否含有某個鍵。
istlist = new ArrayList<>(); list.add("1"); list.add("2"); list.add("3"); list.add("4"); redisTemplate.opsForHash().put("test", "map", list.toString()); redisTemplate.opsForHash().put("test", "isAdmin", true); System.out.println(redisTemplate.opsForHash().hasKey("test", "map")); // true System.out.println(redisTemplate.opsForHash().hasKey("test", "b")); // false System.out.println(redisTemplate.opsForHash().hasKey("test", "isAdmin")); // true
keys
用于獲取一個Hash鍵中所有的鍵。
Listlist = new ArrayList<>(); list.add("1"); list.add("2"); list.add("3"); list.add("4"); redisTemplate.opsForHash().put("test", "map", list.toString()); redisTemplate.opsForHash().put("test", "isAdmin", true); System.out.println(redisTemplate.opsForHash().keys("test")); // [a, isAdmin]
size
用于獲取一個Hash鍵中包含的鍵的數(shù)量。
Listlist = new ArrayList<>(); list.add("1"); list.add("2"); list.add("3"); list.add("4"); redisTemplate.opsForHash().put("test", "map", list.toString()); redisTemplate.opsForHash().put("test", "isAdmin", true); System.out.println(redisTemplate.opsForHash().size("test")); // 2
increment
用于讓一個Hash鍵中的某個key,根據(jù)傳入的值進行累加。傳入的數(shù)值只能是double
或者long
,不接受浮點型
redisTemplate.opsForHash().increment("test", "a", 3); redisTemplate.opsForHash().increment("test", "a", -3); redisTemplate.opsForHash().increment("test", "a", 1); redisTemplate.opsForHash().increment("test", "a", 0); System.out.println(redisTemplate.opsForHash().entries("test")); // {a=1}
multiGet
用于批量的獲取一個Hash鍵中多個key的值。
Listlist = new ArrayList<>(); list.add("1"); list.add("2"); list.add("3"); list.add("4"); List list2 = new ArrayList<>(); list2.add("5"); list2.add("6"); list2.add("7"); list2.add("8"); redisTemplate.opsForHash().put("test", "map1", list.toString()); // [1, 2, 3, 4] redisTemplate.opsForHash().put("test", "map2", list2.toString()); // [5, 6, 7, 8] List keys = new ArrayList<>(); keys.add("map1"); keys.add("map2"); System.out.println(redisTemplate.opsForHash().multiGet("test", keys)); // [[1, 2, 3, 4], [5, 6, 7, 8]] System.out.println(redisTemplate.opsForHash().multiGet("test", keys) instanceof List); // true
scan
獲取所以匹配條件的Hash鍵中key的值。我查過一些資料,大部分寫的是無法模糊匹配,我自己嘗試了一下,其實是可以的。如下,使用scan
模糊匹配hash鍵的key中,帶SCAN
的key。
Listlist = new ArrayList<>(); list.add("1"); list.add("2"); list.add("3"); list.add("4"); List list2 = new ArrayList<>(); list2.add("5"); list2.add("6"); list2.add("7"); list2.add("8"); List list3 = new ArrayList<>(); list3.add("9"); list3.add("10"); list3.add("11"); list3.add("12"); Map valueMap = new HashMap<>(); valueMap.put("map1", list.toString()); valueMap.put("SCAN_map2", list2.toString()); valueMap.put("map3", list3.toString()); redisTemplate.opsForHash().putAll("test", valueMap); // {SCAN_map2=[5, 6, 7, 8], map3=[9, 10, 11, 12], map1=[1, 2, 3, 4]} Cursor > cursor = redisTemplate.opsForHash().scan("test", ScanOptions.scanOptions().match("*SCAN*").build()); if (cursor.hasNext()) { while (cursor.hasNext()) { Map.Entry entry = cursor.next(); System.out.println(entry.getValue()); // [5, 6, 7, 8] } }
引入redisTemplate
如果大家看懂了怎么用,就可以將redisTemplate引入項目中了。
引入pom依賴
org.springframework.boot spring-boot-starter-data-redis 2.0.5.RELEASE
新建配置文件
然后需要新建一個RedisConfig
配置文件。
package com.detectivehlh; import com.fasterxml.jackson.annotation.JsonAutoDetect; import com.fasterxml.jackson.annotation.PropertyAccessor; import com.fasterxml.jackson.databind.ObjectMapper; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.data.redis.connection.RedisConnectionFactory; import org.springframework.data.redis.core.RedisTemplate; import org.springframework.data.redis.core.StringRedisTemplate; import org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer; /** * RedisConfig * * @author Lunhao Hu * @date 2019-01-17 15:12 **/ @Configuration public class RedisConfig { @Bean public RedisTemplateredisTemplate(RedisConnectionFactory factory) { ObjectMapper om = new ObjectMapper(); om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY); om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL); //redis序列化 Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class); jackson2JsonRedisSerializer.setObjectMapper(om); StringRedisTemplate template = new StringRedisTemplate(factory); template.setValueSerializer(jackson2JsonRedisSerializer); template.setHashKeySerializer(jackson2JsonRedisSerializer); template.setHashValueSerializer(jackson2JsonRedisSerializer); template.setValueSerializer(jackson2JsonRedisSerializer); template.afterPropertiesSet(); return template; } }
注入
將redisTemplate注入到需要使用的地方。
@Autowired private RedisTemplate redisTemplate;
寫在后面
Github
以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持創(chuàng)新互聯(lián)。