創(chuàng)新互聯(lián)專(zhuān)注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站建設(shè)、成都網(wǎng)站建設(shè)、覃塘網(wǎng)絡(luò)推廣、微信小程序開(kāi)發(fā)、覃塘網(wǎng)絡(luò)營(yíng)銷(xiāo)、覃塘企業(yè)策劃、覃塘品牌公關(guān)、搜索引擎seo、人物專(zhuān)訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供覃塘建站搭建服務(wù)，24小時(shí)服務(wù)熱線：028-86922220，官方網(wǎng)址：www.cdcxhl.com

搜索對(duì)比測(cè)試工具

目錄

1.     工具簡(jiǎn)介...1

2.     設(shè)計(jì)思路...1

3.     工具實(shí)用性...3

4.     工具集成擴(kuò)展...6

1.                                工具簡(jiǎn)介

因公司的搜索服務(wù)及底層索引創(chuàng)建維護(hù)由基礎(chǔ)架構(gòu)部同事維護(hù)，業(yè)務(wù)接入方同學(xué)對(duì)于業(yè)務(wù)相關(guān)的搜索測(cè)試基本都是功能性的基礎(chǔ)驗(yàn)證，為了更直觀的從多維度評(píng)估搜索策略優(yōu)化產(chǎn)生的效果及影響，我們開(kāi)發(fā)了這個(gè)搜索對(duì)比測(cè)試工具。該工具通過(guò)解析線上真實(shí)用戶的搜索日志，分別調(diào)用預(yù)上線和線上搜索服務(wù)，給出搜索結(jié)果數(shù)量、排序、服務(wù)耗時(shí)等維度的可視化對(duì)比結(jié)果。目前已實(shí)現(xiàn)的功能及統(tǒng)計(jì)信息包括：

• 同一搜索query預(yù)上線、線上搜索結(jié)果數(shù)量對(duì)比，輸出各自數(shù)量

• 同一搜索結(jié)果預(yù)上線、線上排序?qū)Ρ?，分別輸出相同排序和不同排序結(jié)果

• 搜索結(jié)果重復(fù)性判斷及重復(fù)數(shù)量輸出

• 對(duì)于梯度數(shù)據(jù),即針對(duì)搜索結(jié)果數(shù)量落在個(gè)，百，十，千，萬(wàn)范圍內(nèi)的搜索詞進(jìn)行的對(duì)比分析

• 少無(wú)搜索結(jié)果搜索詞統(tǒng)計(jì)

• 搜索詞對(duì)應(yīng)搜索耗時(shí)統(tǒng)計(jì)

• 根據(jù)配置的飄紅閾值，在測(cè)試報(bào)告中對(duì)異常數(shù)據(jù)飄紅顯示，方便查看分析

• 配置化控制：可配置項(xiàng)包括待測(cè)業(yè)務(wù)、全局抽樣數(shù)量、梯度搜索詞抽樣數(shù)量、報(bào)告中差異化比例飄紅閾值，方便供其他業(yè)務(wù)線接入及工具的靈活使用

• 靈活擴(kuò)展，可通過(guò)簡(jiǎn)單的增加其它業(yè)務(wù)線的搜索結(jié)果實(shí)現(xiàn)類(lèi)，支持更多業(yè)務(wù)線。

（詳細(xì)統(tǒng)計(jì)數(shù)據(jù)及報(bào)告展示格式請(qǐng)參見(jiàn)后文截圖）

2.                                設(shè)計(jì)思路

搜索對(duì)比測(cè)試主要目的是對(duì)比更改搜索策略前后，搜索結(jié)果數(shù)量是否有明顯起伏，搜索結(jié)果是否滿足預(yù)期效果，服務(wù)性能是否有明顯差異。我們的對(duì)比測(cè)試工具主要從搜索結(jié)果數(shù)量、搜索結(jié)果排序和服務(wù)調(diào)用時(shí)間三個(gè)維度進(jìn)行設(shè)計(jì)實(shí)現(xiàn)。下面對(duì)主要功能點(diǎn)設(shè)計(jì)思路進(jìn)行說(shuō)明。

• 為了模擬真實(shí)用戶，我們提取線上搜索日志中真實(shí)用戶的搜索query進(jìn)行對(duì)比測(cè)試

• 搜索結(jié)果數(shù)量對(duì)比：我們?nèi)【€上query分別調(diào)用預(yù)上線和線上服務(wù)，并對(duì)比當(dāng)前預(yù)上線、線上搜索結(jié)果數(shù)量以及上一次真實(shí)用戶搜索到的結(jié)果數(shù)量。

• 搜索服務(wù)調(diào)用時(shí)間對(duì)比：我們用stopwatch分別統(tǒng)計(jì)調(diào)用預(yù)上線/線上服務(wù)的時(shí)間

• 搜索結(jié)果排序?qū)Ρ龋河捎陬A(yù)上線和線上服務(wù)連接的都是線上數(shù)據(jù)庫(kù)，而線上數(shù)據(jù)是實(shí)時(shí)動(dòng)態(tài)變化的，再加上策略的調(diào)整，同一query對(duì)應(yīng)的預(yù)上線/線上結(jié)果排序沒(méi)有可比性，我們對(duì)調(diào)用預(yù)上線服務(wù)的query進(jìn)行了重新拼接?？紤]到搜索服務(wù)可以根據(jù)索引id進(jìn)行搜索，并且索引id不參與搜索排序的打分，我們?nèi)∫欢〝?shù)量的線上搜索結(jié)果的索引id，拼接到query上，重新調(diào)用預(yù)上線服務(wù)進(jìn)行搜索，這樣我們就可以比較兩個(gè)環(huán)境中相同職位/簡(jiǎn)歷對(duì)應(yīng)的排序情況。

• 梯度數(shù)據(jù)對(duì)比：搜索結(jié)果的量級(jí)在一定程度上也會(huì)影響服務(wù)性能、結(jié)果數(shù)量及排序的相對(duì)變化，因此我們對(duì)不同數(shù)量級(jí)結(jié)果的query進(jìn)行了抽樣對(duì)比測(cè)試，增加對(duì)比結(jié)果評(píng)估的合理性。

• 少無(wú)結(jié)果的統(tǒng)計(jì)：少無(wú)結(jié)果的場(chǎng)景是搜索優(yōu)化的重要參考項(xiàng)，我們分別對(duì)預(yù)

上線和線上環(huán)境少無(wú)結(jié)果的情況進(jìn)行了統(tǒng)計(jì)，以支持后續(xù)優(yōu)化。

• 重復(fù)結(jié)果統(tǒng)計(jì)：重復(fù)結(jié)果對(duì)于用戶毫無(wú)意義，因此我們對(duì)是否有重復(fù)結(jié)果進(jìn)行了判斷

對(duì)比工具基本流程圖如上圖所示

3.                                工具實(shí)用性

目前，我們的搜索對(duì)比測(cè)試工具已經(jīng)應(yīng)用到英才職位和簡(jiǎn)歷搜索的對(duì)比測(cè)試中。

• 多維度的搜索結(jié)果對(duì)比，可以為研發(fā)、產(chǎn)品、測(cè)試人員提供比較有價(jià)值的參考

• 方便擴(kuò)展，對(duì)于各調(diào)用平臺(tái)部垂搜服務(wù)的業(yè)務(wù)線，只需增加具體的搜索結(jié)果實(shí)現(xiàn)類(lèi)及對(duì)應(yīng)服務(wù)地址即可接入

• 可視化對(duì)比測(cè)試報(bào)告，對(duì)比結(jié)果可以郵件的形式周知相關(guān)人員，并且報(bào)告中對(duì)異常數(shù)據(jù)進(jìn)行了飄紅處理，方便相關(guān)人員進(jìn)行排查，詳細(xì)的差異對(duì)比內(nèi)容以附件的形式輸出。測(cè)試報(bào)告樣例如下圖所示：

(附件內(nèi)容展示只存在于預(yù)上線環(huán)境的索引數(shù)據(jù))

（附件內(nèi)容展示只存在于線上的索引數(shù)據(jù)）

（附件內(nèi)容展示搜索結(jié)果中排序不同的索引數(shù)據(jù)）

4.                                工具集成擴(kuò)展

未來(lái)計(jì)劃將具與jenkins集成，通過(guò)界面配置，實(shí)現(xiàn)全流程的自動(dòng)化。