2007/03/22
1.概述在技術規(guī)范書中提出了“系統(tǒng)(以2×3.0G CPU、2G內存、2×146G 15KRPM硬盤配置檔次的PC Server為標準)平均創(chuàng)建100萬條記錄索引的時間< 1小時;系統(tǒng)在創(chuàng)建索引時對主機的CPU和內存的占用率不得高于30%。;系統(tǒng)索引膨脹率小于2.5,最多不能超過3.0。”等索引方面技術和性能的要求。
根據TRS全文數據庫的測試數據,在Dell2850 2xCPU,4G內存,10000轉硬盤,Redhat AS4.0測試環(huán)境下,數據加載和索引速度單機最高可達每小時3.5G。
1、索引創(chuàng)建時間
索引創(chuàng)建時間跟被創(chuàng)建索引的記錄數無關,由記錄大小決定的,普通新聞稿記錄,100萬條基本上是2GB左右,如果按詞索引,用時30分鐘,按字索引用時60分鐘,全冗余(字詞混和)用時120分鐘。據了解,114項目的數據記錄內容較少,100萬條應該在1G以內,若籠統(tǒng)的按半數大小,索引耗時應該在1小時左右。
2、CPU和內存的占有
這個值沒有專門做過檢查,但創(chuàng)建索引主要是對磁盤的讀寫繁忙,沒有過多的計算,所以CPU的占用應該不會多,至于內存,介于內存的讀寫速度比硬盤快很多,所以會占用一定數量的內存緩存,考慮到100萬條記錄的大小不會超過1G,所以影響也不會大
3、索引空間膨脹率
目前測試情況,按膨脹率最高的全冗余(字詞混和)模式創(chuàng)建索引,膨脹率接近3.0。
4.11成功的應用模式和豐富的應用經驗
TRS 公司多年來服務于眾多的關鍵信息系統(tǒng)建設,在應用集成能力和服務能力上得到了用戶的認可。
如國務院新聞辦三網一庫的核心數據庫建設、國家計委縱向網、衛(wèi)生部信息發(fā)布網站,國家統(tǒng)計局綜合網站信息服務系統(tǒng),北京市勞動和社會保障局網站、外交部新聞監(jiān)控采集系統(tǒng)、新華社多媒體數據庫平臺、中央人民廣播電臺網站內容管理平臺、央視在線主持系統(tǒng)、人民日報資料庫、中糧、中國五礦等等,我們對資源庫建設、入庫、編輯、生成、展示等整個信息的生產和服務的應用需求有著深刻的理解,這是領先其他公司的顯著優(yōu)勢,通過這些服務,我們與客戶建立了良好的合作關系,贏得了客戶的信任。特別是我們?yōu)樾氯A社多媒體數據庫進行的提速工作,再次展現了公司在信息檢索技術領域國際化的領先水平,我們通過并行檢索、Bi-Gram索引、服務器群集和數據庫智能化自我管理以及多層次Cache技術等,使得多媒體數據庫在千萬級數據庫記錄的綜合查詢性能獲得了成倍的提高,這是對關鍵業(yè)務的關鍵性突破。
4.12專注的服務
TRS專注于咨詢和開發(fā)服務,采用開放的體系結構、技術和產品,確保用戶的利益,保護現有投資。
TRS公司專注于軟件產品的提供和技術服務,在咨詢和服務能力上居于領先地位,在本項目中,我們在關鍵性平臺上采用了TRS成熟產品,并且保證提供開放的技術體系,提供完整和可擴充性,提供應用集成能力,同時根據用戶需求,推薦針對應用的行業(yè)內具有優(yōu)勢的相關產品,總體設計方案強調系統(tǒng)組件的最佳組合,選擇合適的技術和產品。
企業(yè)•廣東移動搜索引擎服務
在廣東移動搜索引擎服務的系統(tǒng)建設中,TRS重點解決了資源信息的整合和安全問題。
資源信息的整合包括了對辦公自動化數據的整合、對論壇數據的整合、對CM系統(tǒng)數據的整合,通過整合,實現統(tǒng)一的檢索入口,實現統(tǒng)一的Portal服務。此外,各種數據對原有系統(tǒng)中的權限(主要是Notes系統(tǒng)中的權限)得到了很好的繼承,只有相關的授權用戶才能對自己權限范圍內的信息進行瀏覽和檢索。

廣東移動的搜索引擎從技術上可以分為三個部分:Notes業(yè)務平臺,TRS檢索系統(tǒng),權限過濾和顯示模塊。用戶進行全文檢索首先在TRS中命中相應檢索記錄,然后通過權限過濾命中相應的數據集合,最終通過顯示模塊展示給相關人員經過安全驗證的信息內容。
通過這種方式,Notes中的全部業(yè)務權限得到了充分的繼承,有效體現了TRS企業(yè)搜索引擎的開放性和可集成能力,充分體現了TRS安全檢索的概念。
通過共享資源庫的建設,為內部工作人員提供了一個題材豐富的信息資源系統(tǒng),采用TRS企業(yè)搜索引擎系統(tǒng),將各部門信息資源整理加工,形成集公文、政務信息、行業(yè)規(guī)章、地方特色信息等資源的數據庫,為各級領導提供決策服務參考,為相關工作人員提供信息快速查詢平臺。
安全檢索和資源整合服務,使內部的信息得到有序的共享,并進一步優(yōu)化了管理流程,實現“一站式”信息發(fā)布和辦公服務模式。
CTI論壇編輯