omniture

Amazon OpenSearch Serverless向量引擎預(yù)覽版正式推出

亞馬遜云科技
2023-08-01 14:09 3162

助力客戶輕松構(gòu)建現(xiàn)代生成式AI應(yīng)用

北京2023年8月1日 /美通社/ -- 亞馬遜云科技宣布推出Amazon OpenSearch Serverless向量引擎預(yù)覽版。該向量引擎在Amazon OpenSearch Serverless中提供了一種簡單、可擴展、高性能的相似性搜索功能,讓用戶能夠輕松構(gòu)建由現(xiàn)代化機器學(xué)習(xí)(ML)增強的搜索體驗和生成式AI應(yīng)用程序,無需管理底層向量數(shù)據(jù)庫基礎(chǔ)設(shè)施。

向量嵌入助力機器學(xué)習(xí)增強的搜索和生成式AI的應(yīng)用

所有行業(yè)的企業(yè)都在迅速采用生成式AI,因為它能夠處理龐大的數(shù)據(jù)集、生成自動化內(nèi)容,并提供媲美人類的交互式響應(yīng)。通過集成聊天機器人、問答系統(tǒng)和個性化推薦等先進的對話生成式AI應(yīng)用程序,客戶正在想方設(shè)法徹底變革最終用戶體驗以及與數(shù)字平臺的交互。這些對話應(yīng)用程序讓用戶能夠用自然語言進行搜索和查詢,并通過理解語義、用戶意圖和查詢上下文,生成酷似人類的響應(yīng)。

機器學(xué)習(xí)增強的搜索應(yīng)用和生成式AI的應(yīng)用程序都需要使用向量嵌入,向量嵌入作為文本、圖像、音頻和視頻數(shù)據(jù)的數(shù)字表示,可以用來生成動態(tài)的相關(guān)內(nèi)容。向量嵌入基于用戶私有數(shù)據(jù)進行訓(xùn)練,代表信息的語義和上下文屬性。理想情況下,這些嵌入可以就近存儲和管理,如接近現(xiàn)有的搜索引擎或數(shù)據(jù)庫等特定領(lǐng)域數(shù)據(jù)集。由此,企業(yè)能夠通過處理用戶查詢找到最近的向量,并將它們與其他元數(shù)據(jù)結(jié)合,從而集成搜索結(jié)果。這一過程完全無需依賴外部數(shù)據(jù)源或其它應(yīng)用程序??蛻粝M蛄繑?shù)據(jù)庫是易于構(gòu)建的,且便于從原型設(shè)計快速進入到生產(chǎn)環(huán)境,這樣他們就可以將精力集中在創(chuàng)建差異化應(yīng)用程序上。Amazon OpenSearch Serverless向量引擎擴展了Amazon OpenSearch的搜索能力,使用戶能夠?qū)崟r存儲、搜索和追溯數(shù)十億向量嵌入,并精確進行相似性匹配和語義搜索,無需考慮底層基礎(chǔ)設(shè)施。

探索向量引擎功能

構(gòu)建于Amazon OpenSearch Serverless的向量引擎天然具備魯棒性。使用向量引擎,用戶不必擔(dān)心后端基礎(chǔ)設(shè)施的選型、調(diào)優(yōu)和擴展問題。向量引擎可自動調(diào)整資源,來適應(yīng)不斷變化的工作負載模式和需求,從而提供始終如一的快速性能和適當(dāng)規(guī)模。即便向量數(shù)量從原型設(shè)計期間的數(shù)千個猛增至生產(chǎn)環(huán)境中的數(shù)億個,向量引擎也可以無縫擴展,無需重新索引或重新加載數(shù)據(jù)來擴展基礎(chǔ)設(shè)施。此外,向量引擎為索引和工作負載搜索提供了單獨的計算資源,讓用戶可以實時無縫地獲取、更新和刪除向量,同時確保用戶查詢性能絲毫不受影響。所有數(shù)據(jù)都長久地存儲在Amazon Simple Storage Service(Amazon S3)中,因此用戶可以獲得與Amazon S3相同的數(shù)據(jù)持久性保證(11個9,即99.999999999%)。盡管目前還處于預(yù)覽階段,但向量引擎是為生產(chǎn)環(huán)境工作負載設(shè)計的,具有應(yīng)對可用區(qū)中斷和基礎(chǔ)設(shè)施故障的冗余機制。

Amazon OpenSearch Serverless向量引擎由開源OpenSearch項目中的k近鄰(kNN)搜索功能提供支持,該功能能夠提供可靠而精確的結(jié)果?,F(xiàn)今,許多客戶在托管集群中使用OpenSearch kNN搜索,以便在應(yīng)用程序中提供語義搜索和個性化推薦。向量引擎的用戶體驗與Serverless環(huán)境一樣簡單易用。向量引擎支持歐氏距離、余弦距離和點積等流行的距離指標(biāo),可容納16000個維度,因而非常適合支持各種基礎(chǔ)模型及其他AI/ML模型。用戶還可以存儲各種數(shù)據(jù)的不同字段,例如元數(shù)據(jù)中的數(shù)字、布爾值、日期、關(guān)鍵字和地理位置,以及包含描述性信息的文本等,來為存儲的向量添加更多上下文信息。多種類型數(shù)據(jù)的合并降低了復(fù)雜性,提升了可維護性,并且避免了數(shù)據(jù)重復(fù)、版本兼容性難題和許可問題,有效地簡化了應(yīng)用程序棧。向量引擎支持相同的OpenSearch開源套件API,讓用戶可以充分利用其豐富的查詢功能,例如全文搜索、高級過濾、聚合、地理空間查詢、嵌套查詢,以加快數(shù)據(jù)檢索和增強搜索結(jié)果。以要求查找距離用戶15英里以內(nèi)的結(jié)果的用例為例,向量引擎可以在單個查詢中完成這項任務(wù),而不需要維護兩個不同系統(tǒng),并利用應(yīng)用邏輯將結(jié)果合并。通過集成LangChain、Amazon BedrockAmazon SageMaker,用戶可以輕松地將首選機器學(xué)習(xí)和AI系統(tǒng)與向量引擎集成。

向量引擎支持不同領(lǐng)域的廣泛用例,包括圖像搜索、文檔搜索、音樂檢索、產(chǎn)品推薦、視頻搜索、基于位置的搜索、欺詐檢測以及異常檢測。亞馬遜云科技預(yù)測,將詞匯搜索方法與先進的機器學(xué)習(xí)和生成式AI功能結(jié)合的混合搜索將會日益流行。例如,當(dāng)用戶在電子商務(wù)網(wǎng)站上搜索“紅色襯衫”時,語義搜索通過檢索所有紅色來擴大搜索范圍,同時在詞法(BM25算法)搜索上實現(xiàn)調(diào)優(yōu)和邏輯增強。利用Amazon OpenSearch過濾功能,企業(yè)可以為用戶提供基于尺寸、品牌、價格范圍和附近商店等信息來優(yōu)化搜索選項,從而進一步增強搜索結(jié)果的相關(guān)性,以便打造更個性化、更精準的體驗。向量引擎支持的混合搜索使得用戶能夠在單個查詢調(diào)用中查詢向量嵌入、元數(shù)據(jù)和描述性信息,從而在不構(gòu)建復(fù)雜應(yīng)用程序代碼的情況下,輕松地提供更準確的,與上下文相關(guān)的搜索結(jié)果。

從預(yù)覽到正式可用

亞馬遜云科技近日宣布推出向量引擎的預(yù)覽版,用戶可以立即開始試用。

在向量引擎正式可用之前,亞馬遜云科技計劃提供兩項功能,降低客戶首個集合的成本。第一項功能是新的開發(fā)-測試選項,它使用戶能夠在沒有備份或副本的情況下啟動集合,從而將入門成本降低50%。向量引擎仍然提供持久性保證,因為它將所有數(shù)據(jù)保存在Amazon S3中。第二項功能是在初始階段配置0.5 OCU(OpenSearch計算單位)資源,資源將根據(jù)用戶的實際工作負載來擴展;如果初始工作負載的規(guī)模是數(shù)萬到數(shù)十萬個向量(取決于維度數(shù)量),用戶則可以進一步降低成本。除了這兩項功能外,亞馬遜云科技將把支持用戶首個集合所需的最低OCU從每小時4個降至每小時1個。

亞馬遜云科技還在開發(fā)一些新功能,在未來幾個月,將會幫助用戶實現(xiàn)工作負載暫停與恢復(fù),這項新功能對向量引擎十分有用,因為其中許多用例不需要持續(xù)索引數(shù)據(jù)。

最后,亞馬遜云科技持續(xù)致力于優(yōu)化向量圖的性能和內(nèi)存使用,包括改進緩存和合并等功能。

在亞馬遜云科技致力于降低用戶成本的同時,亞馬遜云科技將提供1400 OCU小時/每月的免費向量集合,直到開發(fā)-測試選項宣布可用為止。

Amazon OpenSearch Serverless向量引擎預(yù)覽版現(xiàn)已在全球八個地區(qū)可用:美國東部(俄亥俄州)、美國東部(弗吉尼亞州北部)、美國西部(俄勒岡州)、亞太地區(qū)(新加坡)、亞太地區(qū)(悉尼)、亞太地區(qū)(東京)、歐洲(法蘭克福)和歐洲(愛爾蘭)。

消息來源:亞馬遜云科技
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動態(tài)、財報信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection