Cortex的核心是我們的預(yù)測器，它本質(zhì)上是一個預(yù)測API，包括所有的請求處理代碼和依賴關(guān)系。預(yù)測器接口為這些預(yù)測api實施了一些簡單的需求。

因為Cortex采用微服務(wù)的方式來進行模型服務(wù)，預(yù)測器界面嚴格關(guān)注兩件事:

在這種精神下，Cortex的預(yù)測界面需要兩種功能，即剩余的init__()和predict()，它們或多或少做你所期望的事情:

import torchfrom transformers import pipeline
class PythonPredictor:    def __init__(self, config):        # Use GPUs, if available        device = 0 if torch.cuda.is_available() else -1        # Initialize model        self.summarizer = pipeline(task="summarization", device=device)
    def predict(self, payload):        # Generate prediction        summary = self.summarizer(            payload["text"], num_beams=4, length_penalty=2.0, max_length=142, no_repeat_ngram_size=3        )        # Return prediction        return summary[0]["summary_text"]       

初始化之后，您可以將一個預(yù)測器看作一個Python對象，當(dāng)用戶查詢端點時，將調(diào)用它的單個predict()函數(shù)。

這種方法的最大好處之一是，對于任何有軟件工程經(jīng)驗的人來說，它都是直觀的。不需要接觸數(shù)據(jù)管道或模型訓(xùn)練代碼。模型只是一個文件，而預(yù)測器只是一個導(dǎo)入模型并運行predict()方法的對象。

然而，除了語法上的吸引力之外，這種方法還提供了一些關(guān)鍵的好處，即它如何補充了皮層更廣泛的方法。

為生產(chǎn)中提供預(yù)測服務(wù)而構(gòu)建接口的復(fù)雜性之一是，輸入幾乎肯定會與模型的訓(xùn)練數(shù)據(jù)不同，至少在格式上是這樣。

這在兩個層面上起作用:

因此，預(yù)測器接口不能對預(yù)測API的輸入和輸出固執(zhí)己見。預(yù)測只是一個HTTP請求，開發(fā)人員可以隨意處理它。例如，如果他們想部署一個多模型端點，并基于請求參數(shù)查詢不同的模型，他們可以這樣做:

import torchfrom transformers import pipelinefrom starlette.responses import JSONResponse
class PythonPredictor:    def __init__(self, config):        self.analyzer = pipeline(task="sentiment-analysis")        self.summarizer = pipeline(task="summarization")
    def predict(self, query_params, payload):        model_name = query_params.get("model")        if model_name == "sentiment":            return self.analyzer(payload["text"])[0]        elif model_name == "summarizer":            summary = self.summarizer(payload["text"])[0]        else:            return JSONResponse({"error": f"unknown model: {model_name}"}, status_code=400)     

雖然這個界面讓開發(fā)者可以自由地使用他們的API做什么，它也提供了一些自然的范圍，使皮質(zhì)在基礎(chǔ)設(shè)施方面更加固執(zhí)己見。

例如，在后臺Cortex使用FastAPI來設(shè)置請求路由。Cortex在這一層設(shè)置了許多與自動排序、監(jiān)控和其他基礎(chǔ)設(shè)施功能相關(guān)的過程，如果開發(fā)人員需要實現(xiàn)路由，這些功能可能會變得非常復(fù)雜。

但是，因為每個API都有一個predict()方法，所以每個API都有相同數(shù)量的路由—1。假設(shè)這允許Cortex在基礎(chǔ)設(shè)施層面做更多的事情，而不限制工程師。

對于在生產(chǎn)中使用機器學(xué)習(xí)的人來說，規(guī)模是一個主要的問題。型號可能會很大(GPT-2大約是6 GB)，計算成本高，并且可能有很高的延遲。特別是對于實時推斷，擴大規(guī)模來處理流量是一項挑戰(zhàn)——如果你的預(yù)算有限，情況更是如此。

為了解決這個問題，Cortex把預(yù)測器當(dāng)作微型服務(wù)，可以水平伸縮。更具體地說，當(dāng)開發(fā)人員進行Cortex部署時，Cortex將包含API，旋轉(zhuǎn)為推理準備的集群，并進行部署。然后，它將API公開為負載平衡器背后的web服務(wù)，并配置自動縮放、更新和監(jiān)視:

預(yù)測器接口是此過程的基礎(chǔ)，盡管它“只是”一個Python接口。

預(yù)測器接口所做的是強制打包代碼，使其成為推理的單個原子單元。單個API所需的所有請求處理代碼都包含在一個預(yù)測器中。這使得大腦皮層能夠很容易地衡量預(yù)測因素。

通過這種方式，工程師不必做任何額外的工作——當(dāng)然，除非他們想做一些調(diào)整——準備一個用于生產(chǎn)的API。一個皮層的部署是默認的生產(chǎn)準備就緒。