在所有編程語言中，函數(shù)的作用都是相似的
我們提供的服務(wù)有：成都做網(wǎng)站、網(wǎng)站建設(shè)、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、平昌ssl等。為上千多家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的平昌網(wǎng)站制作公司
在開發(fā)程序的時(shí)候，某一段代碼需要執(zhí)行很多次，為了提高編寫的效率以及代碼的復(fù)用，需要把這一段代碼封裝成一個(gè)模塊，這就是函數(shù)
C10k是一個(gè)在1999年被提出來的技術(shù)挑戰(zhàn),如何在一顆1GHz CPU,2G內(nèi)存,1gbps網(wǎng)絡(luò)環(huán)境下,讓單臺服務(wù)器同時(shí)為1萬個(gè)客戶端提供FTP服務(wù)
阻塞式I/O(使用最多)、非阻塞式I/O、I/O復(fù)用、信號驅(qū)動(dòng)式I/O(幾乎不使用)、異步I/O(POSIX的aio_系列函數(shù))
select、poll、epoll都是IO多路復(fù)用的機(jī)制。I/O多路復(fù)用就是通過一種機(jī)制,一個(gè)進(jìn)程可以監(jiān)聽多個(gè)描述符,一旦，某個(gè)描述符就緒(一般是讀就緒或者寫就緒),能夠通知程序進(jìn)行相應(yīng)的讀寫操作。但select、poll、epoll本質(zhì)上都是同步I/O,因?yàn)樗麄兌夹枰谧x寫時(shí)間就緒后負(fù)責(zé)進(jìn)行讀寫,也就是說讀寫過程是阻塞的,而異步I/O無需自己負(fù)責(zé)進(jìn)行讀寫,異步I/O的實(shí)現(xiàn)會負(fù)責(zé)把數(shù)據(jù)從內(nèi)核拷貝到用戶空間
(1)select
select函數(shù)監(jiān)視的文件描述符分3類,分別是writefds、readfds、exceptfds。調(diào)用select函數(shù)會阻塞,直到有描述符就緒(有數(shù)據(jù)可讀、可寫或者有except),或者超時(shí)函數(shù)返回。當(dāng)select函數(shù)返回后可以通過遍歷fdset來找到就緒的描述符。
select目前幾乎在所有的平臺上支持,其良好的跨平臺支持也是它的一個(gè)優(yōu)點(diǎn)。select的一個(gè)缺點(diǎn)在于單個(gè)進(jìn)程能夠監(jiān)視的文件描述符的數(shù)量存在最大限制,在Linux上一般為1024,可以通過修改宏定義甚至重新編譯內(nèi)核的方式提升這一限制,但是這樣也會降低效率。
(2)poll
不同于select使用三個(gè)位圖來表示三個(gè)fdset的方式,poll使用一個(gè)pollfd的指針實(shí)現(xiàn)。
pollfd結(jié)構(gòu)包含了要監(jiān)視的event和發(fā)生的event,不再使用select"參數(shù)-值"傳遞的方式。同時(shí)pollfd并沒有最大數(shù)量限制(但是數(shù)量過大后性能也會下降)。和select函數(shù)一樣,poll返回后,需要輪詢pollfd來獲取就緒的描述符。
從上面看,select和poll都需要在返回后通過遍歷文件描述符來獲取已經(jīng)就緒的socket。事實(shí)上同時(shí)連接的大量客戶端在同一時(shí)刻可能只有很少的處于就緒的狀態(tài),因此隨著監(jiān)視的描述符數(shù)量的增長,其效率也會線性下降
(3)epoll
epoll是在2.6內(nèi)核中提出的,是之前的select和poll的增強(qiáng)版本。相對于select和poll來說,epoll更加領(lǐng)靈活,沒有描述符限制。epoll使用一個(gè)文件描述符管理多個(gè)描述符,將用戶關(guān)系的文件描述符的事件存放到內(nèi)核的一個(gè)事件表中,這樣在用戶空間和內(nèi)核空間的copy只需一次。
就是說一段代碼/函數(shù)你能用多次，就像南孚一樣，用在不同的場合中
屬于混合編程的問題。較全面的介紹一下，不僅限于題主提出的問題。
以下討論中，Python指它的標(biāo)準(zhǔn)實(shí)現(xiàn)，即CPython（雖然不是很嚴(yán)格）
本文分4個(gè)部分
C/C++ 調(diào)用 Python （基礎(chǔ)篇）— 僅討論P(yáng)ython官方提供的實(shí)現(xiàn)方式
Python 調(diào)用 C/C++ （基礎(chǔ)篇）— 僅討論P(yáng)ython官方提供的實(shí)現(xiàn)方式
C/C++ 調(diào)用 Python （高級篇）— 使用 Cython
Python 調(diào)用 C/C++ （高級篇）— 使用 SWIG
練習(xí)本文中的例子，需要搭建Python擴(kuò)展開發(fā)環(huán)境。具體細(xì)節(jié)見搭建Python擴(kuò)展開發(fā)環(huán)境 - 蛇之魅惑 - 知乎專欄
1 C/C++ 調(diào)用 Python（基礎(chǔ)篇）
Python 本身就是一個(gè)C庫。你所看到的可執(zhí)行體python只不過是個(gè)stub。真正的python實(shí)體在動(dòng)態(tài)鏈接庫里實(shí)現(xiàn)，在Windows平臺上，這個(gè)文件位于 %SystemRoot%\System32\python27.dll。
你也可以在自己的程序中調(diào)用Python，看起來非常容易：
//my_python.c
#include Python.h
int main(int argc, char *argv[])
{
Py_SetProgramName(argv[0]);
Py_Initialize();
PyRun_SimpleString("print 'Hello Python!'\n");
Py_Finalize();
return 0;
}
在Windows平臺下，打開Visual Studio命令提示符，編譯命令為
cl my_python.c -IC:\Python27\include C:\Python27\libs\python27.lib
在Linux下編譯命令為
gcc my_python.c -o my_python -I/usr/include/python2.7/ -lpython2.7
在Mac OS X 下的編譯命令同上
產(chǎn)生可執(zhí)行文件后，直接運(yùn)行，結(jié)果為輸出
Hello Python!
Python庫函數(shù)PyRun_SimpleString可以執(zhí)行字符串形式的Python代碼。
雖然非常簡單，但這段代碼除了能用C語言動(dòng)態(tài)生成一些Python代碼之外，并沒有什么用處。我們需要的是C語言的數(shù)據(jù)結(jié)構(gòu)能夠和Python交互。
下面舉個(gè)例子，比如說，有一天我們用Python寫了一個(gè)功能特別強(qiáng)大的函數(shù)：
def great_function(a):
return a + 1
接下來要把它包裝成C語言的函數(shù)。我們期待的C語言的對應(yīng)函數(shù)應(yīng)該是這樣的：
int great_function_from_python(int a) {
int res;
// some magic
return res;
}
首先，復(fù)用Python模塊得做‘import’，這里也不例外。所以我們把great_function放到一個(gè)module里，比如說，這個(gè)module名字叫 great_module.py
接下來就要用C來調(diào)用Python了，完整的代碼如下：
#include Python.h
int great_function_from_python(int a) {
int res;
PyObject *pModule,*pFunc;
PyObject *pArgs, *pValue;
/* import */
pModule = PyImport_Import(PyString_FromString("great_module"));
/* great_module.great_function */
pFunc = PyObject_GetAttrString(pModule, "great_function");
/* build args */
pArgs = PyTuple_New(1);
PyTuple_SetItem(pArgs,0, PyInt_FromLong(a));
/* call */
pValue = PyObject_CallObject(pFunc, pArgs);
res = PyInt_AsLong(pValue);
return res;
}
從上述代碼可以窺見Python內(nèi)部運(yùn)行的方式：
所有Python元素，module、function、tuple、string等等，實(shí)際上都是PyObject。C語言里操縱它們，一律使用PyObject *。
Python的類型與C語言類型可以相互轉(zhuǎn)換。Python類型XXX轉(zhuǎn)換為C語言類型YYY要使用PyXXX_AsYYY函數(shù)；C類型YYY轉(zhuǎn)換為Python類型XXX要使用PyXXX_FromYYY函數(shù)。
也可以創(chuàng)建Python類型的變量，使用PyXXX_New可以創(chuàng)建類型為XXX的變量。
若a是Tuple，則a[i] = b對應(yīng)于 PyTuple_SetItem(a,i,b)，有理由相信還有一個(gè)函數(shù)PyTuple_GetItem完成取得某一項(xiàng)的值。
不僅Python語言很優(yōu)雅，Python的庫函數(shù)API也非常優(yōu)雅。
現(xiàn)在我們得到了一個(gè)C語言的函數(shù)了，可以寫一個(gè)main測試它
#include Python.h
int great_function_from_python(int a);
int main(int argc, char *argv[]) {
Py_Initialize();
printf("%d",great_function_from_python(2));
Py_Finalize();
}
編譯的方式就用本節(jié)開頭使用的方法。
在Linux/Mac OSX運(yùn)行此示例之前，可能先需要設(shè)置環(huán)境變量：
bash:
export PYTHONPATH=.:$PYTHONPATH
csh:
setenv PYTHONPATH .:$PYTHONPATH
2 Python 調(diào)用 C/C++（基礎(chǔ)篇）
這種做法稱為Python擴(kuò)展。
比如說，我們有一個(gè)功能強(qiáng)大的C函數(shù)：
int great_function(int a) {
return a + 1;
}
期望在Python里這樣使用：
from great_module import great_function
great_function(2)
3
考慮最簡單的情況。我們把功能強(qiáng)大的函數(shù)放入C文件 great_module.c 中。
#include Python.h
int great_function(int a) {
return a + 1;
}
static PyObject * _great_function(PyObject *self, PyObject *args)
{
int _a;
int res;
if (!PyArg_ParseTuple(args, "i", _a))
return NULL;
res = great_function(_a);
return PyLong_FromLong(res);
}
static PyMethodDef GreateModuleMethods[] = {
{
"great_function",
_great_function,
METH_VARARGS,
""
},
{NULL, NULL, 0, NULL}
};
PyMODINIT_FUNC initgreat_module(void) {
(void) Py_InitModule("great_module", GreateModuleMethods);
}
除了功能強(qiáng)大的函數(shù)great_function外，這個(gè)文件中還有以下部分：
包裹函數(shù)_great_function。它負(fù)責(zé)將Python的參數(shù)轉(zhuǎn)化為C的參數(shù)（PyArg_ParseTuple），調(diào)用實(shí)際的great_function，并處理great_function的返回值，最終返回給Python環(huán)境。
導(dǎo)
出表GreateModuleMethods。它負(fù)責(zé)告訴Python這個(gè)模塊里有哪些函數(shù)可以被Python調(diào)用。導(dǎo)出表的名字可以隨便起，每一項(xiàng)有4
個(gè)參數(shù)：第一個(gè)參數(shù)是提供給Python環(huán)境的函數(shù)名稱，第二個(gè)參數(shù)是_great_function，即包裹函數(shù)。第三個(gè)參數(shù)的含義是參數(shù)變長，第四個(gè)
參數(shù)是一個(gè)說明性的字符串。導(dǎo)出表總是以{NULL, NULL, 0, NULL}結(jié)束。
導(dǎo)出函數(shù)initgreat_module。這個(gè)的名字不是任取的，是你的module名稱添加前綴init。導(dǎo)出函數(shù)中將模塊名稱與導(dǎo)出表進(jìn)行連接。
在Windows下面，在Visual Studio命令提示符下編譯這個(gè)文件的命令是
cl /LD great_module.c /o great_module.pyd -IC:\Python27\include C:\Python27\libs\python27.lib
/LD 即生成動(dòng)態(tài)鏈接庫。編譯成功后在當(dāng)前目錄可以得到 great_module.pyd（實(shí)際上是dll）。這個(gè)pyd可以在Python環(huán)境下直接當(dāng)作module使用。
在Linux下面，則用gcc編譯：
gcc -fPIC -shared great_module.c -o great_module.so -I/usr/include/python2.7/ -lpython2.7
在當(dāng)前目錄下得到great_module.so，同理可以在Python中直接使用。
本部分參考資料
《Python源碼剖析-深度探索動(dòng)態(tài)語言核心技術(shù)》是系統(tǒng)介紹CPython實(shí)現(xiàn)以及運(yùn)行原理的優(yōu)秀教程。
Python 官方文檔的這一章詳細(xì)介紹了C/C++與Python的雙向互動(dòng)Extending and Embedding the Python Interpreter
關(guān)于編譯環(huán)境，本文所述方法僅為出示原理所用。規(guī)范的方式如下：3. Building C and C++ Extensions with distutils
作為字典使用的官方參考文檔 Python/C API Reference Manual
用以上的方法實(shí)現(xiàn)C/C++與Python的混合編程，需要對Python的內(nèi)部實(shí)現(xiàn)有相當(dāng)?shù)牧私?。接下來介紹當(dāng)前較為成熟的技術(shù)Cython和SWIG。
3 C/C++ 調(diào)用 Python（使用Cython）
在
前面的小節(jié)中談到，Python的數(shù)據(jù)類型和C的數(shù)據(jù)類型貌似是有某種“一一對應(yīng)”的關(guān)系的，此外，由于Python（確切的說是CPython）本身是
由C語言實(shí)現(xiàn)的，故Python數(shù)據(jù)類型之間的函數(shù)運(yùn)算也必然與C語言有對應(yīng)關(guān)系。那么，有沒有可能“自動(dòng)”的做替換，把Python代碼直接變成C代碼
呢？答案是肯定的，這就是Cython主要解決的問題。
安裝Cython非常簡單。Python 2.7.9以上的版本已經(jīng)自帶easy_install：
easy_install -U cython
在Windows環(huán)境下依然需要Visual
Studio，由于安裝的過程需要編譯Cython的源代碼，故上述命令需要在Visual
Studio命令提示符下完成。一會兒使用Cython的時(shí)候，也需要在Visual
Studio命令提示符下進(jìn)行操作，這一點(diǎn)和第一部分的要求是一樣的。
繼續(xù)以例子說明：
#great_module.pyx
cdef public great_function(a,index):
return a[index]
這其中有非Python關(guān)鍵字cdef和public。這些關(guān)鍵字屬于Cython。由于我們需要在C語言中使用
“編譯好的Python代碼”，所以得讓great_function從外面變得可見，方法就是以“public”修飾。而cdef類似于Python的
def，只有使用cdef才可以使用Cython的關(guān)鍵字public。
這個(gè)函數(shù)中其他的部分與正常的Python代碼是一樣的。
接下來編譯 great_module.pyx
cython great_module.pyx
得到great_module.h和great_module.c。打開great_module.h可以找到這樣一句聲明：
__PYX_EXTERN_C DL_IMPORT(PyObject) *great_function(PyObject *, PyObject *)
寫一個(gè)main使用great_function。注意great_function并不規(guī)定a是何種類型，它的
功能只是提取a的第index的成員而已，故使用great_function的時(shí)候，a可以傳入Python
String，也可以傳入tuple之類的其他可迭代類型。仍然使用之前提到的類型轉(zhuǎn)換函數(shù)PyXXX_FromYYY和PyXXX_AsYYY。
//main.c
#include Python.h
#include "great_module.h"
int main(int argc, char *argv[]) {
PyObject *tuple;
Py_Initialize();
initgreat_module();
printf("%s\n",PyString_AsString(
great_function(
PyString_FromString("hello"),
PyInt_FromLong(1)
)
));
tuple = Py_BuildValue("(iis)", 1, 2, "three");
printf("%d\n",PyInt_AsLong(
great_function(
tuple,
PyInt_FromLong(1)
)
));
printf("%s\n",PyString_AsString(
great_function(
tuple,
PyInt_FromLong(2)
)
));
Py_Finalize();
}
編譯命令和第一部分相同：
在Windows下編譯命令為
cl main.c great_module.c -IC:\Python27\include C:\Python27\libs\python27.lib
在Linux下編譯命令為
gcc main.c great_module.c -o main -I/usr/include/python2.7/ -lpython2.7
這個(gè)例子中我們使用了Python的動(dòng)態(tài)類型特性。如果你想指定類型，可以利用Cython的靜態(tài)類型關(guān)鍵字。例子如下：
#great_module.pyx
cdef public char great_function(const char * a,int index):
return a[index]
cython編譯后得到的.h里，great_function的聲明是這樣的：
__PYX_EXTERN_C DL_IMPORT(char) great_function(char const *, int);
很開心對不對！
這樣的話，我們的main函數(shù)已經(jīng)幾乎看不到Python的痕跡了：
//main.c
#include Python.h
#include "great_module.h"
int main(int argc, char *argv[]) {
Py_Initialize();
initgreat_module();
printf("%c",great_function("Hello",2));
Py_Finalize();
}
在這一部分的最后我們給一個(gè)看似實(shí)用的應(yīng)用（僅限于Windows）：
還是利用剛才的great_module.pyx，準(zhǔn)備一個(gè)dllmain.c：
#include Python.h
#include Windows.h
#include "great_module.h"
extern __declspec(dllexport) int __stdcall _great_function(const char * a, int b) {
return great_function(a,b);
}
BOOL WINAPI DllMain(HINSTANCE hinstDLL,DWORD fdwReason,LPVOID lpReserved) {
switch( fdwReason ) {
case DLL_PROCESS_ATTACH:
Py_Initialize();
initgreat_module();
break;
case DLL_PROCESS_DETACH:
Py_Finalize();
break;
}
return TRUE;
}
在Visual Studio命令提示符下編譯：
cl /LD dllmain.c great_module.c -IC:\Python27\include C:\Python27\libs\python27.lib
會得到一個(gè)dllmain.dll。我們在Excel里面使用它，沒錯(cuò)，傳說中的Excel與Python混合編程：
參考資料：Cython的官方文檔，質(zhì)量非常高：
Welcome to Cython’s Documentation
出自：Jerry Jho
重慶分公司
重慶分公司
