【Python 】性能優(yōu)化系列：隨機數(shù)

最近在做的項目重點部分與大量生成隨機數(shù)有關(guān)，維度高達[1700000,10000]，需要生成 10 x 30 次左右，這里遇到內(nèi)存和速度的雙重瓶頸，特地研究了一下如何優(yōu)化隨機數(shù)。

成都創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),鼓樓企業(yè)網(wǎng)站建設(shè),鼓樓品牌網(wǎng)站建設(shè),網(wǎng)站定制,鼓樓網(wǎng)站建設(shè)報價,網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,鼓樓網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學習、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。

優(yōu)化時間測試所需的分析工具在另一篇博客《性能優(yōu)化系列一：分析工具》中提到。

原生的python中也有隨機模塊生成 random.randint 和 random.random 等，但是速度非常慢，numpy 速度可以大幅提升。一般都采用numpy生成隨機數(shù)。

比較常用的就是以上幾種。在需要生成大量隨機數(shù)的情況下，或生成偽隨機數(shù)的情況下，python 3.7 常用 RandomState 。

直接生成大規(guī)模非稀疏矩陣如下，經(jīng)常遇到 MemoryError 的錯誤，大概是同時生成多個float64精度的大規(guī)模隨機矩陣服務(wù)器內(nèi)存不夠，而random state 似乎也沒提供調(diào)整類型的attr，

這時最好使用即使生成即使銷毀，僅保留種子作為索引，同樣，多個CPU之間共享大規(guī)模矩陣涉及到共享內(nèi)存或數(shù)據(jù)傳輸同步較慢的問題，最好也共享seed而不是直接共享矩陣。

ps. 這里注意一般我們設(shè)置time.time()為種子時，對于并發(fā)性程序是無效的，不要在并發(fā)程序中同時定義，建議生成一個seed list 列表再從中取。

這里可以對大規(guī)模矩陣進行分片以進行后續(xù)的np 乘法，再切片賦值，以時間換內(nèi)存。這種情況的麻煩在于如果設(shè)定隨機數(shù)種子會導致每個分片的隨機數(shù)相同?？梢岳靡粋€最初seed（爺爺種子）randint生成 一組切片組數(shù)的seed（父親種子），再每次從中取不同的隨機數(shù)。

在上述切片方法嘗試之后，可以解決內(nèi)存問題。但是時間非常慢，特別是采取s = 1時在standard normal 上調(diào)用170萬次的時間長達3000s，line search一下搜索了大約100000為切片值仍然太慢。在文檔中發(fā)現(xiàn)了 BitGenerator 和 Generator ，大約可以提速到原來的 1/3。

除了Numpy和基本模塊之外，AES CTR 加密算法生成隨機數(shù)也很快，但是并不能有比較方便的方式控制每次生成的一樣。參見以下reference。

tensorflow 和 pytorch 也都有大規(guī)模生成隨機tensor的方式。性能待考。

1. 超快生成隨機數(shù)的方式CSDN博客

2. tensorflow 生成隨機tensor

如何用python編寫一個從隨機數(shù)表1~100中抽取三個樣本的隨機數(shù)程序？

#導入隨機數(shù)模塊

import random

#定義一個空的數(shù)組，用作取樣表

reList = []

#為取樣表賦值，1~100

for i in range(1,101):

reList.append(i)

#使用sample方法，取3個隨機數(shù)

res = random.sample(reList,k=3)

print("三個隨機數(shù)是：{}".format(res))

python基礎(chǔ)2：隨機數(shù)生成—random模塊、numpy中的random函數(shù)

在Python中可以用于隨機數(shù)生成的有兩種主要途徑，一是random模塊，另一個是numpy庫中random函數(shù)。

在我們?nèi)粘Ｊ褂弥?，如果是為了得到隨機的單個數(shù)，多考慮random模塊；如果是為了得到隨機小數(shù)或者整數(shù)的矩陣，就多考慮numpy中的random函數(shù),當然numpy也可以的到隨機的單個數(shù)

一、random模塊

二、numpy庫中random函數(shù)

random模塊中將近有7個函數(shù)都是可以用來生成隨機數(shù)的:

作用：隨機生成一個 [0,1) 的浮點數(shù)

作用：隨機生成一個 [a,b) 的浮點數(shù)

作用：隨機生成一個 [a,b] 的整數(shù)

作用：從列表，元組，字符串、集合（可用于for循環(huán)的數(shù)據(jù)類型）中隨機選擇一個元素

作用：在生成的以a為始，每step遞增，以b為終這樣的一個整數(shù)序列中隨機選擇一個數(shù)

作用：打亂一個列表的元素順序

從序列population中隨機取出k個數(shù)；population的類型可以是列表、元組、集合、字符串；

在Numpy庫中，常用使用np.random.rand()、np.random.randn()和np.random.randint()隨機函數(shù)。

作用：返回一個或一組服從標準正態(tài)分布的隨機樣本值

備注：標準正態(tài)分布是以0為均數(shù)、以1為標準差的正態(tài)分布，記為N（0，1）。對應(yīng)的正態(tài)分布曲線如下所示，即

作用：使用方法與np.random.randn()函數(shù)相同 ，通過本函數(shù)可以返回一個或一組服從“0~1”均勻分布的隨機樣本值。隨機樣本取值范圍是[0,1)，不包括1

numpy.random.randint(low, high=None, size=None, dtype='l')

輸入：

low—–為最小值

high—-為最大值

size—–為數(shù)組維度大小

dtype—為數(shù)據(jù)類型，默認的數(shù)據(jù)類型是np.int。

作用： 返回隨機整數(shù)或整型數(shù)組，范圍區(qū)間為[low,high），包含low，不包含high； high沒有填寫時，默認生成隨機數(shù)的范圍是[0，low

np.random.random([size])

作用：生成[0,1)之間的浮點數(shù),與np.random.rand()功能類似

np.random.choice(a,[ size, replace, p])

參考文檔1： 【python】numpy之random庫簡單的隨機數(shù)據(jù)生成.rand()、.randint()、.randn()、.random()等（一）

參考文檔2： Python中隨機數(shù)的生成

參考文檔3： numpy.random模塊常用函數(shù)

終于寫完了，我以為它很簡單的………………預計1小時，結(jié)果寫了2.5小時

randint在python中的意思

python中的randint用來生成隨機數(shù)，在使用randint之前，需要調(diào)用random庫。其表達是為random.randint(x,y)，參數(shù)x和y代表生成隨機數(shù)的區(qū)間范圍。

random() 函數(shù)命名來源于英文單詞random（隨機）。randint是random + integer拼接簡寫而成，代表隨機一個整數(shù)。

Python標準庫中的random函數(shù)，可以生成隨機浮點數(shù)、整數(shù)、字符串，甚至幫助你隨機選擇列表序列中的一個元素，打亂一組數(shù)據(jù)等。

函數(shù)randint的使用

1、OUT = RANDINT

產(chǎn)生一個“ 0 ”或“ 1 ”等概率。

2、OUT = RANDINT(M)

生成的M 矩陣的隨機二進制數(shù)字，“ 0 ”和“ 1 ”出現(xiàn)的概率均等。

3、OUT = RANDINT(M,N)

生成的（M,N) 矩陣的隨機二進制數(shù)字,“ 0 ”和“ 1 ”出現(xiàn)的概率均等。

4、OUT = RANDINT(M,N,RANGE)

生成的(M,N) 矩陣的隨機二進制數(shù)字，RANGE范圍可以是標量或向量。

標量：為正的話，取值為[0,RANGE-1] ，為負的話，取值為 [RANGE+1, 0]。

向量：取值為[RANGE(1), RANGE(2)]。

5、OUT = RANDINT(M,N,RANGE,STATE)

resets the state of RAND to STATE。

Python 隨機產(chǎn)生[0,100]以內(nèi)的隨機數(shù)，找到最大值和最小值并交換位置

過程如圖所示：

獲取1~100以內(nèi)的隨機數(shù)有兩種方法：

方法1：可以通過Math類中的random方法獲取隨機數(shù)，再乘以100加1，然后轉(zhuǎn)換為int類型即可。

方法2：可以通過Random類中的nextInt方法獲取隨機數(shù)。

擴展資料

函數(shù)使用補充說明

1、random是用于生成隨機數(shù)的，可以利用它隨機生成數(shù)字或者選擇字符串。

random.random()，用于生成一個隨機浮點數(shù)：range[0.0,1.0)。

random.uniform(a,b)，用于生成一個指定范圍內(nèi)的隨機浮點數(shù)，a,b為上下限，只要a!=b,就會生成介于兩者之間的一個浮點數(shù)，若a=b，則生成的浮點數(shù)就是a。

random.randint(a,b)，用于生成一個指定范圍內(nèi)的整數(shù)，a為下限，b為上限，生成的隨機整數(shù)a=n=b;若a=b，則n=a；若ab，報錯。

random.randrange(, stop [,step])，從指定范圍內(nèi)，按指定基數(shù)遞增的集合中獲取一個隨機數(shù)，基數(shù)缺省值為1。

random.choice(sequence)，從序列中獲取一個隨機元素，參數(shù)sequence表示一個有序類型，并不是一種特定類型，泛指list，tuple，字符串等。

random.shuffle(x[,random])，用于將一個列表中的元素打亂。

random.sample(sequence,k)，從指定序列中隨機獲取k個元素作為一個片段返回，sample函數(shù)不會修改原有序列。

2、Python中有join()和os.path.join()兩個函數(shù)，具體作用如下：

join()：連接字符串數(shù)組。將字符串、元組、列表中的元素以指定的字符(分隔符)連接生成一個新的字符串。

os.path.join()：將多個路徑組合后返回。