python interpolate函數用法？最近都用到了上采樣下采樣操作，pytorch中可以使用interpolate可以不很輕松的能完成definterpolate(input,sizeNone

python interpolate函數用法？

最近都用到了上采樣下采樣操作，pytorch中可以使用interpolate可以不很輕松的能完成

definterpolate(input,sizeNone,scale_factorNone,modenearest,align_cornersNone):

r

根據給定size或scale_factor，上采樣點或下樣本采集再輸入數據input.

當前支持temporal,spatial和volumetric輸入數據的上采樣，其shape各為：3-D,4-D和5-D.

輸入數據的形式為：mini-batchxchannelsx[optionaldepth]x[optionalheight]xwidth.

上采樣點算法有：nearest,linear(3D-only),bilinear(4D-only),trilinear(5D-only).

參數:

-input(Tensor):inputtensor

-size(int同問Tuple[int]同問Tuple[int,int]有.Tuple[int,int,int]):輸出的spatial尺寸.

-scale_factor(floatorTuple[float]):spatial尺寸的縮放因子.

-mode(string):上樣本采樣算法:nearest,linear,bilinear,trilinear,area.系統(tǒng)默認為nearest.

-align_corners(bool,optional):如果不是text-align_cornersTrue，則對齊input和input的角點像素(cornerpixels)，一直保持在角點像素的值.

變分自編碼器（VAE）目前存在哪些問題，發(fā)展方向是什么？

變分自編碼器（VAE）與生成對抗網絡（GAN）一樣，是無監(jiān)督學習最具前景的方法之一。本文中，牛津大學統(tǒng)計系在讀博士AdamKosiorek從原理上向我們詳細介紹了VAE目前面臨的挑戰(zhàn)。另外，文中也提出來了相對于該方法的幾種改進方向。

隱變量模型

假設不成立你我希望實際一個定義在x∈RD上的概率分布來對整個世界建模，其中p（x）表示x很可能處于的狀態(tài)。這個世界可能會相當急切，我們根本無法明白p（x）的詳細形式。目的是可以解決這個問題，我們分解重組一個變量z∈Rd來詳細解釋x的背景信息。的或x是一個圖像，那就z就可以不記錄關于圖像中可以說物體的出現(xiàn)、數量、類型，包括畫面的背景和光影條件的信息。這個新的變量讓我們可以不將p（x）可以表示為一個無窮混合模型。

這是一個水配模型，因為相對于z的輸入可能會取值，都化入另一個條件分布特點，并的概率通過加權，到了最后得到p（x）。

在這樣的設定下，「決策變量x的觀測值，隱變量z是什么」就成了一個相當很有意思的問題。

也就是說，我們如果能清楚后驗分布特點p(z∣x)。但是，z和x之間也可以顯現(xiàn)出一定高度的離散時間關系（諸如，由一個多層神經網絡實現(xiàn)），但是，D——我們觀測值的維度，和d——隱變量的維度，也很有可能的很大。而邊緣分布的位置和后驗廣泛分布都必須對（1）式積分求值，我們懷疑它們全是無法可以計算的。

我們這個可以實際蒙特卡羅隨機抽樣，根據p(x)≈1M∑Mm1p(x∣z(m))p(x)≈1M∑m1Mp(x∣z(m)),z(m)～p(z)來肯定（1）式，但導致z的空間可能非常大，我們可能是需要上百萬個z的樣本，來能夠得到一個靠譜的估計。

在訓練一個概率模型的時候，我們也可以不使用參數分布-它的參數由一個參數為θ∈Θ的神經網絡來可以確定?，F(xiàn)在，我們就這個可以可以使用更大似然估記來自學得到這些參數。

這里的問題是，我們不能最大化（1）式，只不過我們不能估記它。是為解決的辦法這個問題，我們可以不高分懸賞于有用抽樣（importancesampling）。當我們不需要對遺留下來（名義分布）概率密度廣泛分布（pdf）算上一個期望值時，IS也讓我們是可以從兩個完全不同的概率其分布（建議您廣泛分布）中抽樣，接著將這些樣本對名義分布求期望。用q?(z∣x)它表示我們的建議分布-其中的參數由參數為?∈Φ的神經網絡確定。我們是可以我得到：

依據重要性抽樣的文獻可知，最優(yōu)的建議分布，與名義分布除以2某個函數成比例，其中這個函數的期望是我們期望估計的。在我們的設定下，「某個函數」那是p（x|z）。據貝葉斯定理，p(z∣x)p(x∣z)p(z)/p(x)，這個時候，選擇最優(yōu)建議您分布與后驗分布成比例，想來，后驗分布特點根本無法求高人。

變分自編碼器的誕生

幸運的是，當然了我們這個可以一石三鳥：一個學到的建議其分布來形狀相同肯定后驗分布，我們這個可以最有效的得到邊緣分布特點pθ(x)的估計。在這里，我們不動聲色間換取了一個三句半碼的設定。就是為了怎么學習我們的模型，我們需要：

pθ(x,z)-生成模型，其中真包含：

pθ(x∣z)-一個概率形式的解碼器，和

p(z)-一個定義在隱變量上的先驗分布

q?(z∣x)-一個概率形式的編碼器

替類似估計后驗其分布，我們可以不利用建議分布和后驗其分布之間的KL散度（可以不表述為兩個概率分布的位置之間的距離外），并且我們這個可以游戲窗口化這個結果。

這會兒，我們遭遇的新問題就是：替可以計算KL散度，我們是需要知道后驗其分布。并非是沒有可能，只需依靠一點點代數乘除運算，我們就能能得到這個可以計算出的目標函數。

我在第二行展開攻擊了對數項，在第三行建議使用了貝葉斯定理以及pθ(x)和z是的的的事實。后來一行中的L(xθ,?)是對數概率分布pθ(x)的下界-即常見說的的證據下界（ELBO）。我們是從整理好可以得到：

只不需要一個從我建議你分布特點中抽得的樣本，我們就是可以我得到類似肯定：

我們尋找風利用最大化ELBO的?和θ（大多可以使用隨機梯度下降算法）來訓練模型：

是從價值最大化ELBO，我們或（1）最大化邊緣分布特點，或（2）最小化KL散度，或而完成。不需要注意，ELBO的形狀相同大概是f(x)1、重要性權重為w(x)pθ(x,z)q?(z∣x)的重要性抽取樣本的期望的對數形式。

這個估記量什么？

如果沒有你足夠一遍的看重要性抽樣，就能發(fā)現(xiàn)，對建議其分布的支撐估計比對名義分布的支撐更越來越廣泛——應該是而盡量減少肯定量方差無限小和數值的不穩(wěn)定性。在這里，最好是來系統(tǒng)優(yōu)化KL(p∣∣q)的倒數——因為它有模式平均性質，而并非360優(yōu)化KL（q∣∣p），來趁機是從模式q去看操作找到一個建議的模式p。這意味著我們必須從假的的后驗廣泛分布中進行抽樣，而這是很困難的。以及其它的東西，我們這個可以不使用ELBO的IS估記，充當重要性加權自編碼器（IWAE）。這里的想法很簡單：我們從我建議你其分布中吸納k個樣本，并從中換算出平均概率比，這里的每一個樣本也叫「粒子」。

早就其他證明，這個肯定量是在優(yōu)化修正后的KL散度KL(qIS∣∣pIS)，其中qIS和pIS的定義共有是：

但他和遠古時期分布可那逼近，但qIS和pIS愿意q和p中修真者的存在預想以外的小的變動。各種論文中可證明，360優(yōu)化這個下界也可以得到更好的生成模型。而它也提出了一個另一種后驗分布的位置q的熵非常大的估計（更寬，更分與合），并最終的完全超越了遺留下來KL散度的模式匹配方法。另外個很有意思的結果，如果我們令粒子K的數量趨近無窮盡，我們就可以不不要推斷模型q。

IWAE（第一行）和VAE（第二行）中z的后驗分布特點。圖像從IWAE論文中重現(xiàn)歷史我得到。

IWAE有啥？

重要性加權ELBO，或IWAE，推廣吧了上古時代的ELBO：是對K1，我們有LKL1L。同時有l(wèi)ogp(x)≥Ln 1≥Ln≥L1。簡而言之，我們單獨大概LK的粒子就會，它的結果可能會越接近數據假的對數概率分布的位置——即「界限越緊」。這意味著和遠古時期ELBO的梯度相比較，通過對IWAE求微分我得到的梯度肯定量可以幫助我們找不到一個要好的梯度方向。自余之外，不斷K的增加，梯度大概量的方差會相對應收縮起來。

是對生成模型這些點更加好，但對付建議廣泛分布的時候，就會再次出現(xiàn)問題。伴隨著K的速度變大，見意分布特點中參數的梯度的大小會趨于0，但是比方差收斂得還得快。

令Δ(?)意思是我們優(yōu)化的目標函數（即ELBO）在?上的梯度的小批量肯定。如果不是定義,定義參數更新完的信號-噪聲比（SNR）萬分感謝：

其中E和V四個可以表示期望過和方差。更說明是對pθ，SNR與此同時K增強而提高，但是對q?，SNR緊接著K增強而會增大。這里的結論很簡單?。何覀兛梢允褂玫牧Ｗ右欢?，我們的推斷模型效果是會越差。如果我們冷淡的是可以表示學，我們是會遇到問題了。

更好的估計量

如果說我們在最近的論文《Tighter Variational Bounds are Not Necessarily Better》中證明的，我們這個可以我得到比IWAE更合適的結果。思路是在推斷和生成模型中使用不同的目標，這種方法，我們這個可以絕對的保證兩個目標中都得到小方差非零梯度，結果能夠得到更好的模型。

不同的訓練目標在訓練訓練時期中信號-噪聲比

在上圖中，我們比較好了建議您分布q?的參數?z在更新完中的SNR。SNR最低的VAE最360優(yōu)化L1來訓練。SNR最低的IWAE則通過最優(yōu)化L64。中間的三條曲線可以使用的是不同的組合：生成模型中不使用的L64，斷定模型中可以使用的則是L8或L1。在當前指標下，它們效果可是沒有VAE好，但訓練出的建議分布和生成模型都比不使用VAE或IWAE得到的好。

這里有一個令人驚訝的副作用：不使用我們新的肯定量訓練的模型比在用IWAE本身訓練的模型提升了更高的L64界限。為什么會這樣？實際研究最有效樣本量（ESS）和數據的邊緣概率分布的位置的對數，倒是是最系統(tǒng)優(yōu)化L1，導致了性質好是的建議分布但性質最差的生成模型。如果我們將一個好的建議分布和一個是可以得出好的生成模型的目標特點在一起，我們應該可以得到這個目標的一個方差更小的估計，甚至而是可以換取更好的模型。請在這里欄里點我們論文的詳情。

論文：TighterVariationalBoundsthey'reNot Necessarily Better

論文地址：

摘要：我們而在理論和經驗上其他證明，可以使用更緊的信息下界（ELBO）可能并進一步影響是從下降梯度估計也量的信號-噪聲比來自學推斷網絡的過程。我們的結果對目前都廣應用的隱含假設：「更緊的ELBO是聯(lián)立模型自學和猜想攤銷模式中更適合的變分目標」提出來了敢質疑。依據我們的研究，我們提出來了三個新的算法：偏重要性加權自編碼器（PIWAE）、多層重要性加權自編碼器（MIWAE）和組織重要性加權自編碼器（CIWAE）；在這三個算法中，標準的重要性自編碼器（IWAE）都這個可以才是一個特殊情況。我們可以證明了這三個自編碼器都可以在IWAE的基礎上取得效果提升——就算是我們不使用的是IWAE中的目標來測試3效果。一系列來說，和IWAE兩者相比，PIWAE也可以同樣提升到推斷網絡和生成網絡的效果。