在Android中以Privoxy本地代理替代PAC自動代理設定 (Root)

[karlcheong]

本教學issue已過時,

有使用Android需求的人, 推薦看unblock DNS 服務 #112 或者 drony代理 #259

---

其實這個不算是插件本身的ISSUE,而是想提供一個android能用的unblock youku代理模式

Unblock Youku 計劃中@zhuzhuor 提供了一個pac自動代理設定, 給chrome以外的browser及ios自動解除限制
然而, android手機平版用戶也很多,但是它一直不支持PAC自動代理設定, 無奈只能全局代理
對於我們這些要翻回國內看影片的人來說, 這點很麻煩。

在#65 (comment) 里我說到有2個android上使用代理的方法，但都不太好使
firefox法只能讓firefox使用pac
nodejs伺服器則無法在android運行，
即使在電腦架好伺服器，3G/戶外wifi下使用時看片速度也不理想，受伺服器的上下載速度影響

現在通過privoxy伺服器可以把unblock youku功能更好帶到android上！

功能：　各瀏覽器和影音網站的官方app均可解封，一般不影響系統上其他apps正常使用。
在手機本身運行，實現類pac功能，包括了現有pac里的規則，不影響上下載速度。

要求： 手機已root，對android運行有一定的理解。
如本身連接的網絡需要proxy連接外網則需自行修改privoxy設定

使用方法：
1把opt資料夾放到android的/data里。 規則文件放到 opt/privoxy 里面

2設定好/data/opt所有文件的權限為755

3設定開機自動執行 privoxy

android版本<=2.3 GB的手機
3a安裝autostart.apk/在playstore下載
https://play.google.com/store/apps/details?id=nk.bla.android.autostart

android版本>=3 HC, 4 ICS, 4.X JB的手機 (2.3版本也可以用此法)
3b安裝smanager腳本管理器
https://play.google.com/store/apps/details?id=os.tools.scriptmanager
smanager設定/data/opt/autostart.sh為boot, root

4在系統網絡設定中把代理伺服器設為127.0.0.1連接埠8123

5android重新開機後，即可使用。

---

Privoxy Android軟件包 (opt資料夾) 及規則文件下載

https://github.com/karlcheong/unblock_youku_privoxy_rules
(privoxy 3.0.15, IPv6 capable)

---

如果這里有能人會寫android apps的話，可把所有檔案都封裝成一個apps，
然後就不用那么麻煩去放檔案，也無須再root了。

(在google得知曾經有人將privoxy開發打包成apk，可惜沒有找到apk了)

當然這些規則電腦上也能用，下載電腦版本的privoxy再把規則加入設定里就好了。

這個伺服器源自：@zhuzhuor #49 (comment) 的發言

檔案來源：privoxy android 執行檔來自http://3g.inandroid.cn/bbs/viewthread.php?tid=1116, 其他文件來自privoxy官網

設定參考自以下網頁:
http://www.privoxy.org/3.0.15/user-manual/
Privoxy User Manual
http://blog.csdn.net/lidawei201/article/details/6906218
privoxy——广告过滤和自动代理切换
http://cckpg.blogspot.com/2011/06/privoxy.html
使用Privoxy实现通用选择性代理功能
http://forum.xda-developers.com/showthread.php?t=1281738
Web Browser With Black Background (Invert Colors / Night Mode) Through Proxy Filter

---

[karlcheong]

使用中發現搜狐視頻android APPS版沒有遵守系統proxy設定 (samsung 官方ROM android 4.1),
使用了直連驗證IP而不能觀看
所以要用proxydroid 把APPS的流量用IPTABLES強制轉到privoxy代理才能通過IP驗證

有問題的APPS(Ver):
搜狐視頻(3.X~)
QQ音樂(3.5.0.23~)

[eerenyuan]

这个东西不好用啊... 一开机机器会黑屏一下，怀疑是autostart出问题。我试图手动用RE浏览器去運行這個腳本，也沒用。目前發現的問題是：這裡的帖子說端口是8123，下載文件的說明文件說是80（從配置文件看，應該8123是對的）； autostart.sh裏面這句 > /data/startprivoxy.txt 是要往data目錄下輸出文件嗎？那是否也需要修改data目錄的權限（你說修改所有文件的權限，不太懂是什麽意思，opt下面的所有文件，還是data下面的所有文件？）；config文件裡開的端口是0.0.0.0:8123,可以用這樣的ip嗎？不太懂。謝謝

[karlcheong]

@eerenyuan
" > /data/startprivoxy.txt" 指輸出privoxy運行結果而已
只是方便自己運行 privoxy 時出問題時看是什么問題而已,沒有也可以

修改所有文件的權限指/data/opt之下文件的權限

連接埠是8123才對.里面的說明是我打錯了,謝謝改正

0.0.0.0:8123指在所有網路介面都監聽8123埠,
意思即是和手機同一WLAN下的電腦和其他終端也可以使用手機上的代理
你在手機上用的時候把代理設置為127.0.0.1連接埠8123 就OK
而想在同一WLAN下的電腦和其他終端使用時就指定代理為手機的IP和連接埠8123

autostart.apk會要求ROOT權限,不給就運行不了腳本
要是手動運行腳本的話請先用su切換到root再運行

[eerenyuan]

我现在把文件输出到privoxy folder下，并且给opt
folder下的每个文件都单独设置了755权限。autostart.sh可以手动运行了，并且所有app也可以通过它访问大陆网站。但是autostart（root）本身还是无法使用，我听说这个app第一次重启的时候会提示要求su权限，但是我开机以后只看到屏幕闪一下。你知道有什么可能的原因吗，我使用nexus7，压缩包里的apk和google
play的版本都试过，autostart.sh文件权限甚至改成了777。

On Thursday, May 16, 2013, karlcheong wrote:

@eerenyuan https://github.com/eerenyuan

/data/startprivoxy.txt 指輸出運行結果而已
只是方便自己運行 privoxy 時出問題時看是什么問題而已,沒有也可以

修改所有文件的權限指/data/opt之下文件的權限

連接埠是8123才對.里面的說明是我打錯了,己改正

0.0.0.0:8123指在所有網路介面都監聽8123埠,
意思即是和手機同一WLAN下的電腦和其他終端也可以使用手機上的代理
你在手機上用的時候把代理設置為127.0.0.1連接埠8123 就OK

—
Reply to this email directly or view it on GitHubhttps://github.com//issues/80#issuecomment-17989792
.

[karlcheong]

@eerenyuan 我再試了一台小米1S MIUIV5 4.1的手機不能用autostart.apk
可能是autostart.apk太舊了不能兼容新的系統吧
因為我自己是測過一台SCH-i509 2.3沒問題...

要是不能用autostart.apk就只能找其他開機啟動腳本的方法
比如init.d支持.
我再找找有什么軟件能開機啟動腳本...
先試下smanager吧
https://play.google.com/store/apps/details?id=os.tools.scriptmanager

EDIT: smanager 在我測試的Mi1S 4.1可以開機啟動指定腳本

[eerenyuan]

这个试过了，可以用，把脚本选成boot+su，开机自动后台运行。
谢谢

2013/5/17 karlcheong [email protected]

@eerenyuan https://github.com/eerenyuan 我再試了一台小米1S MIUIV5
4.1的手機不能用autostart.apk
可能是autostart.apk太舊了不能兼容新的系統吧
因為我自己是測過一台i509 GB 2.3沒問題...

要是不能用autostart.apk就只能找其他開機啟動腳本的方法
比如init.d支持.
我再找找有什么軟件能開機啟動腳本吧...

—
Reply to this email directly or view it on GitHubhttps://github.com//issues/80#issuecomment-18051348
.

[karlcheong]

Updated with latest rules and Privoxy 3.0.15 binary found from somewhere on the Internet.

[misakiw]

你好, 那個 privoxy 7z file 下載後不能extract files, 已分別用chrome和firefox下載再用7z解壓(已入password), 但還是顯示file有問題, 可以提供一個新的下載點嗎? 先謝~!
很想在我的android tv box 用上這個來看國內的video~

[karlcheong]

@misakiw 可以用7Z 9.3 alpha or winrar 5 beta

[misakiw]

Thanks @karlcheong!

[redline99cs]

Miui V5

exec sh -c '/storage/sdcard0/Android/data/opt/autostart.sh '
ge/sdcard0/Android/data/opt/autostart.sh '           <
/storage/sdcard0/Android/data/opt/autostart.sh[1]: cd: /data/opt/privoxy: No such file or directory
Unable to chmod /data/opt: No such file or directory
/storage/sdcard0/Android/data/opt/autostart.sh[4]: /data/opt/privoxy/privoxy: not found

[karlcheong]

@redline99cs 請留意下第1步，把opt文件夾放到根目錄下的data 里 (/data)
而不是SD卡下的android/data文件夾 (/storage/sdcard0/Android/data/)

因為sd卡在一般情況下是不能運行程式的,
除非你修改SD卡掛載參數,重新掛載,
再說你也得把sh里的程式路徑一起修改了
所以不建議你把程式放到SD卡里

[foryou168]

It is WORKING!!!
so COOL~~
thanks for your sharing!

but unfortunately sohu app is not working
請問一下你說到搜狐app可用iptables強制轉到privoxy代理
具體是要怎麼用?
我有Proxy droid
然後在market 下了一個老app "Iptables"然後進去只有"install iptables"按下去後沒特別反應然後退出
接下來該怎麼用?

[karlcheong]

@foryou168
open proxydroid
enter following setting

host 127.0.0.1
port 8123
proxytype http

individual proxy
tick the sohu app

then switch on

[foryou168]

it's now working on sohu app
thaks a lot:)

[redline99cs]

Thanks, which app work too?

App

Youku OK
Sohu OK
Tencent (v.qq) NOK

[karlcheong]

@redline99cs
Tencent video apps fixed

The supported apps & websites list should equal to the pac file provided in
https://github.com/zhuzhuor/Unblock-Youku/wiki/%E4%BB%A3%E7%90%86%E6%9C%8D%E5%8A%A1%E5%99%A8%E8%AE%BE%E7%BD%AE%E7%A4%BA%E4%BE%8B

As 08/2013 on android there're (mainly) :
tudou
youku
tencent video
iqiyi
letv
sohu video
Kuwo
kugou
baidu music
qq music

[baoeni]

好像这个下载不了了：https://www.dropbox.com/s/068da33kd01r70m/ubykandroid.7zk
请问有新的地址可以下载吗？

[karlcheong]

@baoeni https://www.dropbox.com/s/de0iqpymn5jzega/ubykandroid.7z

[misakiw]

Hi @karlcheong , 我已經用了privoxy 一段時間, 見到上面有新supported apps, 是否需要重新install上面那個file?
還是它會自動指向新的pac ?

[karlcheong]

@misakiw

規則已更新到最新@2013-8-27 23H00M
我看你應該比較早下載的了, 這里我改了config文件, 把轉發的規則抽了出來成為3個新文件

所以你要更新的話, 最好就是:
把正在運行的privoxy kill了 (terminal 輸入 killall privoxy), 把新的opt資料夾覆蓋舊的opt
再運行autostart.sh就好了

這個沒有更新功能, 都是我在把PAC的規則手動翻譯成privoxy的設定再把目標URL轉發到zhuzhuor的代理
做到跟PAC類似的效果, 只是因為沒打算給很多人用, 沒有想過規則自動更新(本人對於弄程式碼不太行)

當初我弄這個出來是因為

1. 換了android電話, 不能像IOS那樣子直接用pac
2. 我這里網路上行頻寬少得很, 不似日本香港韓國隨便都100M雙向, 在家還好, 外出就看不成了。
   不然我就直接在家里長開一台舊電腦掛著Nodejs程式了。

這個issue算是 #106 , #112 的基礎吧, 那2個應用中也包括了這里設置privoxy的經驗
只是 #112 的反向伺服器正常運行後, 因為那伺服器後台是用作者的nodejs程式, 可以跟著這里直接更新
可能就會沒那麼勤手動翻譯PAC了吧

[misakiw]

@karlcheong Thanks! 明白了!
今晚測試了#112 那個給android用的 dns, 在我的tv box上可以正常運作, 想問一下, 我利用這個dns來看電影對那個"反向伺服器"的loading大不大? 它只是做轉向?

再問多一個問題, 用自設的proivoxy 還是那個dns會比較快?

[karlcheong]

由於DNS+反向代理的限制, 只能以域名做單位來決定代理與否, 代理的精細度及不上chrome extension& proxy.pac
還要負擔使用者 所有DNS請求的轉發
可以說 #112 新伺服器負載會比原來的那個單純pac proxy伺服器重
不過它和原來的那個伺服器一樣也是不用負責影片傳輸的, 不然這單單一個伺服器的資源是受不了的

unblock youku 2台公共PROXY的運作:
一般域名
User-> US IP DNS Forward to -> 3rd party DNS -> get the resolved IP
User-> internet -> target server

白名單域名/包含特殊URL時
User -> US IP DNS / PAC script -> get the Proxy IP
User-> US IP Proxy server -> China server -> internet -> target server

速度和安全性可以這樣高->低比較:

1. 自己架設nodejs 或 自己有國內IP代理配合PAC 做特殊URL轉發
2. 單純privoxy特殊URL轉發向unblockyouku伺服器 或 使用unblockyouku伺服器的pac檔做特殊URL轉發(DNS不變)
3. 使用unblockyouku的DNS反向代理

(1)使用ISP DNS, 連接一般網站時最佳, 除非nodejs / PAC 連接的國內IP代理出問題, 不然不會影響unblock。
缺點: 看 #80

(2)使用ISP DNS, 連接一般網站時最佳, 而一旦unblockyouku伺服器出問題時將不能連接特殊URL, 造成不能unblock。 缺點: 用電腦架設privoxy的話同 #80, 而用路由器架設會有點複雜, 只使用pac的話將不支持android等。

(3)使用unblockyouku的美國DNS轉發器, 連接一般網站時取不到距離自己近的IP, 可能影響瀏覽/下載速度, 而且一旦unblockyouku伺服器出問題而用戶不懂改回DNS設定, 將不能上網。 好處是簡單方便通用。

看完上面的說明後
建議有能力的還是在自己的設備上架設NodeJS代理是最好的
其次是按 #80 #106 架的privoxy 特殊URL轉發上層代理也不錯

[misakiw]

@karlcheong

可不可以support 風行網 android app? 在國外使用很lag 和只有很少影片可以看到(對比電腦版), 不知是不是block了國外ip...

[karlcheong]

@misakiw
我需要一些電腦有,手機沒有的影片的例子
國外使用lag, 而不是完全不能載入(或列表中不能看到)的話,
那不是block ip,而應該是你的網絡連接風行國內伺服器的速度不行
這一般只能直接使用國內代理來解決,

[karlcheong]

@zhuzhuor
或者可以讓nodejs伺服器在遇到tudou播放頁時不用代理直連, 然後修改它的內容再輸出?
在 #68 還有 dns代理上我就是這樣干的, 只是我用的privoxy, 沒遇上什么問題的樣子

這種方法我還在,QQ百度Music等等.. 用過,

@hafa2012
土豆是通過擴展加插一段script來解決的
用pac的話不能加插script所以才不能看

skype很少上 還是mail吧

[zhuzhuor]

@karlcheong
这样的话就得所有 tudou 的 html 页面都要经过代理服务器了，感觉服务器压力会有些大，不过回头可以在 proxy.uku 那服务器上试试看

[hafa2012]

@karlcheong
发现了安卓版本的privoxy,,特来通知
http://www.1mobile.com/proxy---privoxy-beta-3-166804.html
点击下载，会安装一个1mobile market，这个market会自动下载“安卓版的privoxy”
比较慢，要耐心等一段时间才能下载成功，

安装试验了下，这个安卓版的privoxy可以随系统自动启动，就免了autostart,也不用root了，
如果安卓用户都用这个，就节约了服务器的资源
具体配置，还请Karl看看
顺便问，怎么能把那个可直接连接sougou服务的privoxy版本，以及unblock的配置文件整合在这个app里？

[hafa2012]

好像最近都没人来啦。。。

[karlcheong]

@hafa2012 這個privoxy在我的小米機 android4.1 上不能運行...

直接连接sougou服务的privoxy版本是第三方修改過的版本, 他只編譯了Windows版
其他版本得從原代碼編譯.. 問題是我不會= =

[hafa2012]

请会安卓编程的同学出手帮个忙，编译方法已经从法国人处获得，加上Karl说的直连搜狗的代码～
就可以把所有的安卓系统的unblock问题解决了～
最好再加个自动升级配置文件的功能，就像foxfire的adblock插件似的，可以自动更新过滤规则。
这样就不比pac差了

[shine12]

想問OPT 我打包載了8天前上傳的版本
Proxydroid掛globe proxy 都是連網路都沒有
這版目前能成功運作嗎? 折騰很久了= =

另外
完全不用再加任何檔案到OPT資料夾了嗎? 如cnf開頭的三個檔案?
不用放的話 能解youku android tv v1.8.3嗎?

[karlcheong]

需要這3個文件放到 opt\privoxy\ 里面
cnforward.action
cnfilter.action
cnfilter.filter

Proxydroid掛globe proxy 都是連網路都沒有
應該是privoxy沒有運行成功, 你可以試試在terminal中手動運行, 看看它有沒有正常運行

[vingoleong]

youku android tv v1.8.3 是youku 改了服务器 。还是 APP 的检查 改变了？ 由 1.8.1 升 到 1.8。3 就 出现 只能国內沉看了。。郁闷中

[y20729354]

karlcheong

我用你的設定, Proxydroid掛globe proxy 都是連網路都沒有
terminal中手動運行, 看看它有沒有正常運行 <<我不太明白什麼terminal?

[karlcheong]

terminal = 終端機介面程式
我在用這個 https://play.google.com/store/apps/details?id=jackpal.androidterm

[y20729354]

我用了你的設定..是不是要在 opt\privoxy\ 里面 加入
cnforward.action
cnfilter.action
cnfilter.filter
還有什麼要加呢?
另外想問terminal怎測試.我是新手..
亦想問我用小米盒子unblock dns 192.241.222.103..很卡啊..改用這版的方法可以解決嗎?

[karlcheong]

@y20729354
1 就這3個
2 terminal 里先輸入 su -> enter,再輸入autostart.sh 里的命令

不管是用privoxy正向還是反向代理, 都盡量沒有對影片CDN分發地址進行代理
問題是大陸CDN有時不能正常對國外IP分發 對它來說速度較快的地址

要解決的話需要分析出對方CDN分發地址然後進行修改/代理
有需要可看下 #124

[y20729354]

karlcheong 我是新手..太多問題請見諒...

1. 那#124及澳門用戶解決不能使用普通模式問題 #64 固定host 可否設在小米盒子上?#124只提供host放左PC的有關位置!

2. 澳門用戶解決不能使用普通模式問題 #64 那麼多條代理, 我用那一個?我卡主要卡左youku及土豆及愛奇藝....暈...但很奇怪地我用pc chorme unblock youku 插件沒問題啊..

3. #112有提到在andriod device..proxydriod用pac文件方法..可解決嗎?你的回應如下:

   proxydroid 不能支援ub.uku.js的pac文件
   請打開ub.uku.js 的mitm_proxy選項
   然後proxydroid直接設定proxy為http
   再輸入伺服器IP和port

想問怎打開ub.uku.js 的mitm_proxy選項?我不太明白

題外話, 由於PCCW用小米盒子performance 好好多, 我用HKBN...openvpn to PCCW...但出來的unblock
youku的速度仍不理想..你知原因嗎?(已沒有加密..vpn 速度測試為6m/4m...server side cpu loading only 30%...不過unblock youku速度只有150k....比用HKBN直接連更慢..我也不知原因....pccw & hkbn > vpn >pccw tracert route躍點也一樣)..

[karlcheong]

#64,的hosts只針對澳門CTM網絡下, 使用unblock擴展時遇到的DNS問題
對CDN地址沒任何修改, 不能改善速度

#124 是我在chrome下 使用unblock擴展 進行的測試。 里面沒有hosts
測試頭4個伺服器就是插件內建的sogou伺服器和作者的特殊轉發模式伺服器, 後2個是我按作者方法建的轉發模式伺服器。

#112 ub.uku.js 是作者做的獨立代理伺服器程式 詳細可看 ub.uku.im/proxy

[y20729354]

#124 以我理解是把host dns固定後網速會穩定吧...我卡是因為國內CDN就192.241.222.103 dns 給出慢的路徑..有方法解決這問題嗎?
(我已確定192.241.222.103 dns和用chrome extend routing 完全不同, 前者有多個躍點去了美國hop再回內地)
所以我想找出方法能在android device上如小米盒子做到chrome unblock youku extension 相同的路徑!

#112 看了..我不明怎加入--mitm_proxy..<全句command應該怎樣(e.g. ub.uku.js.cmd mitm_proxy?)?我不是電腦人^^

terminal = 終端機介面程式 <<怎樣手動運行privoxy?

謝謝

[y20729354]

karlcheong 在嗎?^^可否教下我

[karlcheong]

以youku/土豆來做例子
chrome extension是 截住 IP驗證地址 (v.youku.com/player...) 後通過國內proxy送出, CDN地址 (f.youku,com)是沒有修改直接送出的
android TV用DNS的話 是 騙系統 把 IP驗證地址 (tv.api.3g.youku.com/...) 通過美國proxy轉送到國內proxy再送出, CDN地址 (f.youku,com/k.youku.com)同樣是沒有修改直接送出的
原因可能是對方CDN 對 網頁版和客戶端 給出的視頻地址不同

使用參數時 把參數加到程式指令的後面 隔一個空格 ...
要使用多個參數時, 把其他參數隔一個空格加到後面

ub.uku.js example.....

ub.uku.js.cmd --mitm_proxy --port=???? --ext_ip=????

terminal 手動運行privoxy 指令

/data/opt/privoxy/privoxy /data/opt/privoxy/config

---

話說我也只會用一下現成工具 最少我是作不出這個extension來

[y20729354]

唔該哂 karlcheong 我今晚試試^^

[y20729354]

karlcheong 兄
ub.uku.js.cmd --mitm_proxy
後沒有回應..time out and socket hang out..
有方法解決嗎?

[karlcheong]

截圖貼出來看看

[y20729354]

karlcheong 兄, 我有沒有打錯command?
另外, 我想問我把那個ip 加入proxydroid?

PC端方面unblock youku出現error Y2003, 怎解決啊..

[y20729354]

karlcheong兄在嗎, 可否教下我?^^
另外, 昨晚至今早dns 192.241.222.103失效了..

[karlcheong]

@grjegreagjergjerja
感謝分享drony
在小米1S android 4.1上 試了一下
這個proxy軟件可以解析PAC呢..
免ROOT之餘WIFI/Cellular 都可以用

另外它的開發者還有個sandroproxy
看起來可以像fiddler2檢查通過proxy的連接.

[y20729354]

Karl 兄..樓上這個

「只要注意你所用的apps會不會使用系統的代理設定。
比如搜狐視頻、QQ音樂等apps就不會使用系統代理設定，所以不能免root unblock」

我root 左用proxyroid..再加Drony 用pac unblock, 應該所有連線都係經Drony出...但連線錯誤不了..為什麼?