Squid - transparent proxy i delay pools.

W tym miejscu zapraszamy Was do współpracy. Czekamy na propozycje, sugestie i rady.
Moderatorzy zatroszczą się o to, by najlepsze teksty trafiły do FAQ.

Moderatorzy: Moderatorzy, Administratorzy

Awatar użytkownika
Ukash
Użytkownik
Posty: 115
Rejestracja: 2004-12-05, 21:18
Lokalizacja: Lublin

Re: Squid - transparent proxy i delay pools.

Post autor: Ukash »

Jesli sie nie myle to o to chodzi: http://sed.pl/~mrk/qos/ ;"Rozwiązanie problemu jest proste - wystarczy oznaczyć pakiety wysłane przez squida w zależności od trafienia/chybienia z cache. Pakiety należące do połączenia będącego trafieniem mogą trafiać do klasy z nielimitowanym transferem."
[url=http://www.uptime-project.net/profile.php?uid=45750][img]http://img.uptime-project.net/img/8/45750.png[/img][/url]
Awatar użytkownika
bzyk
Moderator w st. spocz.
Posty: 991
Rejestracja: 2004-06-05, 06:32
Lokalizacja: Pszczyna
Kontakt:

Re: Squid - transparent proxy i delay pools.

Post autor: bzyk »

Dzisiaj znalazłem w usenecie:

> Poniższe 2 regułki działają mi od bardzooo długiego czasu i nie mam
> żadnego problemu. Transfery HIT ze squida dochodzą do kilku MB/s
>
> /sbin/iptables -t mangle -A OUTPUT -d 192.168.0.0/16 -o eth2 -p tcp
> --sport 3128 -m connmark --mark 0 -m string --string 'X-Cache: MISS from
> ' -j CONNMAR
> K --set-mark 30
> /sbin/iptables -t mangle -A OUTPUT -o eth2 -p tcp --sport 3128 -m
> connmark --mark 0 -m string --string 'X-Cache: HIT from ' -j CONNMARK
> --set-mark 10
>
>
oczywiście poźniej następuje --restore-mark (zapomniałem dopisać)
In /dev/null no one can hear you scream.
luka5z
Użytkownik
Posty: 19
Rejestracja: 2004-12-15, 16:22

Re: Squid - transparent proxy i delay pools.

Post autor: luka5z »

ok, po wydaniu:
./configure --prefix=/usr/squid-20050317 --enable-delay-pools --enable-err-language=Polish --enable-default-err-language=Polish --enable-underscores --enable-linux-netfilter --enable-gnuregex
make&make install

Nie moge znalez squid.conf ?? gdzie on sie podzial ? :cry:
Awatar użytkownika
maiki
Użytkownik
Posty: 376
Rejestracja: 2004-06-18, 10:41
Lokalizacja: Tarnów

Re: Squid - transparent proxy i delay pools.

Post autor: maiki »

jest w /usr/squid-20050317/etc/
jeśli go nie ma (niepamiętam czy jest po kompilacji czy jest tylko squid.conf.default)
to go stwórz: touch squid.conf
Want a productivity tip? Go away and do it fucking now.
luka5z
Użytkownik
Posty: 19
Rejestracja: 2004-12-15, 16:22

Re: Squid - transparent proxy i delay pools.

Post autor: luka5z »

#squid.conf
# Kazda opcja w tym pliku jest dobrze udokumentowana w oryg. pliku squid.conf
# i na http://www.visolve.com/squidman/Configu ... Guide.html
#
#Porty, na ktorych nasluchuje squid.
http_port 3128
icp_port 3130
#zawartosc kat. cgi-bin nie bedzie cache'owana
acl QUERY urlpath_regex cgi-bin \?
no_cache deny QUERY
#Dolne ograniczenie pamieci dla squida. Oczywiscie squid uzyje jej o wiele wiecej.
cache_mem 16 MB
#250 oznacza ze squid uzyje 250 MB przestrzeni dyskowej.
cache_dir ufs /cache 250 16 256
#Umiejscowienie logow squida.
cache_log /var/log/squid/cache.log
cache_access_log /var/log/squid/access.log
cache_store_log /var/log/squid/store.log
cache_swap_log /var/log/squid/swap.log
#Ile razy rotowac logi przed usunieciem (wiecej szczegolow w FAQ)
logfile_rotate 10
redirect_rewrites_host_header off
cache_replacement_policy GDSF
acl localnet src 192.168.0.0/255.255.255.0
acl localhost src 127.0.0.1/255.255.255.255
acl Safe_ports port 80 443 210 119 70 20 21 1025-65535
acl CONNECT method CONNECT
acl all src 0.0.0.0/0.0.0.0
http_access allow localnet
http_access allow localhost
http_access deny !Safe_ports
http_access deny CONNECT
http_access deny all
maximum_object_size 3000 KB
store_avg_object_size 50 KB
#Ustaw te opcje, jesli chcesz skonfigurowac proxy w trybie transparentnym.
#Transparentne proxy oznacza, ze nie musisz konfigurowac wszystkich
#przegladarek klienckich, ale ma rowniez pewne wady.
#Pozostawienie tej opcji odkomentowanej nie wyrzadzi zadnej szkody.
httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_with_proxy on
httpd_accel_uses_host_header on
#Wszyscy uzytkownicy sieci lokalnej beda widziani przez zewnetrzne serwery www,
#jak gdyby uzywali Mozilli na Linuksie :)
anonymize_headers deny User-Agent
fake_user_agent Mozilla/5.0 (X11; U; Linux i686; en-US; rv:0.9.6+) Gecko/20011122
#Azeby przyspieszyc nasze polaczenie, nalezy wpisac dwie linie
#podobne do tych ponizej. Pokazuja one na nadrzedny serwer proxy, z ktorego bedzie
#korzystal nasz squid. Nie zapomnij ustawic serwera na ten,
#ktory bedzie dla Ciebie najszybszy!
#Zmierz pingi, tracerouty itd.
#Upewnij sie, ze porty http i icp sa poprawne.
#Odkomentuj, jesli trzeba, linie zaczynajace sie od "cache-peer".
#To jest proxy, ktorego zamierzasz uzyc do wszystkich polaczen
#cache_peer w3cache.icm.edu.pl parent 8080 3130 no-digest default
#... poza polaczeniami i adresami IP rozpoczynajacymi sie od "!"
#cache_peer_domain w3cache.icm.edu.pl !.pl !7thguard.net !192.168.1.1
#Ponizsza opcja przydaje sie, jesli chcemy korzystac z Cache Managera.
#Skopiuj cachemgr.cgi do katalogu cgi-bin swojego serwera WWW.
#Plik dostepny jest pod adresem:
#http://your-web-server/cgi-bin/cachemgr.cgi
cache_mgr luka5z@tlen.pl
cachemgr_passwd ac3xf28h all
#To jest nazwa uzytkownika, pod ktora bedzie dzialal squid.
cache_effective_user squid
cache_effective_group squid
log_icp_queries off
buffered_logs on
#####DELAY POOLS - PULE SPOWALNIAJACE
#To jest najwazniejsza czesc dla zarzadzania ruchem przychodzacym przez squida.
#Szczegoly znajdziesz w pliku squid.conf albo w dokumentach na http://www.squid-cache.org
#Nie chcemy ograniczac downloadow z naszej sieci lokalnej.
acl magic_words1 url_regex -i 192.168
#Chcemy ograniczyc sciaganie ponizszych typow plikow
#Wszystkie nazwy nalezy umiescic w jednej linii
acl magic_words2 url_regex -i ftp .exe .mp3 .vqf .tar.gz .gz .rpm .zip .rar .avi .mpeg .mpe .mpg .qt .ram .rm .iso .raw .wav .
#Nie blokujemy plikow .html, .gif., .jpg ani podobnych, poniewaz na ogol
#nie pochlaniaja one duzej czesci pasma.
#WChcemy ograniczyc pasmo podczas dnia, oraz nie ograniczac go przez noc.
#Uwaga! Z acl-em ustawionym tak, jak ponizej, sciaganie plikow
#moze zostac przerwane o 23:59. Jesli chesz tego uniknac, przeczytaj sekcje 'FAQ'.
acl day time 09:00-23:59
#Ustawiamy 2 pule spowalniajace
#Zajrzyj do dokumentacji squida, zeby zaznajomic sie z pojeciami
#delay_pools and delay_class.
delay_pools 2
#Pierwsza pula spowalniajaca
#Nie chcemy spowalniac naszego ruchu lokalnego
#Z trzech zadeklarowanych klas spowalniania zajmiemy sie tylko druga.
#Pierwsza (1) i druga (2) klasa spowalniania
delay_class 1 2
#-1/-1 oznacza, ze nie ustawiamy ograniczen
delay_parameters 1 -1/-1 -1/-1
#magic_words1: 192.168 ktore ustawilismy wczesniej
delay_access 1 allow magic_words1
#Druga pula spowalniajaca.
#Chcemy spowolnic sciaganie plikow opisanych jako magic_words2.
#Druga (2) klasa spowalniajaca drugiego typu (2)
delay_class 2 2
#Numery tutaj to wartosci w bajtach;
#nalezy pamietac, ze squid nie bierze pod uwage bitow startu/stopu
#5000/150000 to wartosci dla calej sieci
#5000/120000 to wartosci dla pojedynczego IP
#kiedy sciagane pliki przekrocza okolo 150000 bajtow
#(albo nawet dwa albo trzy razy tyle)
#beda one dalej sciagane z predkoscia ok. 5000 bajtow/s.
delay_parameters 2 5000/150000 5000/120000
#'day' (dzien) zostal ustawiony wczesniej jako 09:00-23:59.
delay_access 2 allow day
delay_access 2 deny !day
delay_access 2 allow magic_words2
#EOF



Oto konfig ktory skastam wygrzebalem i niewiedzac zbytnio wstawilem... potem uruchomilem squida, zapodalem:
iptables -t nat -A PREROUTING -s 192.168.0.1/255.255.255.0 -p tcp --dport 80 -j REDIRECT --to-port 3128
ale stronki meg wolno mula... :[
Czy pomimo tej regulki iptables musze w przegladarce dopisywac proxy, czy niekoniecznie... Ponoc squid przyspiesza a to muli maxx :/


I co to jest w cache menager...
Address: 192.168.0.2
Name: 192.168.0.2
Currently established connections: 6
ICP Requests 0
HTTP Requests 2646
TCP_HIT 83 3%
TCP_MISS 1706 64%
TCP_REFRESH_HIT 3 0%
TCP_CLIENT_REFRESH_M 493 19%
TCP_IMS_HIT 93 4%
TCP_NEGATIVE_HIT 242 9%
TCP_MEM_HIT 26 1%

I majac scr_ipfm czemu gdy odpale sqiuda i przekieruje regulka www na 3128 to juz nie moge wejsc na statystyki: Sorry, You don't have permission to access on this server. :x
Awatar użytkownika
maiki
Użytkownik
Posty: 376
Rejestracja: 2004-06-18, 10:41
Lokalizacja: Tarnów

Re: Squid - transparent proxy i delay pools.

Post autor: maiki »

Dzień dobry :)
czytając pojawiające sie, jak to ładnie zostało nazwane 'elaboraty', doszedłem do wniosku
iż wyżej napisany 'FAQ' dot squida jest na dość niskimi poziomie językowym, merytorycznym być może nie, aczkolwiek można dopisać jeszcze pare ciekawych rzeczy (autoryzacja, gnu_regex, acl, wykresy dla squida).

Chcialem spróbować talentu pisarskiego - nie udało się, nie dla mnie ta dziedzina ;/

Proponuje 'podzielić się' tekstem z Kimś z większym doświadczeniem i talentem pisarskim do rozbudowania go do takiej formy by trafił do dzału FAQ ;-)

Dziękuje i pozdrawiam autorów tekstów.
Want a productivity tip? Go away and do it fucking now.
Awatar użytkownika
Skyscraper
Administrator
Posty: 753
Rejestracja: 2004-05-22, 10:46
Lokalizacja: Wrocław
Kontakt:

Re: Squid - transparent proxy i delay pools.

Post autor: Skyscraper »

Maiki, nie stresuj sie niczym :) nie ma ku temu powodow.
Tekst o squidzie na pewno sie przyda w faq i fajnie by bylo przy nim popracowac aby stal sie bardziej kompleksowy. Nie ma co go zostawiac na pastwe losu. Moze pogadasz z bzykiem odnosnie wspolnego opracowanie tego artykulu? Wiem ze On ma doswiadczenie ze squidem.
Bzyk ? co Ty na to?
Akira
Użytkownik
Posty: 75
Rejestracja: 2004-06-14, 17:18

Re: Squid - transparent proxy i delay pools.

Post autor: Akira »

Kiedys juz tu zaglądałem a zapomniałem o tym wątku kompletnie. Mam dwa pytania które zadałem TU . Niestety nikt nie odpowiedział :(. Wiec pytam ponownie:

1. czy po skonfigurowaniu squida na transparentnego powinny dzialac autoryzacje (konkretnie kozystam z NCSA), czy moze transparentnosc to wyklucza?

2. squid obsługuje http, https, ftp itd. po ustawieniu transparentnosci jak to ma dzialac. Jak narazie przy transparentnosci squid obsługuje u mnie tylko http.
Awatar użytkownika
maiki
Użytkownik
Posty: 376
Rejestracja: 2004-06-18, 10:41
Lokalizacja: Tarnów

Re: Squid - transparent proxy i delay pools.

Post autor: maiki »

ad1. autoryzacji nie robiłem, wg mnie nie powinno się wykluczać
ad2. dodałeś obsługę portów bezpiecznych: acl SSL_ports port 443 do konfiguracji squida?
Want a productivity tip? Go away and do it fucking now.
Akira
Użytkownik
Posty: 75
Rejestracja: 2004-06-14, 17:18

Re: Squid - transparent proxy i delay pools.

Post autor: Akira »

maiki pisze:ad1. autoryzacji nie robiłem, wg mnie nie powinno się wykluczać
ad2. dodałeś obsługę portów bezpiecznych: acl SSL_ports port 443 do konfiguracji squida?

acl SSL_ports port 443 563

acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp

acl Safe_ports port 443 563 # https, snews

acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT
acl my_networks src 192.168.0.0/24 192.168.1.0/24 192.168.2.0/24
acl ncsa_users proxy_auth REQUIRED
http_access allow manager localhost
http_access deny manager

http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports

#http_access allow ncsa_users
#http_access allow my_networks
http_access allow my_networks ncsa_users
http_access deny all


O to chodzi ? Bo jesli tak to juz jest i troche to mało.

Może ktos by powiedział czy transparentne proxy moze obsługiwac wiele typów ruchu sieciowego (TAK/NIE). czy moze wymagane sa dziwne kombinowania ze dla http np bedzie jedno proxy na XXXX porcie dla https drugie na YYYY porcie.

Kluczowe wydaje mi sie to w konfigu squida:
httpd_accel_port 80
wiec wychodzi ze tylko http. Ale pewnie sie myle, a skoro juz jest FAQ to chciałbym rozwiać swoje wątpliwosci w róznych sprawach. Pare rzeczy o squid przeczytałem (ale prawdopodobnie niezbyt dokładnie - a chciałbym zeby forum troche przyspieszało rozwiązywanie problemów :) )
Awatar użytkownika
maiki
Użytkownik
Posty: 376
Rejestracja: 2004-06-18, 10:41
Lokalizacja: Tarnów

Re: Squid - transparent proxy i delay pools.

Post autor: maiki »

http://www.squid-cache.org/Doc/FAQ/FAQ-1.html#ss1.12 czy to wyjaśnia twoje pytania?
Nie spotkalem się z problemem aby ruch przekazywany przez squida (także ten kierowany na porty 443) był odżucany.
Moze przez iptables przekierowałeś tylko port 80 na port squida, a nie zrobiłeś tego z 443?

Akira pisze: a skoro juz jest FAQ
to są propozycje do faq :P
Want a productivity tip? Go away and do it fucking now.
sayetan
Moderator w st. spocz.
Posty: 2193
Rejestracja: 2004-06-20, 21:47
Lokalizacja: Jelenia Góra

Re: Squid - transparent proxy i delay pools.

Post autor: sayetan »

Możecie mi powiedzieć czy taki komputer starczy do postawienia squida dla 3 komputerów.

CPU: Celeron 333 mhz
RAM: 96 MB (niestety wiekszośc zajęte) + 256 MB SWAP
HDD: hda - 1GB; hdc - 3 GB (stary model dysku ale jest on fabrycznie nowy) MODEL: Fujitsu MPB3032AT

Na Squida chciałem przeznaczyć cały drugi dysk czyli ten 3 GB + dołożyć markowanie pakietów tak jak wyżej bzyk opisał.

Opcjonalnie moge załatwić Duron 800 mhz + 265 MB ale to jeśli rzeczywiście obecny server nie pociągnie Squida

Czy w ogóle Squid da coś w 3 osobowej sieci ?
Ja przeglądam strony + czasami gram, brat gra cały czas w gre(czasami ogląda strony) no i mój Tato, on ciągle przegląda strony

Dzięki
Awatar użytkownika
bzyk
Moderator w st. spocz.
Posty: 991
Rejestracja: 2004-06-05, 06:32
Lokalizacja: Pszczyna
Kontakt:

Re: Squid - transparent proxy i delay pools.

Post autor: bzyk »

sayetan: dla trzech osob w zupelnosci wystarczy. Nie ustawiaj tylko za duzego cache, bo squid potrzebuje troche ramu na trzymanie indeksow, a Ty nie masz go za duzo. Proponowalbym 300MB. Uruchom na tym squidzie delay_pool (nikt sciaganiem mptrojek przez www nie zarznie Ci lacza).
In /dev/null no one can hear you scream.
sayetan
Moderator w st. spocz.
Posty: 2193
Rejestracja: 2004-06-20, 21:47
Lokalizacja: Jelenia Góra

Re: Squid - transparent proxy i delay pools.

Post autor: sayetan »

czy ma ktoś jakiś działający confi do squida ? męcze sie z tym już od 11 rano i jeszcze tego nie skonfigurowałem
opisów jest mało i to jeszcze niedokładne(takie jak ten wyżej) w logach mam cały czas TCP_MISS i w ogóle mi nic nie zapisuje na dysk
może być nawet opis konfiguracji, ważne by był kompletny i działający.
Awatar użytkownika
maiki
Użytkownik
Posty: 376
Rejestracja: 2004-06-18, 10:41
Lokalizacja: Tarnów

Re: Squid - transparent proxy i delay pools.

Post autor: maiki »

sayetan, coś Ci nie działało z tego opisu, napisz prosze, postaram sie poprawić, może wkońcu uda mi się doprowadzić go do porządku: co jest niedokładne twoim zdaniem.
Want a productivity tip? Go away and do it fucking now.
ODPOWIEDZ