Arch Linux

Ciao,

ricordo questo thread ed avevo trovato molto comodo una simile risoluzione con powerpill.
Ora Xyne a ritirato i suoi pacchetti che son in conflitto col nuovo pacman.

Io conterei in un programmino che scriva il file di input per aria2c, considerando anche l' uso di mirror in parallelo.
Ho anche visto il wiki che parla di pacget, che e' obsoleto e fallisce.
Il pacman sequenziale non da il meglio dello scaricamento, meglio parallelo e multiplo. L' opzione con aria2c come manager di pacman non e' ancora efficiente come scaricare pacchetti in parallelo.
.
Qualche innovazione?

c'è anche airpac
https://wiki.archlinux.org/index.php/Improve_Pacman_Performance
comunque io tempo fa provai powerpill e aira2 configurato in pacman e non notavo sta differenza abnorme .. poi ho tolto tutto perchè non trovavo sti benefici di download multipli.. sarà che ho una 7 mega di profilo di connessione....

Airpac mi sembra che abbia degli errori e non ho capito con quale python si debba avviare. Facile che non sia aggiornato a python 3.
.
Siccome mi muovo di frequente e son connesso a router che condividono la connessione, mi trovo ad avere transferimenti di pochi Kbytes.
Se usassi aria2c ottimizzato per l' uso di diversi mirror e split di file grandi o come powerpill riesco a carpire tutta la banda disponibile

.
Tornando a pacget, e' sequenziale anche lui e l' errore e' riferito alla riga passata ad aria2c, che ha cambiato qualcosa rispetto a pacget.
provo a revisionare airpac, se riesco a capirci. Solo che mi e' molto nuovo il python 3.

Basta che installi python2 e lo lanci con quello, senza star lì a convertirlo.

Hilinus ha scritto:Basta che installi python2 e lo lanci con quello, senza star lì a convertirlo.

Ho tutte 2, ma entrambe danno errore.

sul forum internazionale proponevano di usare COWER.

A quanto ho letto è stato proprio l'autore di Xyne a decidere di abbandonarlo (parlava di codice sporco, obsoleto).
Probabilmente ha qualcosa in cantiere, per me powerpill è stato una manna dal cielo!

No, luco. È che a causa dei grossi cambiamenti nella nuova versione di pacman, i suoi progetti sono ora incompatibili, e richiedono molte modifiche per essere di nuovo funzionanti. Avendo a che fare comunque con una mole così imponente di lavoro, mi pare di capire che abbia intenzione (se ne troverà il tempo) di riscriverli di sana pianta.

trapanator ha scritto:sul forum internazionale proponevano di usare COWER.

Lo stai usando?
Qualcuno mi dice come lavora?
Io trovo che il metodo sequenziale di scaricamento di pacman non e' efficacie come quello di parallelizzare e mettere tutto in cache.
Ci sono alcune descrizioni di aria2c che non capisco come si possa costruire un input file con la lista dei pacchetti da scaricare.
Credo che con un po' di python + pacman -Sup + rankmirrors -n10 /etc/pacman.d/mirrorlist si possa tirar fuori la lista dei primi 10 mirror per aria2c con eventuali altre opzioni di aria2c.
Sebbene airpac ha gia' qualcosa di valido, non riesco a farci il debug, perche' e' usato da pacman che gli passa i parametri

. Comunque questo non e' parallelo.

.
Vabbe', faccio qualche esperimento......

Sono molto interessato all'argomento...di python me ne intendo poco ma posso buttare giù qualche riga in bash....Più o meno ho già un idea su come implementare la cosa, ma sicuramente verranno fuori problemi che ora magari sottovaluto...In sti giorni mi dedico un po' vediamo cosa posso tirare fuori...Se riesco nel mio intento aprirò una discussione a riguardo

È stato più facile del previsto

L'implementazione ancora è piuttosto sporca ma il ragionamento di fondo c'è....
TheSaint ti intendi un po' di aria2? Io ho una lista di url in un file, che parametri gli passo per ottimizzare al meglio il parallelismo / numero di connessioni / differenti server?

Cercando nel man ho trovato queste:

Codice: Seleziona tutto: -j, --max-concurrent-downloads=N Set maximum number of parallel downloads for every static (HTTP/FTP) URI, torrent and metalink. See also -s and -C option. Default: 5 -s, --split=N Download a file using N connections. If more than N URIs are given, first N URIs are used and remaining URIs are used for backup. If less than N URIs are given, those URIs are used more than once so that N connections total are made simultaneously. The number of connections to the same host is restricted by --max-connection-per-server option. Please see -j and --min-split-size option too. Please note that in Metalink download, this option has no effect and use -C option instead. Default: 5 -C, --metalink-servers=NUM_SERVERS The number of servers to connect to simultaneously. Some Metalinks regulate the number of servers to connect. aria2 strictly respects them. This means that if Metalink defines the maxconnections attribute lower than NUM_SERVERS, then aria2 uses the value of maxconnections attribute instead of NUM_SERVERS. See also -s and -j options. Default: 5

@Hilinus

ce l'ho sotto mano da un po' il man

La mia domanda era per evitarmi 1000 prove per trovare la combinazione giusta di questi parametri...

@dieghen89
Il tuo contributo e' generoso. In pratica se guardi nella sottosezione > Input File

Codice: Seleziona tutto: The input file can contain a list of URIs for aria2 to download. You can specify multiple URIs for a single entity: separate URIs on a single line using the TAB character. Each line is treated as if it is provided in command-line argument. Therefore they are affected by -Z and -P options. Lines starting with "#" are treated as comments and skipped. Additionally, the following options can be specified after each line of URIs. These optional lines must start with white space(s). • all-proxy

Questo significa che tutte le opzioni possono esser messe nell' input file togliendo "--" davanti piu' tutti gli URI (??)

dove pescare il file.
Questo richiede un processo di composizione degli indirizzi dei pacchetti coi N mirror migliori e metterli nella lista, separati da un TAB (se non sbaglio) di seguito si puo' definire tutte le opzioni di aria2c come gli equivalenti da CLI eccetto "--" davanti.
Una volta preparata la lista dei files richiesti da pacman, che andranno salvati in /var/cache/pacman/pkg si puo' dire a pacman di procedere e trovando gia' tutto scaricato fara' solo l' aggiornamento senza scaricare ulteriormente.
Questo e' quello che powerpill faceva, che inoltre verificava se i pacchetti erano buoni scaricati senza successo.
.
Aggiungo che in fondo si fa esplicito uso di Python2.7 e si puo' interfacciarsi a aria2c al volo.
Di airpac si possono prendere le idee delle funzioni usate per generare gli URI e qualcos' altro in generale, poi convertirlo in un python valido (meglio il 3, e non ci pensiamo piu'

)
Esiste il programma 2to3, ma non ho avuto ancora le possibilita' di debuggare l' airpac convertito.
Quindi i modi possono esser 2 tramite RPC o tramite composizione dell' input file.

TheSaint sfortunatamente non conosco così bene il python e tutto si può fare anche con il bash...Non dobbiamo andare a fare delle query online o similari come faceva yaourt prima della creazione di package-query quindi non c'è nessun tipo di rallentamento usando bash...

Ho aperto un topic nella sezione progetti, possiamo continuare lì a parlare...

OK, qui si chiude

Arch Linux

Indice › Supporto tecnico › Pacman › Powerpill e' morto ;(, qualcosa per velocizzare

Chi c’è in linea