2007-08-24: Statyczna namiastka Wikipedii

piątek, 24 sierpnia 2007

Jeżeli chwilowo nie ma się dostępu do internetu można skorzystać ze statycznej namiastki Wikipedii. Zamiast stawiać lokalny serwer MediaWiki i zapychać dysk, można zrobić uproszczoną, funkcjonalną podręczną kopię. Thanassis Tsiodras opisał jak to zrobić przy użyciu Pythona, Perla, PHP, Xapiana i Django.

Logo Wikipedii
Logo Wikipedii

Lokalna kopia Wikipedii wykonana w ten sposób ma ograniczone możliwości wyszukiwania - tylko po tytułach - jednak ma też dwie zalety. Po pierwsze zajmuje dużo mniej miejsca, ponieważ jest to oficjalny zrzut bazy w formacie bz2 (spakowane artykuły z angielskiej wersji zajmują obecnie około 3 GB). Jest on tylko podzielony na części i uzupełniony o indeks. Po drugie zdecydowanie szybciej się ją stawia. Dzielenie na skompresowane kawałki na maszynie z Pentium 4 3 GHz trwało 20 minut, a stworzenie indeksu zajęło około 5 godzin, podczas gdy import do MySQL na tym samym komputerze trwał kilka razy dłużej — aż 36 godzin.

Źródła

edytuj