Antons blogg om elektronik och Linux

3 augusti, 2010

4chan download script for Linux

Filed under: Okategoriserat,Terminal — Anton @ 14:10
Tags: , , ,

Jag brukar ju vanligtvis skriva på svenska, men eftersom detta inlägget riktar sig mot en internationell publik tänker jag ta tillfället i akt och skriva det på engelska.

The 4chan download script

This is an update of the 4chan download script for Linux written by Daniel Triendl, http://blog.pew.cc/blog/4chan+download+script/

The modified script downloads every image file in a 4chan thread, preserving the original file names (not the incrementing numbers given by 4chan). Perfect for downloading entire sets of pictures or other original content. Tested on a few different boards but should theoretically work on all.

Last update: August 2012 (after 4chan’s HTML5 redesign and switch to HTTPS per default). Known bugs and limitations:

  • If there are several files in the thread with the same original filename, only the first will be downloaded.
  • If an image file from another thread is linked to in a post, it will also be downloaded and the link-filename relationship will be messed up.
  • Network errors are treated like 404 errors.
  • Threads that has a slash (/) in the subject breaks the link-filename relationship because the subject is treated like a filename. No known workarounds at this time.
#!/bin/bash
# A bash script for downloading all images in a 4chan thread to their original
# filenames. Updates every 60 seconds until canceled or the thread disappears.
# 
# Copyright 2008, 2010, 2012 Daniel Triendl, Anton Eliasson
# http://blog.pew.cc/blog/4chan+download+script/
# https://antoneliasson.wordpress.com/2010/08/03/4chan-download-script/
# 
# 
# This program is free software: you can redistribute it and/or modify
# it under the terms of the GNU General Public License as published by
# the Free Software Foundation, either version 3 of the License, or
# (at your option) any later version.
# 
# This program is distributed in the hope that it will be useful,
# but WITHOUT ANY WARRANTY; without even the implied warranty of
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
# GNU General Public License for more details.
# 
# You should have received a copy of the GNU General Public License
# along with this program.  If not, see <http://www.gnu.org/licenses/>.
#

if [ "$1" = "" ]; then # no arguments
	echo "Usage: `basename $0` <4chan thread url> [optional: download directory]"
	exit 1
fi

if [ "$2" = "" ]; then # only one argument
	LOC=$(echo "$1" | egrep -o '([0-9]*)$' | sed 's/\.html//g' ) # find out the thread number
else
	LOC=$2 # use download dir specified by user
fi
echo "4chan downloader"
echo "Downloading to \"$LOC\" until canceled or 404'd"

if [ ! -d $LOC ]; then
	mkdir -- $LOC
fi

cd -- $LOC # new directory named after the thread number

while [ "1" = "1" ]; do
	thread=`mktemp` # thread is the html thread
	links=`mktemp` # links will be a list of all image addresses
	names=`mktemp` # names will be a list of all original file names

    # get thread
    echo "Updating..."
	wget -q -k -O "$thread" "$1"
	if [ "$?" != "0" ]; then
		echo "Update failed, exiting"
		date
		rm $thread $links $names
		exit 1
	fi

    # get file list, space separated
	grep -E -o 'http[s]?://images.4chan.org/[a-z0-9]+/src/([0-9]*).(jpg|png|gif)' "$thread" | uniq | tr "\n" " " > "$links"

	# get original file name list, space separated (spaces in filenames changed to underlines)
	sed 's/ /_/g' "$thread" | grep -E -o '<span_title="[^"]+' | awk -F \" '{print $2}' | tr "\n" " " > "$names"

	COUNT=`cat $names | wc -w` # total number of files/names
	for ((i=1; i<=$COUNT; i++)); do
		wget -nv -nc -O `cut -d ' ' -f $i $names` `cut -d ' ' -f $i $links` # now download all files, one by one
	done

	rm $thread $links $names

	echo "Waiting 60 seconds before next run"
	sleep 60
done;

This should run on any Linux-based OS using the bash shell. Feel free to contact me if you find any bugs and/or improve the script.

Annonser

27 juli, 2010

Reparera moderkortet på en IBM Thinkpad T23

Filed under: Reparationer,Skrot — Anton @ 20:49
Tags: , , , , ,

Vid mitt senaste besök på skroten hittade jag två välanvända Thinkpad T23. Med välanvända menar jag att den ena såg ut som att den hade blivit tappad från en balkong. Det var i alla fall inte utsidan som var det direkta problemet, utan det faktum att ingen av dem startade! Den ena ville inte alls. Den andra lyste åtminstone lite och fläkten snurrade upp och ner konstant. Nåja tänkte jag, det går ju åtminstone att plocka delar från dem. Tillsammans hade de ett batteri, en hårddisk på 20 GB och två trådlösa nätverkskort, FEL, det visade sig bara vara ett par sunkiga telefonmodem!

Hur som helst började jag stycka upp den ena för skojs skull. IBM har en utmärkt servicehandbok till denna dator. Några bilder från nermonteringen:


(more…)

26 juli, 2010

Köra Truecrypt i Ubuntu utan root

Filed under: Linux,Terminal — Anton @ 10:15
Tags: , , , ,

Varje gång en Truecrypt-volym ska monteras krävs root-tillgång. Det blir lite jobbigt att skriva in lösenordet varje gång så här följer en enkel guide hur man gör så att vanliga användare kan använda Truecrypt.

  • Lägg till en ny grupp som heter truecrypt:
sudo groupadd truecrypt
  • Ändra i sudo-konfigurationen med kommandot:
sudo visudo
  • Lägg till följande rader i slutet av filen:
# Users in the truecrypt group are allowed to run TrueCrypt as root.
%truecrypt ALL=(root) NOPASSWD:/usr/bin/truecrypt
  • Till sist lägger du till din egen användare i den nya gruppen:
sudo gpasswd -a din_användare truecrypt

Nu ska du inte behöva ange ditt lösenord nästa gång du monterar en krypterad volym i Truecrypt. Guiden kommer ursprungligen från http://wiki.archlinux.org/index.php/TrueCrypt#Mount_volumes_as_a_normal_user. Den här är dock förenklad något genom att jag tog bort några steg som inte var nödvändiga så länge bara Truecrypt endast användst i grafiskt läge.

25 juli, 2010

Reparera Siemens-diskmaskin

Filed under: Reparationer — Anton @ 22:45
Tags: , , , ,

Efter fem års trogen tjänst tackade vår diskmaskin för sig och gick och la sig. Egentligen gjorde den inte ens det, den var bara stendöd en dag. Med gemensamma krafter lyckades jag, pappa och en tysk vid namn Janko Hack lista ut vad felet var. Vår diskmaskins modellnummer är SE35A262SK, med detta gäller troligtvis för de flesta Siemens-diskmaskiner.

OBS: Det var inget mekaniskt så ni med igentäppta vattenpumpar kan sluta läsa här 🙂

(more…)

Projekt: Kaffetimern

Filed under: DIY,Projekt — Anton @ 21:20
Tags: , , , , , ,

Det händer lite för ofta att jag glömmer att stänga av kaffebryggaren när jag är sist att hälla upp. För att det inte ska krävas en eldsvåda innan jag lär mig uppfann jag denna prylen: en timer som stänger av kaffebryggaren (eller vad man nu väljer att koppla in) automagiskt efter 45 minuter.

För detta projekt har jag skapat en egen sida här på bloggen, du hittar den här.

16 juli, 2010

Bygga hårddiskvagga till Dell Optiplex GX620

Filed under: DIY,Skrot — Anton @ 15:46
Tags: , , , ,

Min GX620 är numera i prima skick igen efter att ha fått lite kärlek och ett par nya kondensatorer. Det enda som saknas nu för att den ska bli komplett är en hårddisk och någon slags fästanordning till denna. Visst finns de att köpa från Dell, men varför köpa sånt en kan göra själv? Dessutom har jag ju en hel del plexiglas att göra av med sedan det misslyckade etstanksbygget.

De bitarna som skulle blivit kortsidorna var ungefär 3-4 cm breda, vilket fick duga. Först sågade jag av dem till lagom längd. Bågfil gick fortare än att byta till kapskiva på Dremel-kopian. Därefter mätte jag ut var jag skulle borra hål för skruvarna som fäste hårddisken samt var ”piggarna” på processorkylaren satt.

För skruvarna borrade jag först med 4 mm-borr rakt igenom, sedan borrade jag upp till hälften med 8 mm-borr för att försänka skruvhuvudet. För plastpiggarna använde jag 6 mm-borr. Det ena hålet hamnade lite fel så jag fick slipa upp det efteråt.

Och nej, jag tänker inte sälja en dator med en 20 GB-hårddisk, jag hade den bara för att mäta med 🙂

15 juli, 2010

Byta batteri i Theben-tidrelä

Vid mitt senaste besök på skroten hittade jag ett tidrelä/tidur/kopplingsur, märke och modell Theben Termina Top 610. I vanlig ordning verkade det vara helt dött, men jag tog med det ändå i förhoppningen att det skulle vara ett enkelt fel. Det var det också, i detta fallet var det reservbatteriet som var slut. Så här kommer en liten guide hur man byter batteri i dessa tingestar.

(more…)

10 juli, 2010

Vissa felmeddelanden är bättre än andra :)

Filed under: Okategoriserat — Anton @ 10:52
Tags:

Från Arduino 0018.

19 juni, 2010

Problem med Sandisk Sansa Clip+

Filed under: Okategoriserat — Anton @ 11:38
Tags: , ,

Om du, som jag, har svurit åt den där förbannade lilla plastbiten för att den inte vill spela upp vissa, till synes slumpmässigt utvalda, ljudfiler så kan jag berätta varför: den klarar inte filer med kommentarer i ID3-taggen. Jag vet inte om det även gäller för MP3-filer då jag bara använder OGG-Vorbis (det var därför jag köpte just denna spelaren). Kommentarer i filerna är inte så vanligt att man lägger till själv, men vissa uppladdare på Piratbukten och andra ställen gör det. Man tar bort dem ganska enkelt genom ett program som kan ändra ID3-taggen, exempelvis Easytag i Ubuntu (klicka här för att installera det).

Tyvärr är denna spelaren inte särskilt konsekvent, jag har både varit med om att den har kunnat spela upp filer med kommentarer i, och att den inte har kunnat spela upp filer med kommentarerna borttagna. Men det här var i alla fall dagens tips 🙂

Ny dator?

Filed under: Datorbyggen — Anton @ 11:18
Tags: , , ,

Det är väl ingen som missat vid det här laget att grafikkortet i min Inspiron nu dött, permanent denna gången. Och eftersom den datorn var min enda speldugliga så har det blivit dags att köpa en ny. Så efter rätt många timmar av prisjämförelser och recensionsläsande kom jag till slut fram till en uppsättning datordelar som jag gillade någurlunda:

  • Moderkort: Gigabyte GA-MA785GMT-UD2H
  • Processor: AMD Athlon2 X3 425
  • 2x2GB DDR3-minnen på Tradera
  • Geforce 9800 på Tradera
  • Cooler Master-låda
  • Hårddisk: 1,5 TB Samsung EcoGreen F2
  • Nätaggregat: FSP 350 W

Eftersom minnen och grafikkort sjunker så snabbt i pris var tanken att köpa dessa lätt begagnade på Tradera. Vidare hade jag tänkt mig att jag skulle överklocka processorn och låsa upp den fjärde kärnan så den motsvarade en Phenom2 X4.

Ungefär vid det här stadiet kom jag på att det här med datorköp kanske inte var det billigaste – vi pratar över 6000 kr. Med tanke på hur lite jag spelar så var jag helt enkelt för snål för att lägga ut så mycket 🙂

Så det fick bli plan B – att rusta upp min FSC Scaleo T, som vid tillfället stod som server, tills den blev hyffsat spelduglig.

(more…)

« Föregående sidaNästa sida »

Blogga med WordPress.com.