Hilfe für Auslesen von Webseiten mit Perl?

    hallo, ich brauche dringend hilfe für das auslesen meiner webseite mit perl.
    für meine ba-arbeit (in politikwissenschaft) muss ich meldungen einer nachrichtenagentur nach bestimmten begriffen untersuchen und dann die passenden meldungen lesen und analysieren. dafür würde es mir schon reichen, wenn ich alle meldungen eines bestimmten zeitraums auf meinem computer speichern und dort dann untersuchen könnte. mein hauptproblem ist diese tausenden meldungen zu kopieren, ohne dass ich das per hand machen muss. mir wurde dafür perl empfohlen, aber bisher konnte ich nur scripts für leute finden, die ihre eigene webseite durchsuchen wollen und nicht eine externe.
    ich kann mir nicht vorstellen, dass ich die einzige person bin, die je dieses problem hatte. kennt jemand dafür ein script? :confused:

    und ja, theoretischerweise könnte ich einfach bei google in der erweiterten suche die seite der nachrichtenagentur auf die stichworte hin untersuchen. das wäre allerdings wissenschaftlich nicht in ordnung, da ich nicht genau weiß, wie google seine suche gestaltet. :(

    Zitat von julianenouvelle

    hallo, ich brauche dringend hilfe für das auslesen meiner webseite mit perl.


    Ich steh da mal total auf dem Schlauch. Warum sollte man seine eigene Web seite auslesen wollen, womit auch immer? Man verfasst die Seiten doch selber und lädt sie per ftp oder so hoch.
    Grübel, grübel

    Niemals provozieren lassen, jeder darf seine Meinung haben.

    welche Programmiersprache du nimmst ist letztendlich wurscht. Mit Perl kenne ich mich leider nicht aus.
    Welche Seiten/Nachrichtenagenturen möchtest du denn gerne "auslesen"?
    Viele Seiten bieten einen RSS-Feed an, diesen kann man mit diversen kostenlosen RSS-Programmen auch nach Stichworten/Themen filtern.


    nimm doch einfach php statt perl, damit kannste auch dateien schreiben, urls aufrufen, parsen etc...
    holste dir nen quelltext von einer seite

    PHP
    $strSource = file_get_contents('http://deineurl.de');

    auf des $strSource machste dann die ganzen such und parse-actions strstr, strpos, strlen, preg_match und was weiß ich net, was man noch alles braucht, schreibst dir diene infos in ein array oder direkt in eine datei oder sowas und solltest haben, was du brauchst.

    hm, da wirst du nicht drumrumkommen, dir selber was zusammenzuschnipseln.
    Dafür gibt es wohl nix fertiges, bin ich mir sicher. Allzu aufwendig ist das aber gar nicht, also keine Angst.
    Programmiersprache aussuchen und ab gehts ;)


    Zitat von synaptic

    nimm doch einfach php statt perl, damit kannste auch dateien schreiben, urls aufrufen, parsen etc...


    Wenn ich nicht irre, kann man das mit perl auch.
    Hier geht es ja ums webseiten parsen und gerade da sind RegularExpressions sehhr wichtig, in welchen Perl stärker ist als php. Für eine gegenleistung würde ich dir das auch schreiben.

    PHP Lernen
    Perl Lernen (zu Perl kenne ich kein gutes Online-Tutorial)

    Der, der weiß dass er nichts weiß, weiß mehr als der, der nicht weiß, dass er nichts weiß.

    Wer nach etwas fragt, geht grundsätzlich das Risiko ein, es auch zu bekommen!

    Einmal editiert, zuletzt von Tobse (13. April 2011 um 19:11)

    Zitat von Tobse

    Für eine gegenleistung würde ich dir das auch schreiben.


    Mach' et oder lass' et. Aber gleich eine Gegenleistung fordern?! zzz............

    Zitat von Unregistriert

    Mach' et oder lass' et. Aber gleich eine Gegenleistung fordern?! zzz............



    Was soll denn daran "zzz......" sein? Sagst du dass auch zu nem Architekten der dir anbietet für den und den Preis dein Haus zu entwerfen?

    "Programming today is a race between software engineers
    striving to build bigger and better idiot-proof programs,
    and the universe trying to build bigger and better idiots.
    So far, the universe is winning."
    Rick Cook

    Natürlich geht das mit Perl. An den HTML-Inhalt kommst Du ganz einfach mit LWP::Simple:

    Code
    use strict;
use warnings;
use LWP::Simple;


my $html = get( 'http://die.gewuenschte.url.example' );
print $html;

    Wenn Du das noch parsen möchtest, gibt es verschiedene Möglichkeiten. Wäre gut, wenn Du dann die Struktur der Seite posten und deutlich machen könntest, welche Inhalte Dich interessieren.

    BTW: Wenn Du mehr Perl-Hilfe brauchst, kannst Du auch mal auf http://perl-community.de vorbeischauen. Da gibt es einige Perl-Experten.