Вопрос № 70173: Приветствую ! помогите плз. Знаю что LWP решает эту проблему но незнаю как. Буду благодарен примеру.
Есть задача проиндексировать сайт - тоесть взять все ссылки и контент соответственно ссылке...
Вопрос № 70.173
Приветствую ! помогите плз. Знаю что LWP решает эту проблему но незнаю как. Буду благодарен примеру.
Есть задача проиндексировать сайт - тоесть взять все ссылки и контент соответственно ссылке
Отправлен: 09.01.2007, 17:59
Вопрос задал: M-rtrigger (статус: Посетитель)
Всего ответов: 1 Мини-форум вопроса >>> (сообщений: 0)
Отвечает: ramok
Здравствуйте, M-rtrigger!
внизу есть простенький пример извлечения ссылок со страницы
http://unix.org.ua/orelly/perl/cookbook/ch20_07.htm
его не сложно расширить для получения контента из этих ссылок
неплохое введение в работу с LWP
http://unix.org.ua/orelly/perl/perlnut/ch17_01.htm
ps
можно использовать специализированный класс LWP::RobotUA http://unix.org.ua/orelly/perl/perlnut/ch17_02.htm#PNUT-CH-17-SECT-2.1
который наследован от LWP::UserAgent и используется так же.
но если вы не собираетесь придерживатся правил поисковых ботов(http://www.robotstxt.org) то можно использовать обычный LWP::UserAgent
Ответ отправил: ramok (статус: 7-ой класс)
Ответ отправлен: 09.01.2007, 19:44 Оценка за ответ: 5 Комментарий оценки: ок спасибо - вникаю