Отправляет email-рассылки с помощью сервиса Sendsay
  Все выпуски  

RusFAQ.ru: Программирование на языке Perl


РАССЫЛКИ ПОРТАЛА RUSFAQ.RU

/ КОМПЬЮТЕРЫ И ПО / Языки программирования / Perl / Перл

Выпуск № 81
от 14.01.2007, 18:05

Администратор:Калашников О.А.
В рассылке:Подписчиков: 165, Экспертов: 13
В номере:Вопросов: 1, Ответов: 1


Вопрос № 70173: Приветствую ! помогите плз. Знаю что LWP решает эту проблему но незнаю как. Буду благодарен примеру. Есть задача проиндексировать сайт - тоесть взять все ссылки и контент соответственно ссылке...

Вопрос № 70.173
Приветствую ! помогите плз. Знаю что LWP решает эту проблему но незнаю как. Буду благодарен примеру.
Есть задача проиндексировать сайт - тоесть взять все ссылки и контент соответственно ссылке
Отправлен: 09.01.2007, 17:59
Вопрос задал: M-rtrigger (статус: Посетитель)
Всего ответов: 1
Мини-форум вопроса >>> (сообщений: 0)

Отвечает: ramok
Здравствуйте, M-rtrigger!

внизу есть простенький пример извлечения ссылок со страницы
http://unix.org.ua/orelly/perl/cookbook/ch20_07.htm
его не сложно расширить для получения контента из этих ссылок

неплохое введение в работу с LWP
http://unix.org.ua/orelly/perl/perlnut/ch17_01.htm

ps
можно использовать специализированный класс LWP::RobotUA http://unix.org.ua/orelly/perl/perlnut/ch17_02.htm#PNUT-CH-17-SECT-2.1
который наследован от LWP::UserAgent и используется так же.

но если вы не собираетесь придерживатся правил поисковых ботов(http://www.robotstxt.org) то можно использовать обычный LWP::UserAgent
Ответ отправил: ramok (статус: 7-ой класс)
Ответ отправлен: 09.01.2007, 19:44
Оценка за ответ: 5
Комментарий оценки:
ок спасибо - вникаю


Отправить вопрос экспертам этой рассылки

Приложение (если необходимо):

* Код программы, выдержки из закона и т.п. дополнение к вопросу.
Эта информация будет отображена в аналогичном окне как есть.

Обратите внимание!
Вопрос будет отправлен всем экспертам данной рассылки!

Для того, чтобы отправить вопрос выбранным экспертам этой рассылки или
экспертам другой рассылки портала RusFAQ.ru, зайдите непосредственно на RusFAQ.ru.


Форма НЕ работает в почтовых программах The BAT! и MS Outlook (кроме версии 2003+)!
Чтобы отправить вопрос, откройте это письмо в браузере или зайдите на сайт RusFAQ.ru.


© 2001-2006, Портал RusFAQ.ru, Россия, Москва.
Идея, дизайн, программирование: Калашников О.А.
Email: adm@rusfaq.ru, Тел.: +7 (926) 535-23-31
Авторские права | Реклама на портале
Версия системы: 4.38 от 20.12.2006
Яндекс Rambler's Top100

В избранное