| Декабрь 2013 → | ||||||
|
1
|
||||||
|---|---|---|---|---|---|---|
|
2
|
3
|
4
|
8
|
|||
|
18
|
21
|
22
|
||||
|
23
|
24
|
25
|
26
|
27
|
28
|
29
|
|
30
|
31
|
|||||
За последние 60 дней ни разу не выходила
Сайт рассылки:
http://x-datas.com
Открыта:
05-12-2013
Статистика
0 за неделю
Сбор данных с интернета : Теория и Решения Пишем простейший сборщик (Циклы и Продолжение)
В прошлом посту я описал, как создать простейший сборщик, который собирает поисковые результаты Google, используя Google API для одного запроса. Теперь я расскажу как сделать чтобы этот код брал поисковые результаты из файла и работал непрерывно до тех пор, пока не соберет их все. 1. Цикл Для этого составляем файл поисковых запросов, и модифицируем наш скрипт для сбора данных . Т.е скрипт загружает все данные из файл in\query.txt и записывает их в out\result.txt . Пауза между каждым запросом составляет 20 ...
Сбор данных с интернета : Теория и Решения Пишем простейший сборщик (Запрос и Сохранение)
В этом посте я опишу, как написать простейший сборщик Поисковых Результатов Google, используя API Google для поисковых результатов . Для простоты будем использовать язык PHP. Выбор PHP для сбора хорош тем, что в дальнейшем написанные сборщики можно использовать практически на всех системах. Написанные на PHP сборщики - простые, легко модифицируемые и самое главное масштабируемые: написав и запустив сбор с одной машины, легко перенести код на другую машину или образовать сетку из нескольких машин, которая б...
Сбор данных с интернета : Теория и Решения Немного теории о Сборе Данных с Веба
Сбор Данных с Веба ( Web Data Mining ) это процесс при котором данные опубликованные в интернете извлекаются для дальнейшей с ними работы . Это процесс называется Парсинг , от английского Parse (Разбор. Т.е мы получаем данные в формате которые представлены на сайте и разбираем их на части. Далее мы записываем или используем эти данные в нужных нам целях. Вкратце рассмотрим сбор данных информации, представленной этими способами : 1.API для получения данных Самый нативный метод, не требующих от нас больших у...
