Первым делом переписал всю логику вытягивания выдачи, теперь парсит точнее и без погрешностей, раньше она составляла 1–2 позиции в зависимости от глубины прогона. Но иногда выбивал ошибку. Решил писать логи парс-страниц. Смеялся долго... Я всегда знал что у Яши есть капча на поиске, но никогда с ней не сталкивался, поэтому сее событие и вызвало у меня бурный смех.

Встал вопрос обхода капчи. Не поверите и тут я решил поступить как заправский лентяй. Вытягивание картинки капчи, передача в сервис определения текста, ввод его в форму. Ну гемор... Не так ли? А запустить его надо как можно быстрее, тем паче что парсер уже работает на коммерческой основе. Не ну конечно же в свободное время  сделаю все по уму и начну ломать капчу, но пока все это на коленках...

И так... Обхожу капчу следующим образом. Вытягиваю страницу и проверяю на валидность, если с капчей, то делаю паузу и вытягиваю ее же повторно, так и долблю пока Яндекс не устанет. Цикла в 10 запросов в принципе обходит, но на всякий случай сделал  второй цикл в 10 раз, но уже с большей задержкой до 6 минут. Это в том случае если первый цикл неудачный.

Короче говоря все тестируется... Пока не вытянул только один жирный ВЧ. Видно и у капчи Яндекса есть своя логика если на СЧ, НЧ он пробивается. Выкладывать сее творение по окончании тестирования уже не буду, возможно сделаю онлайн версию и прикручу у партнеров.

UP: Вот и геморный ключевик пробил ))) По тестам максимум парсер продалбливал Яшу с 16 раза... Не думал, что Яшу можно так пробить, но все же работает. Тестим дальше...

Не забываем регистрироваться бесплатно по прямой ссылке на XAP и зарабатывать вместе со мной.

Я хочу сказать, что Яндекс.Метрика со своей картой путей рулит. Но все же не дает полной информации о действиях посетителя как WebVisor. Метрика показывает карту кликов по вашему сайту, а WebVisor показывает каждое перемещение мышки, какая клавиша нажата, где пользователь остановился для прочтения информации. Интерфейс WebVisor графический, чем то смахивает на имитацию видео-показа путешествия пользователя по сайту. Лично мне сервис очень понравился. Теперь я оценил, какое слово привлекло посетителя на котором он остановился, видно какую статью он читал, а которую просто проскролил дальше. Яндекс.Метрика такого конечно не показывает. В общем «респект» сервису WebVisor!

По данным трассировки путей, можно сделать вывод, что больше привлекает и вывести контент в верхнюю часть страницы, в некоторых случаях можно изменить скелет сайта или же полностью дизайн.

WebVisor имеет свою партнерскую программу, что позволяет заработать! Регистрация.

Рекомендую:
Форум партнерские программы — для любителей заработка на рефералах. Полезный ресурс, с описаниями и отзывами партнерок различных систем.
UniSender — массовые email рассылки для Ваших клиентов, легальная реклама вашего бизнеса. Хочу заметить, что спамом тут и не пахнет. Вы отправляете сообщения клиентам вашего бизнеса, а это значит что письмо не уйдет в спам-корзину, а будет прочитано.

Уже несколько дней читаю, что пишут SEO-специалисты и блогеры, одни красиво описывают переход Яндекса на маркетинговую стратегию, другие тут же оскорбляют с возгласами «Не гони пургу». Кого слушать, кому верить? Ясно только одно, падение затронуло более 60% СДЛ. Я же думаю что не стоит кричать на весь RUнет, и не делать громких заявлений, а сесть за сбор статистики и провести тщательный анализ. Посему прочитанному хочу попробовать сделать свои выводы.

Мой партнер в первый АП увидев падения, быстренько пробежался по всем продвигаемым ВЧ, проанализировав тех конкурентов которые остались в ТОПе и тех кто попал туда выйдя из жопы. И сделал свой вывод — " Яндекс любит много буков " (Буков — много букв в тексте). Все уши мне прожужжал про буквы. По-моему в последние дни у него слово «Буков» стало любимым. Мечется, как лев в клетке в поиске решения проблем и постоянно повторяет «Буков. Много буков. Точно, надо сделать много буков». Да и клиенты волнуются их тоже можно понять. А кто знал, что так будет? Мое мнение: Да, действительно теперь в ТОПе те у кого тексты на главной по 7000–15000 знаков (по запросам последнего клиента). Но я не уверен, что все дело в количестве! Я думаю дело в качестве контента и не обязательно размножать буквы. По поводу качества контента поговорим дальше по тексту.

Есть мнение, что Яндекс переходит на маркетинговый метод исследований. Тут же кричат, причем тут маркетинг? Я же понимаю под словом маркетинг в выдаче — это важность (информативность, привлекательность) вашей страницы на которую переходит потенциальный клиент.

Новый алгоритм стал учитывать гораздо больше факторов при ранжировании. Количество таких факторов исчисляется тысячами, выведенные во время обучения функций ранжирования. Вот такие факторы похоже обучаются из контента страницы и поведения посетителя на ней. Тут проскакивает мысль — «Опа. Ссылочные биржи уходят в небытие». Нет, я думаю не стоит их списывать со счетов, они по прежнему останутся как суммирующим фактором ранжирования. А вот те самые многотысячные факторы которые выскакивают в процессе обучения функции, больше похоже на произведение всех факторных коэффициентов.

Видимо все таки SEO снова перейдет на уровень внутренней оптимизации, а то по последним тенденциям похоже, что SEO — это закупка ссылочной массы. Снежинск сделал большой прорыв в интеллектуальном развитии. Новый алгоритм пытается определить интересна ли страница для клиента или нет, так сказать определять качество контента. Не понятно одно, как алгоритм определяет, что будет делать клиент, на что нажимать, на чем заострять свое внимание. Тут на ум приходит Яндекс Метрика с ее трассировкой. И не надо далеко ходить, что бы услышать разъяренные возгласы — «Какая в жопу трассировка? У меня она не стоит!». А может стоит поставить? По крайней мере, всегда можно быть в курсе, что привлекает в вашем сайте, а от чего тошнит и клиент убегает.

Что-то я устал писать. Или от умственной нагрузки или от кислотного музла в колонках. В общем закругляюсь.

Вывод: Сажусь за анализ статистики посещаемости, откатов, карты переходов. Буду вытягивать из клиентов проценты продаж поквартально. По результатам возможно придется перешивать контент, может даже структуру сайтов, посмотрим. В общем, буду искать пути к улучшению позиций. Главное не растерять клиентов!

Начну с самого приятного, для рекламодателей. Многие системы за ввод средств снимают комиссию, что всех и напрягает, меня в том числе. UniPlace, наоборот проводит акции и за ввод начисляет дополнительные средства. За введенный 1$, система добавит 10 бонусных центов, не сложно подсчитать, что при вводе 1000$ вы получите дополнительно 100$. Ежемесячный, ссылочный бюджет крупной компании, далеко переваливает за 1000$, так что это только плюс системе. Ну собственно это действительно весомое преимущество перед ныне действующими системами. А в остальном все как и у всех.

Поехали дальше, для вебмастера. Система ориентирована на защиту от разоблачения поисковыми системами продажных ссылок. Ссылки грамотно маскируются под рукописные, что также является большим плюсом системы. Остальные возможности системы стандартные.

В заключении, для реферальщиков. Партнерка это вообще рай для меня. Партнерская система похожа на пирамиду, то есть вы получаете доход не только с тех кого привели, но и с тех кого привел Ваш партнер и так далее по ступенькам. Ну я тащусь от партнерки.

P.S. Ну писать бы я мог много о них, но как то я не люблю поэмы читать соответственно и не прет меня их писать. А ну да, тех. поддержка там супер.

Если хотите поучаствовать в моей компании и создать свою: РЕГИСТРИРУЕМСЯ!

Последний месяц занимаюсь с напарником оптимизацией и продвижением одного проекта. Конкуренция там жесть и продвигаю в топ Yandex сразу по нескольким ВЧ.

Сижу и анализирую свою работу, пока все успешно, мне нравится, заказчику тоже. И тут в голову приходит БРЕДОМЫСЛЬ. А ведь Google может обвинить Yandex в монополизме. Достаточно вспомнить Microsoft и недавно засуженный Intel.

Значится так. Кстати не воспринимайте мои бредомысли в серьезе, я могу и ошибаться. Типа эмоции. Так вот. На ранжирование выдачи в Яндексе не последнюю роль играет авторитетность. Авторитетность в свою очередь зависит от количества подписчиков. Вот тут и возникает вопрос для SEO-оптимизатора. Как правильно настроить свой RSS поток, что бы подписывались на ленту яндекса или на ридер гугла? Тупо конечно полагать что пользователь почты яндекса, пойдет региться на гугл ради чтения ленты. Но этот выбор на прямую ставит подписчика имеющего два ящика (на гугле и на яндексе, ну впрямь как у меня) перед выбором. Если у пользователя два почтовых ящика, то однозначно его надо подписывать на ленту яндекса. Каждый русскоязычный сайт хочет быть в топе Yandex, так как он является основным источником трафика. Тут уже гугл ущемлен и интерес к этому бренду теряется. Кстати полез я в глубины паутины искать на сколько подписчики на ридере влияют на выдачу. До сегодняшнего дня я полагал, что никак!

Не конкурентная борьба?

А мне собственно плевать, я люблю гугл, но пользуюсь яндексом. Продвигать то в Яше надо.

Некоторые нововведения уже тестируются в службах XAP. Будет обновлена библиотека контента, чего так долго ждет каждый вебмастер. Обещают рай для фрилансеров. Так же руководство подчеркивает, что будут внесены изменения в ценообразование рекламных ссылок.

Но информацию о самом важном прорыве в SEO руководство умалчивает, но обещает что это будет БОМБА!!!

И не забываем про мою партнерскую программу без использования инвайтов. РЕГИСТРИРУЕМСЯ!!!

P.S. Давно не писал! Простите засранца. Сильно уж занят другими проектами.

И еще хотел подметить в своем блоге: Это тот самый фотограф в Краснодаре, которая фотографировала нас на свадьбе друга, и не переставала удивлял своим креативным подходом к ремеслу.

Вот и закончил работу над парсером. Обещал раньше выпустить, но как обычно нехватка времени затягивает этот момент. Пока [бета тест] вариант, прошу всех заинтересованных хорошенько протестить и отписаться о результатах теста.

Для тех кто боится бана сервера со стороны Yandex с которого будет проходить парсинг  — открыто заявляю, не волнуйтесь, не забанит. В принципе я предусмотрел задержки между парсингом страниц, примерно похожую на пользовательскую задержку. И если Вы гигант статистики и поиска — Яндекс обычно банит на сутки. За время моего тестирования, без пауз, банов не было.

Принцип работы: Для работы парсера достаточно использовать два файла. Первый исполнимы, который можно запускать из под браузера, но основной задумкой был автомат, то есть независимый запуск с сервера через «Cron». Второй непосредственно показывает статистику работы исполнимого файла.

Установка, настройка и работа:

1. Устанавливаем пакет в произвольную папку на сервере к примеру: parser

2. На папку log внутри пакета устанавливаем права 777.

3. Редактируем parsers.keys.

[parser] — обозначает начало работы парсера с сайтом

www.site.ru — имя сайта по которому ищем запросы

213 — регион по которому искать, 213 — москва, 0 — по умолчанию берется ip с которого запущен парсер.

запрос1 — ключевик для поиска

запрос2 — ключевик для поиска

4. Запуск парсера. Первый вариант через браузер www.site.ru/parser/work.php Второй способ добавить задание в Cron «php user/publick_html/www.site.ru/parser/work.php»

5. Просмотр результатов парсинга: www.site.ru/parser/log.php

Скачать — 3,2 Kb

Особо ничего не нашел, или платное, или откровенное говно, которое не работает. Был правда один хороший продукт, который парсил Google, Yandex, Rambler. Но единственное что он хорошо парсил это — Google, на остальные поисковики он реагировал криво. Видно поспособствовал этому новый бот Yandex и новый компилятор HTML (если он конечно новый). Неделю промучался и так не исправил его. Не первый раз убеждаюсь в том, что чужую работу гораздо сложней исправить(доработать) чем свою.

В общем то плюнул на это дело и решил написать свой парсер, пока только для Yandex. Парсит по регионам и по моему без ошибок. Может быть кому-то покажется ход моей программной мысли не логичным и напряженным для сервера, но по тестам мой парсер обходит по быстродействию имеющиеся у меня на тестовом полигоне.

Пока парсер в черновом варианте и выкладывать в общественность не буду. Я не жадный выложу обязательно, а там посмотрим на спрос. Придумаю дизайн и доделаю функциональность, выложу на блоге. А со временем и оптимизирую программный код, этот пока тяжелый так как писался за день.

Ждите...

UP: Парсер Яндекса. YaP v1.00 [Beta Test]

---

Привлечение целевой аудитории, это 100% отдача от интернет рекламы Вашего бизнеса. Компания «Бизнесс реклама» как раз может Вам предложить такой спектр услуг.  Заказать сайт в Москве можно по телефону. Работу выполняют качественно и быстро.

Теперь всего лишь за 1000 ксапов в месяц вы можете повесить надоедливый труд по модерированию не проиндексированных страниц в Yandex и Google вашей компании на плечи системы. Настройка простая и гибкая. Установили нужные галочки, необходимые числа и забыли про компанию, она живет самостоятельно.

Возможности в настройке модерации:

1.  Удаление не проиндексированных ссылок в Yandex  и Google в течение определенного периода времени. Причем можно оставить ссылку, если она есть в индексе одного из поисковиков.

2. Удаление страниц с обнуленным PR.

3. Не найденные ссылки в течении «n» дней.

4. Удаление с большим количеством внешних.

Я уже использую

У меня по прежнему работает прямая ссылка для регистрации в системе TNX и не нужен Вам инвайт!

Спонсор месяца

Продажа, монтаж, обслуживание автоматических ворот, складского оборудования