Не удивлюсь что и у Yandex вскоре появится подобный функционал.

Первым делом переписал всю логику вытягивания выдачи, теперь парсит точнее и без погрешностей, раньше она составляла 1–2 позиции в зависимости от глубины прогона. Но иногда выбивал ошибку. Решил писать логи парс-страниц. Смеялся долго... Я всегда знал что у Яши есть капча на поиске, но никогда с ней не сталкивался, поэтому сее событие и вызвало у меня бурный смех.

Встал вопрос обхода капчи. Не поверите и тут я решил поступить как заправский лентяй. Вытягивание картинки капчи, передача в сервис определения текста, ввод его в форму. Ну гемор... Не так ли? А запустить его надо как можно быстрее, тем паче что парсер уже работает на коммерческой основе. Не ну конечно же в свободное время  сделаю все по уму и начну ломать капчу, но пока все это на коленках...

И так... Обхожу капчу следующим образом. Вытягиваю страницу и проверяю на валидность, если с капчей, то делаю паузу и вытягиваю ее же повторно, так и долблю пока Яндекс не устанет. Цикла в 10 запросов в принципе обходит, но на всякий случай сделал  второй цикл в 10 раз, но уже с большей задержкой до 6 минут. Это в том случае если первый цикл неудачный.

Короче говоря все тестируется... Пока не вытянул только один жирный ВЧ. Видно и у капчи Яндекса есть своя логика если на СЧ, НЧ он пробивается. Выкладывать сее творение по окончании тестирования уже не буду, возможно сделаю онлайн версию и прикручу у партнеров.

UP: Вот и геморный ключевик пробил ))) По тестам максимум парсер продалбливал Яшу с 16 раза... Не думал, что Яшу можно так пробить, но все же работает. Тестим дальше...

тут должна быть картинка, но мне чета в лом фотошопить. сори

Начну с того, что мне не понравилось в FireStats, хоть я и использую его уже очень давно. Так вот, на одном из своих сайтов, с большой посещаемостью и с минимальным числом отказов, Firestats реально начал глючить. В виду того, что большой объем собранной статистики сильно нагружал БД. Системой конечно предусмотрено архивирование старых данных, но минимальный порог там неделя. А у меня доходило, что за пару дней полностью забивалась БД. Уже не вспомню какой максимальный порог данных, но факт есть факт. А что бы настроить на ежедневное архивирование надо было лезть в кодинг, что совсем меня не прельщает. Дабы вести карту изменений не хочется.  Либо настраивать ограничения по статистике, что то же было делать в лом. Плюс с выходом нового поискового алгоритма ««Снежинск», проскочила тема по Яндекс.Метрике, вот и решил перейти на статистику от Яндекса.

Наверное моя ошибка в том, что я перевел все сайты на Яндекс.Метрика и в том числе этот блог. Последние пол года сильно напряженные и нет времени писать заметки. Так вот ближе к телу... Зашел как то посмотреть статистику в Яндекс.Метрика и был сильно удивлен посещаемость 0–5 в сутки и пару переходов с Поисковых Систем. Первая мысль, вот и все — умираем ))). И вот вчера вспомнил про Firestats. Подумал а почему бы реально не отследить как живет блог. Про FireStats я уже не раз писал и о его преимуществе над остальными продуктами сбора статистики. Поставил и сразу был удивлен — блог по прежнему живет и переходы с ПС на прежнем уровне и посещаемость хорошая и внутренних переходов много. Живем, не умираем...

Есть сайт который никак Яша не принимает в Яндекс.Директ из-за не высокое число уников, но с большим числом просмотров. Сделал для себя вывод — на средне нагруженных сайтах буду собирать статистику через FireStats. Все же он реально рулит!!!

Сперва думал что мой провайдер падла жалоб давно не видел. Но другие то отлично работают. У кореша вчера та же беда, Яндекс вечером не отвечает. У него другой провайдер. Что думать? Кому жалобы писать?

......... мы немножко подождем, а потом ... начнем!

Я хочу сказать, что Яндекс.Метрика со своей картой путей рулит. Но все же не дает полной информации о действиях посетителя как WebVisor. Метрика показывает карту кликов по вашему сайту, а WebVisor показывает каждое перемещение мышки, какая клавиша нажата, где пользователь остановился для прочтения информации. Интерфейс WebVisor графический, чем то смахивает на имитацию видео-показа путешествия пользователя по сайту. Лично мне сервис очень понравился. Теперь я оценил, какое слово привлекло посетителя на котором он остановился, видно какую статью он читал, а которую просто проскролил дальше. Яндекс.Метрика такого конечно не показывает. В общем «респект» сервису WebVisor!

По данным трассировки путей, можно сделать вывод, что больше привлекает и вывести контент в верхнюю часть страницы, в некоторых случаях можно изменить скелет сайта или же полностью дизайн.

WebVisor имеет свою партнерскую программу, что позволяет заработать! Регистрация.

Рекомендую:
Форум партнерские программы — для любителей заработка на рефералах. Полезный ресурс, с описаниями и отзывами партнерок различных систем.
UniSender — массовые email рассылки для Ваших клиентов, легальная реклама вашего бизнеса. Хочу заметить, что спамом тут и не пахнет. Вы отправляете сообщения клиентам вашего бизнеса, а это значит что письмо не уйдет в спам-корзину, а будет прочитано.

Уже несколько дней читаю, что пишут SEO-специалисты и блогеры, одни красиво описывают переход Яндекса на маркетинговую стратегию, другие тут же оскорбляют с возгласами «Не гони пургу». Кого слушать, кому верить? Ясно только одно, падение затронуло более 60% СДЛ. Я же думаю что не стоит кричать на весь RUнет, и не делать громких заявлений, а сесть за сбор статистики и провести тщательный анализ. Посему прочитанному хочу попробовать сделать свои выводы.

Мой партнер в первый АП увидев падения, быстренько пробежался по всем продвигаемым ВЧ, проанализировав тех конкурентов которые остались в ТОПе и тех кто попал туда выйдя из жопы. И сделал свой вывод — " Яндекс любит много буков " (Буков — много букв в тексте). Все уши мне прожужжал про буквы. По-моему в последние дни у него слово «Буков» стало любимым. Мечется, как лев в клетке в поиске решения проблем и постоянно повторяет «Буков. Много буков. Точно, надо сделать много буков». Да и клиенты волнуются их тоже можно понять. А кто знал, что так будет? Мое мнение: Да, действительно теперь в ТОПе те у кого тексты на главной по 7000–15000 знаков (по запросам последнего клиента). Но я не уверен, что все дело в количестве! Я думаю дело в качестве контента и не обязательно размножать буквы. По поводу качества контента поговорим дальше по тексту.

Есть мнение, что Яндекс переходит на маркетинговый метод исследований. Тут же кричат, причем тут маркетинг? Я же понимаю под словом маркетинг в выдаче — это важность (информативность, привлекательность) вашей страницы на которую переходит потенциальный клиент.

Новый алгоритм стал учитывать гораздо больше факторов при ранжировании. Количество таких факторов исчисляется тысячами, выведенные во время обучения функций ранжирования. Вот такие факторы похоже обучаются из контента страницы и поведения посетителя на ней. Тут проскакивает мысль — «Опа. Ссылочные биржи уходят в небытие». Нет, я думаю не стоит их списывать со счетов, они по прежнему останутся как суммирующим фактором ранжирования. А вот те самые многотысячные факторы которые выскакивают в процессе обучения функции, больше похоже на произведение всех факторных коэффициентов.

Видимо все таки SEO снова перейдет на уровень внутренней оптимизации, а то по последним тенденциям похоже, что SEO — это закупка ссылочной массы. Снежинск сделал большой прорыв в интеллектуальном развитии. Новый алгоритм пытается определить интересна ли страница для клиента или нет, так сказать определять качество контента. Не понятно одно, как алгоритм определяет, что будет делать клиент, на что нажимать, на чем заострять свое внимание. Тут на ум приходит Яндекс Метрика с ее трассировкой. И не надо далеко ходить, что бы услышать разъяренные возгласы — «Какая в жопу трассировка? У меня она не стоит!». А может стоит поставить? По крайней мере, всегда можно быть в курсе, что привлекает в вашем сайте, а от чего тошнит и клиент убегает.

Что-то я устал писать. Или от умственной нагрузки или от кислотного музла в колонках. В общем закругляюсь.

Вывод: Сажусь за анализ статистики посещаемости, откатов, карты переходов. Буду вытягивать из клиентов проценты продаж поквартально. По результатам возможно придется перешивать контент, может даже структуру сайтов, посмотрим. В общем, буду искать пути к улучшению позиций. Главное не растерять клиентов!

Я не частый гость Яндес.почта, но вчера зашел на нее и обнаружил чат, чем то напоминающий функционал Google.
Сравните сами:

Сходство видимое. Мне собственно все равно что Яндекс следит за Google, это даже хорошо, Гугл же мировой лидер, за такими следует тянуться. Я просто вспомнил интервью с Ильей Сегаловичем Яндекс.

Цитата: Вы сами ищете через гугл или яндекс? Простите, не понял вопрос. Как вы сказали? «ГУГЛ»?

Это конечно же была шутка, но все же в памяти осела.

Не знаю как давно этот чат функционирует, но вчера мне на него пришел спам

P.S. Заметка написана в состоянии разочарования нового алгоритма ранжирования снежинск, многие попадали и я в том числе. Будем работать и искать подходы.

Последний месяц занимаюсь с напарником оптимизацией и продвижением одного проекта. Конкуренция там жесть и продвигаю в топ Yandex сразу по нескольким ВЧ.

Сижу и анализирую свою работу, пока все успешно, мне нравится, заказчику тоже. И тут в голову приходит БРЕДОМЫСЛЬ. А ведь Google может обвинить Yandex в монополизме. Достаточно вспомнить Microsoft и недавно засуженный Intel.

Значится так. Кстати не воспринимайте мои бредомысли в серьезе, я могу и ошибаться. Типа эмоции. Так вот. На ранжирование выдачи в Яндексе не последнюю роль играет авторитетность. Авторитетность в свою очередь зависит от количества подписчиков. Вот тут и возникает вопрос для SEO-оптимизатора. Как правильно настроить свой RSS поток, что бы подписывались на ленту яндекса или на ридер гугла? Тупо конечно полагать что пользователь почты яндекса, пойдет региться на гугл ради чтения ленты. Но этот выбор на прямую ставит подписчика имеющего два ящика (на гугле и на яндексе, ну впрямь как у меня) перед выбором. Если у пользователя два почтовых ящика, то однозначно его надо подписывать на ленту яндекса. Каждый русскоязычный сайт хочет быть в топе Yandex, так как он является основным источником трафика. Тут уже гугл ущемлен и интерес к этому бренду теряется. Кстати полез я в глубины паутины искать на сколько подписчики на ридере влияют на выдачу. До сегодняшнего дня я полагал, что никак!

Не конкурентная борьба?

А мне собственно плевать, я люблю гугл, но пользуюсь яндексом. Продвигать то в Яше надо.

Вот и закончил работу над парсером. Обещал раньше выпустить, но как обычно нехватка времени затягивает этот момент. Пока [бета тест] вариант, прошу всех заинтересованных хорошенько протестить и отписаться о результатах теста.

Для тех кто боится бана сервера со стороны Yandex с которого будет проходить парсинг  — открыто заявляю, не волнуйтесь, не забанит. В принципе я предусмотрел задержки между парсингом страниц, примерно похожую на пользовательскую задержку. И если Вы гигант статистики и поиска — Яндекс обычно банит на сутки. За время моего тестирования, без пауз, банов не было.

Принцип работы: Для работы парсера достаточно использовать два файла. Первый исполнимы, который можно запускать из под браузера, но основной задумкой был автомат, то есть независимый запуск с сервера через «Cron». Второй непосредственно показывает статистику работы исполнимого файла.

Установка, настройка и работа:

1. Устанавливаем пакет в произвольную папку на сервере к примеру: parser

2. На папку log внутри пакета устанавливаем права 777.

3. Редактируем parsers.keys.

[parser] — обозначает начало работы парсера с сайтом

www.site.ru — имя сайта по которому ищем запросы

213 — регион по которому искать, 213 — москва, 0 — по умолчанию берется ip с которого запущен парсер.

запрос1 — ключевик для поиска

запрос2 — ключевик для поиска

4. Запуск парсера. Первый вариант через браузер www.site.ru/parser/work.php Второй способ добавить задание в Cron «php user/publick_html/www.site.ru/parser/work.php»

5. Просмотр результатов парсинга: www.site.ru/parser/log.php

Скачать — 3,2 Kb

Особо ничего не нашел, или платное, или откровенное говно, которое не работает. Был правда один хороший продукт, который парсил Google, Yandex, Rambler. Но единственное что он хорошо парсил это — Google, на остальные поисковики он реагировал криво. Видно поспособствовал этому новый бот Yandex и новый компилятор HTML (если он конечно новый). Неделю промучался и так не исправил его. Не первый раз убеждаюсь в том, что чужую работу гораздо сложней исправить(доработать) чем свою.

В общем то плюнул на это дело и решил написать свой парсер, пока только для Yandex. Парсит по регионам и по моему без ошибок. Может быть кому-то покажется ход моей программной мысли не логичным и напряженным для сервера, но по тестам мой парсер обходит по быстродействию имеющиеся у меня на тестовом полигоне.

Пока парсер в черновом варианте и выкладывать в общественность не буду. Я не жадный выложу обязательно, а там посмотрим на спрос. Придумаю дизайн и доделаю функциональность, выложу на блоге. А со временем и оптимизирую программный код, этот пока тяжелый так как писался за день.

Ждите...

UP: Парсер Яндекса. YaP v1.00 [Beta Test]

---

Привлечение целевой аудитории, это 100% отдача от интернет рекламы Вашего бизнеса. Компания «Бизнесс реклама» как раз может Вам предложить такой спектр услуг.  Заказать сайт в Москве можно по телефону. Работу выполняют качественно и быстро.