Парсер Яндекс выдачи — обход капчи

Раньше я уже выкладывал открытый код парсера Выдачи Яндекса. Но примерно полгода назад начались проблемы с ним. Не всегда вытягивал выдачу. И видно косяк в том что количество запросов значительно выросло. Все это время не доходили руки до него, так и работал с ошибками. Появилась свободная неделька и решил покопаться.

Первым делом переписал всю логику вытягивания выдачи, теперь парсит точнее и без погрешностей, раньше она составляла 1–2 позиции в зависимости от глубины прогона. Но иногда выбивал ошибку. Решил писать логи парс-страниц. Смеялся долго... Я всегда знал что у Яши есть капча на поиске, но никогда с ней не сталкивался, поэтому сее событие и вызвало у меня бурный смех.

Встал вопрос обхода капчи. Не поверите и тут я решил поступить как заправский лентяй. Вытягивание картинки капчи, передача в сервис определения текста, ввод его в форму. Ну гемор... Не так ли? А запустить его надо как можно быстрее, тем паче что парсер уже работает на коммерческой основе. Не ну конечно же в свободное время  сделаю все по уму и начну ломать капчу, но пока все это на коленках...

И так... Обхожу капчу следующим образом. Вытягиваю страницу и проверяю на валидность, если с капчей, то делаю паузу и вытягиваю ее же повторно, так и долблю пока Яндекс не устанет. Цикла в 10 запросов в принципе обходит, но на всякий случай сделал  второй цикл в 10 раз, но уже с большей задержкой до 6 минут. Это в том случае если первый цикл неудачный.

Короче говоря все тестируется... Пока не вытянул только один жирный ВЧ. Видно и у капчи Яндекса есть своя логика если на СЧ, НЧ он пробивается. Выкладывать сее творение по окончании тестирования уже не буду, возможно сделаю онлайн версию и прикручу у партнеров.

UP: Вот и геморный ключевик пробил ))) По тестам максимум парсер продалбливал Яшу с 16 раза... Не думал, что Яшу можно так пробить, но все же работает. Тестим дальше...

Popularity: 13% [?]

FireStats vs Яндекс.Метрика

Не помню писал ли я подобную заметку, но в ходе последний событий решил написать.

тут должна быть картинка, но мне чета в лом фотошопить. сори

Начну с того, что мне не понравилось в FireStats, хоть я и использую его уже очень давно. Так вот, на одном из своих сайтов, с большой посещаемостью и с минимальным числом отказов, Firestats реально начал глючить. В виду того, что большой объем собранной статистики сильно нагружал БД. Системой конечно предусмотрено архивирование старых данных, но минимальный порог там неделя. А у меня доходило, что за пару дней полностью забивалась БД. Уже не вспомню какой максимальный порог данных, но факт есть факт. А что бы настроить на ежедневное архивирование надо было лезть в кодинг, что совсем меня не прельщает. Дабы вести карту изменений не хочется.  Либо настраивать ограничения по статистике, что то же было делать в лом. Плюс с выходом нового поискового алгоритма ««Снежинск», проскочила тема по Яндекс.Метрике, вот и решил перейти на статистику от Яндекса.

Наверное моя ошибка в том, что я перевел все сайты на Яндекс.Метрика и в том числе этот блог. Последние пол года сильно напряженные и нет времени писать заметки. Так вот ближе к телу... Зашел как то посмотреть статистику в Яндекс.Метрика и был сильно удивлен посещаемость 0–5 в сутки и пару переходов с Поисковых Систем. Первая мысль, вот и все — умираем ))). И вот вчера вспомнил про Firestats. Подумал а почему бы реально не отследить как живет блог. Про FireStats я уже не раз писал и о его преимуществе над остальными продуктами сбора статистики. Поставил и сразу был удивлен — блог по прежнему живет и переходы с ПС на прежнем уровне и посещаемость хорошая и внутренних переходов много. Живем, не умираем...

Есть сайт который никак Яша не принимает в Яндекс.Директ из-за не высокое число уников, но с большим числом просмотров. Сделал для себя вывод — на средне нагруженных сайтах буду собирать статистику через FireStats. Все же он реально рулит!!!

Popularity: 13% [?]

Третий день Yandex глючит

В чем же дело? У меня уже третий день по вечерам Yandex глючит, то грузится то нет!

Сперва думал что мой провайдер падла жалоб давно не видел. Но другие то отлично работают. У кореша вчера та же беда, Яндекс вечером не отвечает. У него другой провайдер. Что думать? Кому жалобы писать?

......... мы немножко подождем, а потом ... начнем!

Popularity: 14% [?]

WebVisor — альтернатива Яндекс.Метрика

Продолжаю анализировать Снежинс, точнее свои сайты для оптимизации под снежинск.

Я хочу сказать, что Яндекс.Метрика со своей картой путей рулит. Но все же не дает полной информации о действиях посетителя как WebVisor. Метрика показывает карту кликов по вашему сайту, а WebVisor показывает каждое перемещение мышки, какая клавиша нажата, где пользователь остановился для прочтения информации. Интерфейс WebVisor графический, чем то смахивает на имитацию видео-показа путешествия пользователя по сайту. Лично мне сервис очень понравился. Теперь я оценил, какое слово привлекло посетителя на котором он остановился, видно какую статью он читал, а которую просто проскролил дальше. Яндекс.Метрика такого конечно не показывает. В общем «респект» сервису WebVisor!

По данным трассировки путей, можно сделать вывод, что больше привлекает и вывести контент в верхнюю часть страницы, в некоторых случаях можно изменить скелет сайта или же полностью дизайн.

WebVisor имеет свою партнерскую программу, что позволяет заработать! Регистрация.

Рекомендую:
Форум партнерские программы — для любителей заработка на рефералах. Полезный ресурс, с описаниями и отзывами партнерок различных систем.
UniSender — массовые email рассылки для Ваших клиентов, легальная реклама вашего бизнеса. Хочу заметить, что спамом тут и не пахнет. Вы отправляете сообщения клиентам вашего бизнеса, а это значит что письмо не уйдет в спам-корзину, а будет прочитано.

Popularity: 31% [?]

Снежинск. Что говорят и что нам делать?

Ну вот и дождались! Яндекс по-видимому нашел снежного человека — «Снежинск». Новый алгоритм не только умеет думать, но и обучаться. Не подумайте что я опоздал на две недели с новость о запуске нового алгоритма. Нет-нет-нет, речь пойдет о другом.

Уже несколько дней читаю, что пишут SEO-специалисты и блогеры, одни красиво описывают переход Яндекса на маркетинговую стратегию, другие тут же оскорбляют с возгласами «Не гони пургу». Кого слушать, кому верить? Ясно только одно, падение затронуло более 60% СДЛ. Я же думаю что не стоит кричать на весь RUнет, и не делать громких заявлений, а сесть за сбор статистики и провести тщательный анализ. Посему прочитанному хочу попробовать сделать свои выводы.

Мой партнер в первый АП увидев падения, быстренько пробежался по всем продвигаемым ВЧ, проанализировав тех конкурентов которые остались в ТОПе и тех кто попал туда выйдя из жопы. И сделал свой вывод — " Яндекс любит много буков " (Буков — много букв в тексте). Все уши мне прожужжал про буквы. По-моему в последние дни у него слово «Буков» стало любимым. Мечется, как лев в клетке в поиске решения проблем и постоянно повторяет «Буков. Много буков. Точно, надо сделать много буков». Да и клиенты волнуются их тоже можно понять. А кто знал, что так будет? Мое мнение: Да, действительно теперь в ТОПе те у кого тексты на главной по 7000–15000 знаков (по запросам последнего клиента). Но я не уверен, что все дело в количестве! Я думаю дело в качестве контента и не обязательно размножать буквы. По поводу качества контента поговорим дальше по тексту.

Есть мнение, что Яндекс переходит на маркетинговый метод исследований. Тут же кричат, причем тут маркетинг? Я же понимаю под словом маркетинг в выдаче — это важность (информативность, привлекательность) вашей страницы на которую переходит потенциальный клиент.

Новый алгоритм стал учитывать гораздо больше факторов при ранжировании. Количество таких факторов исчисляется тысячами, выведенные во время обучения функций ранжирования. Вот такие факторы похоже обучаются из контента страницы и поведения посетителя на ней. Тут проскакивает мысль — «Опа. Ссылочные биржи уходят в небытие». Нет, я думаю не стоит их списывать со счетов, они по прежнему останутся как суммирующим фактором ранжирования. А вот те самые многотысячные факторы которые выскакивают в процессе обучения функции, больше похоже на произведение всех факторных коэффициентов.

Видимо все таки SEO снова перейдет на уровень внутренней оптимизации, а то по последним тенденциям похоже, что SEO — это закупка ссылочной массы. Снежинск сделал большой прорыв в интеллектуальном развитии. Новый алгоритм пытается определить интересна ли страница для клиента или нет, так сказать определять качество контента. Не понятно одно, как алгоритм определяет, что будет делать клиент, на что нажимать, на чем заострять свое внимание. Тут на ум приходит Яндекс Метрика с ее трассировкой. И не надо далеко ходить, что бы услышать разъяренные возгласы — «Какая в жопу трассировка? У меня она не стоит!». А может стоит поставить? По крайней мере, всегда можно быть в курсе, что привлекает в вашем сайте, а от чего тошнит и клиент убегает.

Что-то я устал писать. Или от умственной нагрузки или от кислотного музла в колонках. В общем закругляюсь.

Вывод: Сажусь за анализ статистики посещаемости, откатов, карты переходов. Буду вытягивать из клиентов проценты продаж поквартально. По результатам возможно придется перешивать контент, может даже структуру сайтов, посмотрим. В общем, буду искать пути к улучшению позиций. Главное не растерять клиентов!

Popularity: 26% [?]