Парсер Яндекс выдачи — обход капчи

Раньше я уже выкладывал открытый код парсера Выдачи Яндекса. Но примерно полгода назад начались проблемы с ним. Не всегда вытягивал выдачу. И видно косяк в том что количество запросов значительно выросло. Все это время не доходили руки до него, так и работал с ошибками. Появилась свободная неделька и решил покопаться.

Первым делом переписал всю логику вытягивания выдачи, теперь парсит точнее и без погрешностей, раньше она составляла 1–2 позиции в зависимости от глубины прогона. Но иногда выбивал ошибку. Решил писать логи парс-страниц. Смеялся долго... Я всегда знал что у Яши есть капча на поиске, но никогда с ней не сталкивался, поэтому сее событие и вызвало у меня бурный смех.

Встал вопрос обхода капчи. Не поверите и тут я решил поступить как заправский лентяй. Вытягивание картинки капчи, передача в сервис определения текста, ввод его в форму. Ну гемор... Не так ли? А запустить его надо как можно быстрее, тем паче что парсер уже работает на коммерческой основе. Не ну конечно же в свободное время  сделаю все по уму и начну ломать капчу, но пока все это на коленках...

И так... Обхожу капчу следующим образом. Вытягиваю страницу и проверяю на валидность, если с капчей, то делаю паузу и вытягиваю ее же повторно, так и долблю пока Яндекс не устанет. Цикла в 10 запросов в принципе обходит, но на всякий случай сделал  второй цикл в 10 раз, но уже с большей задержкой до 6 минут. Это в том случае если первый цикл неудачный.

Короче говоря все тестируется... Пока не вытянул только один жирный ВЧ. Видно и у капчи Яндекса есть своя логика если на СЧ, НЧ он пробивается. Выкладывать сее творение по окончании тестирования уже не буду, возможно сделаю онлайн версию и прикручу у партнеров.

UP: Вот и геморный ключевик пробил ))) По тестам максимум парсер продалбливал Яшу с 16 раза... Не думал, что Яшу можно так пробить, но все же работает. Тестим дальше...

Popularity: 13% [?]

Зацепил жирного партнера на XAP.RU

В общей массе всех моих партнеров на XAP.ru это мелочь. Мелочь не в прямом смысле слова, а в доходе от них. Пару недель тому назад зацепился у меня жирный партнер. За две недели он вырос с 3 ксап в день до 20 и рост идет. Либо бесбашенный сателлитчик либо молодой, горячий сайтовод. Поживем увидим, но пока его темпы радуют.

Не забываем регистрироваться бесплатно по прямой ссылке на XAP и зарабатывать вместе со мной.

Popularity: 11% [?]

WebVisor — альтернатива Яндекс.Метрика

Продолжаю анализировать Снежинс, точнее свои сайты для оптимизации под снежинск.

Я хочу сказать, что Яндекс.Метрика со своей картой путей рулит. Но все же не дает полной информации о действиях посетителя как WebVisor. Метрика показывает карту кликов по вашему сайту, а WebVisor показывает каждое перемещение мышки, какая клавиша нажата, где пользователь остановился для прочтения информации. Интерфейс WebVisor графический, чем то смахивает на имитацию видео-показа путешествия пользователя по сайту. Лично мне сервис очень понравился. Теперь я оценил, какое слово привлекло посетителя на котором он остановился, видно какую статью он читал, а которую просто проскролил дальше. Яндекс.Метрика такого конечно не показывает. В общем «респект» сервису WebVisor!

По данным трассировки путей, можно сделать вывод, что больше привлекает и вывести контент в верхнюю часть страницы, в некоторых случаях можно изменить скелет сайта или же полностью дизайн.

WebVisor имеет свою партнерскую программу, что позволяет заработать! Регистрация.

Рекомендую:
Форум партнерские программы — для любителей заработка на рефералах. Полезный ресурс, с описаниями и отзывами партнерок различных систем.
UniSender — массовые email рассылки для Ваших клиентов, легальная реклама вашего бизнеса. Хочу заметить, что спамом тут и не пахнет. Вы отправляете сообщения клиентам вашего бизнеса, а это значит что письмо не уйдет в спам-корзину, а будет прочитано.

Popularity: 31% [?]

Снежинск. Что говорят и что нам делать?

Ну вот и дождались! Яндекс по-видимому нашел снежного человека — «Снежинск». Новый алгоритм не только умеет думать, но и обучаться. Не подумайте что я опоздал на две недели с новость о запуске нового алгоритма. Нет-нет-нет, речь пойдет о другом.

Уже несколько дней читаю, что пишут SEO-специалисты и блогеры, одни красиво описывают переход Яндекса на маркетинговую стратегию, другие тут же оскорбляют с возгласами «Не гони пургу». Кого слушать, кому верить? Ясно только одно, падение затронуло более 60% СДЛ. Я же думаю что не стоит кричать на весь RUнет, и не делать громких заявлений, а сесть за сбор статистики и провести тщательный анализ. Посему прочитанному хочу попробовать сделать свои выводы.

Мой партнер в первый АП увидев падения, быстренько пробежался по всем продвигаемым ВЧ, проанализировав тех конкурентов которые остались в ТОПе и тех кто попал туда выйдя из жопы. И сделал свой вывод — " Яндекс любит много буков " (Буков — много букв в тексте). Все уши мне прожужжал про буквы. По-моему в последние дни у него слово «Буков» стало любимым. Мечется, как лев в клетке в поиске решения проблем и постоянно повторяет «Буков. Много буков. Точно, надо сделать много буков». Да и клиенты волнуются их тоже можно понять. А кто знал, что так будет? Мое мнение: Да, действительно теперь в ТОПе те у кого тексты на главной по 7000–15000 знаков (по запросам последнего клиента). Но я не уверен, что все дело в количестве! Я думаю дело в качестве контента и не обязательно размножать буквы. По поводу качества контента поговорим дальше по тексту.

Есть мнение, что Яндекс переходит на маркетинговый метод исследований. Тут же кричат, причем тут маркетинг? Я же понимаю под словом маркетинг в выдаче — это важность (информативность, привлекательность) вашей страницы на которую переходит потенциальный клиент.

Новый алгоритм стал учитывать гораздо больше факторов при ранжировании. Количество таких факторов исчисляется тысячами, выведенные во время обучения функций ранжирования. Вот такие факторы похоже обучаются из контента страницы и поведения посетителя на ней. Тут проскакивает мысль — «Опа. Ссылочные биржи уходят в небытие». Нет, я думаю не стоит их списывать со счетов, они по прежнему останутся как суммирующим фактором ранжирования. А вот те самые многотысячные факторы которые выскакивают в процессе обучения функции, больше похоже на произведение всех факторных коэффициентов.

Видимо все таки SEO снова перейдет на уровень внутренней оптимизации, а то по последним тенденциям похоже, что SEO — это закупка ссылочной массы. Снежинск сделал большой прорыв в интеллектуальном развитии. Новый алгоритм пытается определить интересна ли страница для клиента или нет, так сказать определять качество контента. Не понятно одно, как алгоритм определяет, что будет делать клиент, на что нажимать, на чем заострять свое внимание. Тут на ум приходит Яндекс Метрика с ее трассировкой. И не надо далеко ходить, что бы услышать разъяренные возгласы — «Какая в жопу трассировка? У меня она не стоит!». А может стоит поставить? По крайней мере, всегда можно быть в курсе, что привлекает в вашем сайте, а от чего тошнит и клиент убегает.

Что-то я устал писать. Или от умственной нагрузки или от кислотного музла в колонках. В общем закругляюсь.

Вывод: Сажусь за анализ статистики посещаемости, откатов, карты переходов. Буду вытягивать из клиентов проценты продаж поквартально. По результатам возможно придется перешивать контент, может даже структуру сайтов, посмотрим. В общем, буду искать пути к улучшению позиций. Главное не растерять клиентов!

Popularity: 26% [?]

Очередной обзор — на сегодня это ссылочная биржа UniPlace.ru

Поговорим сегодня о ссылочной бирже UniPlace.ru, призванная заменить приевшуюся Sape. Есть все шансы!

Начну с самого приятного, для рекламодателей. Многие системы за ввод средств снимают комиссию, что всех и напрягает, меня в том числе. UniPlace, наоборот проводит акции и за ввод начисляет дополнительные средства. За введенный 1$, система добавит 10 бонусных центов, не сложно подсчитать, что при вводе 1000$ вы получите дополнительно 100$. Ежемесячный, ссылочный бюджет крупной компании, далеко переваливает за 1000$, так что это только плюс системе. Ну собственно это действительно весомое преимущество перед ныне действующими системами. А в остальном все как и у всех. Read the rest of this entry »

Popularity: 22% [?]