Парсер Яндекс выдачи — обход капчи

Раньше я уже выкладывал открытый код парсера Выдачи Яндекса. Но примерно полгода назад начались проблемы с ним. Не всегда вытягивал выдачу. И видно косяк в том что количество запросов значительно выросло. Все это время не доходили руки до него, так и работал с ошибками. Появилась свободная неделька и решил покопаться.

Первым делом переписал всю логику вытягивания выдачи, теперь парсит точнее и без погрешностей, раньше она составляла 1–2 позиции в зависимости от глубины прогона. Но иногда выбивал ошибку. Решил писать логи парс-страниц. Смеялся долго... Я всегда знал что у Яши есть капча на поиске, но никогда с ней не сталкивался, поэтому сее событие и вызвало у меня бурный смех.

Встал вопрос обхода капчи. Не поверите и тут я решил поступить как заправский лентяй. Вытягивание картинки капчи, передача в сервис определения текста, ввод его в форму. Ну гемор... Не так ли? А запустить его надо как можно быстрее, тем паче что парсер уже работает на коммерческой основе. Не ну конечно же в свободное время  сделаю все по уму и начну ломать капчу, но пока все это на коленках...

И так... Обхожу капчу следующим образом. Вытягиваю страницу и проверяю на валидность, если с капчей, то делаю паузу и вытягиваю ее же повторно, так и долблю пока Яндекс не устанет. Цикла в 10 запросов в принципе обходит, но на всякий случай сделал  второй цикл в 10 раз, но уже с большей задержкой до 6 минут. Это в том случае если первый цикл неудачный.

Короче говоря все тестируется... Пока не вытянул только один жирный ВЧ. Видно и у капчи Яндекса есть своя логика если на СЧ, НЧ он пробивается. Выкладывать сее творение по окончании тестирования уже не буду, возможно сделаю онлайн версию и прикручу у партнеров.

UP: Вот и геморный ключевик пробил ))) По тестам максимум парсер продалбливал Яшу с 16 раза... Не думал, что Яшу можно так пробить, но все же работает. Тестим дальше...

Popularity: 13% [?]

WebAsyst не работает на хостинге

Для тех кто не в теме: Не знаю на сколько он крут, но по моему самый популярный интернет-магазин в Рунете. А ну и для тех кто еще в меньшей степени в теме: это движок.

Работы валом, и времени на написание статей совсем нету. Но этот самый злополучный webAsyst отнял у меня три дня драгоценного времени. В виду эмоциональной особенности решил написать как я с ним боролся.

Получил заказ на перенос/создание интернет-магазина на новый домен и хостинг с изменением юридической привязанности. Как я понял там похоже разделение бизнеса. Но не в этом суть. Магазин стоит на WebAsyst. Что бы не делать лишних телодвижений мы с бизнес-партнером решили оставить как есть, то бишь оставим ядро в неприкосновенности. Я как программист привык все отрабатывать на локальном сервере — экономит много времени и сил. Скачал WebAsyst 279 сборки, нул-версия. Импортировал базу с более чем 3000 позиций и описаний к ним + фото. Все отработало, более менее изучил движок, не лез только в подводные камни.

Погулял по движку и обрадовался, что все легко и не займет много времени. Сделал образ сервака и БД. Залил на новый хостинг + импорт БД. А мне в ответ — фиг вам. В общем покапался и понял что скорей всего надо будет ставить новый движок. Т.к. он генерит рабочие папки из имени БД, ну и так далее. В принципе на локале NULL версия ничем не отличалась от лицензии. Принял решение оставить NULL, как то жалко выкидывать 250$ за лицензию, при том что этот пункт не оговаривался и вообще не было привязанности именно к WebAsyst. А лицензионный номер хранится в installer'е куда доступ только у админа. Админ в данном случае компания которая им до нас оказывала услуги по создания магазина. Как я понимаю лицензию ставили свою же, т.к. доступ к installer'у не предоставили.

Приступил к установки нового движка. Залил, перешел к установке. Движок рекомендует иметь права root к базе данных. Таких привилегий хостинг обычно не предоставляют. Конечно же можно обратиться в тех. поддержку что бы оказали вам часок внимания и помогли с правами root установить движок. Но не хочется по такой мелочи выдрачивать мозг поддержке. Оставил эту идею на самый крайний случай.

В общем с горем попалам установил. Но вот беда не работает админка. грузится менюшка, а остальные компоненты увы не.

Начинаю гуглить (яндексить).

Запрос: WebAsyst не работает админка

Результат: один шлак. Правда одна выдача вела на форум официального сайта.

Некий bes 2008–12–29 01:37 спрашивает:

Всем привет! В который раз уже сталкиваюсь с весьма
непонятной мне проблемой. При открытии админки меню
видно, а вот ниже уже ничего нет. Вместо дерева категорий,
например, просто пустое место. И так по всем пунктам
меню. В логах написал 
implode() [<a href="function.implode">function.implode</a>]: Invalid arguments passed File: /shop/kerne/dbfunctions_cmn.php Line: 4873 Error #: 2

Кто-нибудь сталкивался с такой проблемой?

Все симптомы как у меня. В ответ тишина, если честно меня шокировало. Как это так форум поддержки и тишина. Спустя 1.5 года. Ужос.

Ну делать нечего, скачиваю сборку 287. Заливаю. И тут на тебе. При апгрэйде БД опять же выкидывает ошибки. Захожу в Мускул, а там картина из 106 таблиц остается 6. Ужос, что за движок??? Пишу в тех.поддержку. Ответили на удивление очень быстро:

Здравствуйте,
 
Консультации по техническим вопросам оказываются при 
обращении в службу поддержки с зарегистрированного 
адреса электронной почты, т.е. адреса, на который вы 
регистрировали покупку скриптов или онлайн-аккаунт 
WebAsyst. Если вам удобнее обращаться в нашу службу 
поддержки с других адресов, добавьте такие адреса в 
свой профиль, как описано ниже:
 
Если вы приобрели скрипты WebAsyst или услугу 
виртуального хостинга Архост, войдите в Центр Заказчика 
my.аrtiсиs.ru и добавьте адреса в разделе "Настройки".
 
После добавления адресов отправьте свой запрос повторно.
 
С уважением,
-----
Юрий
Служба поддержки WebAsyst

Первая мысль, вот монополисты. Хотя потом обмозговав ответ, понял что WebAsyst то платный и FREE версий то нету, а NULL это ломаная. Неужели придется покупать лицензию?

Ну что ж  все шло к тому что надо ставить Joomla + Virtuemart и все верстать руками. Ох ужос.

Но я настырный по натуре и не могу быть остаться поверженным. Думаю дайка попробую и на локале обновить сборку, тем паче что там у меня права к БД root. Обновляюсь, все пашет. Делаю бэкап БД.

Откладываю дело на следующий день.

С чистыми мыслями приступил к очередному изнасилованию WebAsyst. Долго мучал разные варианты. И решил раз на локале все работает, а на хостере нет. Значит мне мои права не позволят корректно поставить движок. Но специфика корней движка. Понял что на локале надо на 100% повторить хостинг. Создаю новое доменное имя с теми же пользователями и именем БД, но с правами root. Устанавливаю сборку 287 и снова выскакивает ошибка с БД. Лезу в мускул, опять похерел таблицу. Но не падая духом восстанавливаю последнюю удачную копию БД. И вуаля все работает.

Перехожу к хостингу. Заливаю файлы с локала + удачную БД. Выставляю на необходимые папки и файлы права доступа 777

Хоп. Сайт работает. Админка. Работает. Я в экстазе, доволен как слон, что поборол его.

Выводы: В большей степени конечно на весь гемор сказались права к хостингу. Во вторую очередь, хитрая система защиты от не лицензионного использования.

На самомо деле у меня выскакивало очень много различных ошибок, которые так же обсасываются на форуме, но не одного ответа от поддержки. Все завязано на лицензировании. Но хоть поверхностно зная PHP можно проанализировать логи и понять что вызывает ошибку. Чаще всего это доступ к файлам и каталогам. В общем установив права на запись ошибки исчезали. Чаще всего это файлы с расширением .xml и .log

И так теперь меньше текста и ближе к алгоритму борьбы. Как я понимаю что меня помогло его побороть.

Установка на локале стабильной 279  сборки, после АП до 287 и копирование БД. На локале создавалась точная копия хостинга. Т.е. имя домена и логин с именем к БД как на хостинге, даже использовал те же пароли. На локале всему давал права root. Копию локала заливал на хостинг выставлял где надо права на изменения (описано в инструкции к установке) + дополнительно на некоторые .xml Переходил в браузер и проверял все настройки и сохранял. Все работало и работает. И еще: сборка 279 — все гуд,

Удачи в борьбе с паразитом по имени webAsyst.

Popularity: 16% [?]

Сижу балдею после напряженной недели.

Неделю ничего не писал! Работал над одним проектом.

Сижу измотанный, смотрю в окно через жалюзи. Произвожу обмен wmz на wmb, курсы электронных валют меня только радуют, гораздо выгодней чем бумажки. Буду платить коммуналку. Кто еще не знает, сообщаю — «Да! Через вебмани можно и это!»

Так вот! Хочу поделиться своими впечатлениями от соц. движка LiveStreet. На самом деле установка оказалась не сложнее чем выбрать жалюзи для своего офиса. На тестовом полигоне все стало без проблем. А вот уже на выделенном сервере заказчика я намучался.  Read the rest of this entry »

Popularity: 46% [?]

FireStats статистику устанавливаем на Joomla

Давно уже пользуюсь FireStats на WordPress’е совместно с Google Analytics. Но заметил большие расхождения между ними! Судя по уникальным посетителям, Гугл обманывает меня порядком в 2–3 раза. С чем это связано? В первую очередь из-за самих посетителей. Многие используют браузеры которые отключают или кэшируют картинки и скрипты. А это приводит к тому, что статистика просто не собирается из-за отсутствия обращения к картинки или скрипту статистического сервиса. Вот и вся капуста.

Вот тут то и назрела в голове идея установки FireStats на Joomla, тем более что разработчики гарантируют работу и на ней. Скачал паке FireStat и мамбот. Что делать дальше? Самое интересное, что потраченный день на поиск мануалки в инете прошел за зря. Четких инструкций не нашел, даже поверхностно ничего описано не было. Решил разбираться сам. Read the rest of this entry »

Popularity: 100% [?]

Думаю над логотипом!

Костяк блога построен. Осталось добить дизайн. Хотя последнее не столь затруднительно для меня чем придумать себе логотип. Вот и снова приходит на помощь любимый гугл!

Гугля инет натолкнулся на очень симпатичную студию, в перечень услуг входит — дизайн сайтов, логотипов, иконок и непосредственно разработка самих сайтов. Очень впечатлили две работы, сайт Велкома и логотип Sony Ericcson Club (картинки ниже). Кстати сайт Велкома когда то видел, теперь буду знать кто над ним трудился.

Если сам не нарисую логотип, то возможно обращусь к услугам этой студии, тем более что они работают и на Белоруссии. А судя по портфолио, над проектами работают творческие люди.

И на последок хотел сказать — Читайте книжки, русская поэзия еще никому не навредила. Вот так я черпаю вдохнавление.

Popularity: 35% [?]