<![CDATA[Форум сайтостроителей - Программы для интернета]]> http://sitesco.ru/ Sat, 18 Apr 2026 10:09:13 +0000 MyBB <![CDATA[A-Parser - универсальный многопоточный парсер]]> http://sitesco.ru/thread-147215.html Thu, 17 Jun 2021 23:17:06 +0300 http://sitesco.ru/thread-147215.html A-Parser - универсальный многопоточный парсер поисковых систем, сервисов SEO метрик, поисковых запросов и подсказок, контента любого типа (картинки, текст, видео), каталогов (парсинг любых контактных данных), досок объявлений, интернет-магазинов, социальных сетей, мессенджеров и других различных сервисов.
Всего A-Parser содержит более 90 встроенных парсеров и 200 дополнительных.
Гибкость A-Parser позволяет решать практически любые задачи парсинга, создавая собственные парсеры на JavaScript, а также интегрировать A-Parser в свои SaaS проекты с помощью API.

На сегодняшний день A-Parser может автоматизировать и забрать на себя выполнение огромного количества работы SEO специалистов, маркетологов, фрилансеров, разработчиков, а также решает много задач для собственников интернет-магазинов (парсинг карточек товара, подготовка файла для импорта, мониторинг цен и многое другое):


-Используйте встроенные парсеры чтобы с легкостью получать и анализировать любые данные
-Воспользуйтесь нашим каталогом парсеров и пресетов для расширения возможностей A-Parser и решения нестандартных задач
-Если вы продвинутый пользователь - создавайте свои собственные парсеры на основе регулярных выражений или XPath
-Владеете JavaScript? Тогда A-Parser предлагает вам беспрецедентную возможность программировать свои собственные парсеры, используя всю мощь возможностей A-Parser!
-Для автоматизации мы предлагаем API позволяющий легко встроить A-Parser в ваши бизнес процессы, а также для создания сервисов любого уровня сложности на базе нашего парсера


Если вам необходимо быстро выполнить сложный парсинг, то вы можете обратиться в нашу платную техподдержку.
Наши специалисты помогут составить техническое задание, и в кратчайшие сроки напишут парсер под ваши требования, за умеренную цену (от $15). Можете быть уверены что будут учтены все пожелания, и в результате вы получите структурированные данные в том виде (CSV, JSON, XML, SQL) который нужен будет для дальнейшего использования.

A-Parser полностью решает рутинные задачи по получению, обработке и систематизации данных, необходимых для работы в следующих областях:

Электронная торговля (интернет-магазины и маркетплейсы)
-Парсинг товаров с мировых маркетплейсов: Яндекс.Маркет, AliExpress, Ebay, Amazon.com, данные парсеры всегда актуальны и обновляются
-Мониторинг цен конкурентов
-Выгрузка товаров в нужном формате для дальнейшей обработки
-Множество пресетов для парсинга различных магазинов и маркетплейсов: copart.com, Hotline.ua, Rozetka

[b]SEO, маркетинг и Web-аналитика[/b]
-Сбор баз ссылок для XRumer, AllSubmitter, ZennoPoster…
-Сбор ссылок, анкоров, сниппетов, рекламных блоков из поисковой выдачи (до 500000 ссылок в минуту)
-Сбор SEO метрик с таких сервисов: Alexa, Ahrefs, Moz, Majestic, Semrush и других
-Оценка сайтов и доменов по множеству параметров
-Мониторинг позиции любых сайтов в поисковых системах
-Сбор контента(текст, картинки, ролики)
-Отслеживание обратных ссылок
-Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
-Сбор и оценка ключевых слов
-Сбор списка обратных ссылок
-Сбор и оценка трендовых запросов
-Парсинг рекламных объявлений конкурентов
-Сбор отзывов с различных источников
-Парсинг данных с Инстаграм (по гео, хэштегам и тд)
-Парсинг данных с чатов Телеграм
-И многое другое

Web-безопасность
-Сбор и фильтрация баз ссылок по признакам
-Определение CMS сайтов
-Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа

Сетевое администрирование
-Работа с DNS службой - резолвинг доменов в IP адреса
-Работа с Whois - дата регистрации и окончание регистрации доменов, name-сервера

A-Parser обладает следующими преимуществами:

Колоссальная производительность
-Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
-Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
-Множественные оптимизации сложных операций
-Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD

Промышленные масштабы
-Парсер разрабатывался с учетом работы с неограниченным размером данных
-Способен обрабатывать сотни миллионов и миллиардов запросов
-Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений

Автономность
-A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
-Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
-Одновременное выполнение нескольких разных задач для скорейшего получения результатов

Поддержка более 90 парсеров
Создание собственных пресетов
-Использование регулярных выражений
-Поддержка XPath
-Поддержка многостраничного парсинга
-Проверка контента и наличия следующей страницы

Создание собственных парсеров
-Быстрая разработка на JavaScript
-Многопоточность и работу с прокси обеспечивает A-Parser

Распознавание каптчи
-Поддержка множества сервисов: anti-captcha, rucaptcha и любых других на основе AntiGate API
-Поддержка CapMonster и XEvil

Мощные инструменты для формирования запросов и результатов
-Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
-Подстановки для запросов: из файла; перебор слов, символов и цифр
-Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
-Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
-Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, json, sql, произвольный формат)

Гибкость настроек
-В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
-Настроить можно все - никаких рамок и ограничений
-Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями

Сетевые возможности
-Поддержка HTTP/1.1, HTTP/2 и HTTPS(TLS)
-Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
-Полностью асинхронная работа с сетью, включая работу с DNS
-Обход защиты CloudFlare

API
-Возможность интегрировать и управлять парсером из своих программ и скриптов
-Полная автоматизация бизнес-процессов
-Клиенты для PHP, Perl, Python и NodeJS
-Производительное API на основе Redis для продвинутого использования

Постоянные улучшения и исправления
С 2012 года выпущено более 140 новых версий, включающих множество улучшений и исправлений
A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей

Техническая поддержка
-Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
-Создана подробная документация по A-Parser'у, открыт форум для пользователей, Ютуб канал, а также Телеграм чат
-Специалисты технической поддержки готовы ответить любым удобным способом: чат на сайте, Telegram, тикеты, e-mail
-Разработчики A-Parser'а готовы ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера

Более подробно ознакомится с возможностями парсера можно в полноценной документации


Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, Visa, MasterCard, Paxum, Яндекс.Деньги, ApplePay.

Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com/ и перейти на страницу оплаты.

Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку

Вступить в наш Telegram чат (2000+ человек)


Рекомендуй A-Parser друзьям и зарабатывай!]]> A-Parser - универсальный многопоточный парсер поисковых систем, сервисов SEO метрик, поисковых запросов и подсказок, контента любого типа (картинки, текст, видео), каталогов (парсинг любых контактных данных), досок объявлений, интернет-магазинов, социальных сетей, мессенджеров и других различных сервисов.
Всего A-Parser содержит более 90 встроенных парсеров и 200 дополнительных.
Гибкость A-Parser позволяет решать практически любые задачи парсинга, создавая собственные парсеры на JavaScript, а также интегрировать A-Parser в свои SaaS проекты с помощью API.

На сегодняшний день A-Parser может автоматизировать и забрать на себя выполнение огромного количества работы SEO специалистов, маркетологов, фрилансеров, разработчиков, а также решает много задач для собственников интернет-магазинов (парсинг карточек товара, подготовка файла для импорта, мониторинг цен и многое другое):


-Используйте встроенные парсеры чтобы с легкостью получать и анализировать любые данные
-Воспользуйтесь нашим каталогом парсеров и пресетов для расширения возможностей A-Parser и решения нестандартных задач
-Если вы продвинутый пользователь - создавайте свои собственные парсеры на основе регулярных выражений или XPath
-Владеете JavaScript? Тогда A-Parser предлагает вам беспрецедентную возможность программировать свои собственные парсеры, используя всю мощь возможностей A-Parser!
-Для автоматизации мы предлагаем API позволяющий легко встроить A-Parser в ваши бизнес процессы, а также для создания сервисов любого уровня сложности на базе нашего парсера


Если вам необходимо быстро выполнить сложный парсинг, то вы можете обратиться в нашу платную техподдержку.
Наши специалисты помогут составить техническое задание, и в кратчайшие сроки напишут парсер под ваши требования, за умеренную цену (от $15). Можете быть уверены что будут учтены все пожелания, и в результате вы получите структурированные данные в том виде (CSV, JSON, XML, SQL) который нужен будет для дальнейшего использования.

A-Parser полностью решает рутинные задачи по получению, обработке и систематизации данных, необходимых для работы в следующих областях:

Электронная торговля (интернет-магазины и маркетплейсы)
-Парсинг товаров с мировых маркетплейсов: Яндекс.Маркет, AliExpress, Ebay, Amazon.com, данные парсеры всегда актуальны и обновляются
-Мониторинг цен конкурентов
-Выгрузка товаров в нужном формате для дальнейшей обработки
-Множество пресетов для парсинга различных магазинов и маркетплейсов: copart.com, Hotline.ua, Rozetka

[b]SEO, маркетинг и Web-аналитика[/b]
-Сбор баз ссылок для XRumer, AllSubmitter, ZennoPoster…
-Сбор ссылок, анкоров, сниппетов, рекламных блоков из поисковой выдачи (до 500000 ссылок в минуту)
-Сбор SEO метрик с таких сервисов: Alexa, Ahrefs, Moz, Majestic, Semrush и других
-Оценка сайтов и доменов по множеству параметров
-Мониторинг позиции любых сайтов в поисковых системах
-Сбор контента(текст, картинки, ролики)
-Отслеживание обратных ссылок
-Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
-Сбор и оценка ключевых слов
-Сбор списка обратных ссылок
-Сбор и оценка трендовых запросов
-Парсинг рекламных объявлений конкурентов
-Сбор отзывов с различных источников
-Парсинг данных с Инстаграм (по гео, хэштегам и тд)
-Парсинг данных с чатов Телеграм
-И многое другое

Web-безопасность
-Сбор и фильтрация баз ссылок по признакам
-Определение CMS сайтов
-Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа

Сетевое администрирование
-Работа с DNS службой - резолвинг доменов в IP адреса
-Работа с Whois - дата регистрации и окончание регистрации доменов, name-сервера

A-Parser обладает следующими преимуществами:

Колоссальная производительность
-Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
-Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
-Множественные оптимизации сложных операций
-Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD

Промышленные масштабы
-Парсер разрабатывался с учетом работы с неограниченным размером данных
-Способен обрабатывать сотни миллионов и миллиардов запросов
-Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений

Автономность
-A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
-Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
-Одновременное выполнение нескольких разных задач для скорейшего получения результатов

Поддержка более 90 парсеров
Создание собственных пресетов
-Использование регулярных выражений
-Поддержка XPath
-Поддержка многостраничного парсинга
-Проверка контента и наличия следующей страницы

Создание собственных парсеров
-Быстрая разработка на JavaScript
-Многопоточность и работу с прокси обеспечивает A-Parser

Распознавание каптчи
-Поддержка множества сервисов: anti-captcha, rucaptcha и любых других на основе AntiGate API
-Поддержка CapMonster и XEvil

Мощные инструменты для формирования запросов и результатов
-Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
-Подстановки для запросов: из файла; перебор слов, символов и цифр
-Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
-Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
-Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, json, sql, произвольный формат)

Гибкость настроек
-В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
-Настроить можно все - никаких рамок и ограничений
-Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями

Сетевые возможности
-Поддержка HTTP/1.1, HTTP/2 и HTTPS(TLS)
-Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
-Полностью асинхронная работа с сетью, включая работу с DNS
-Обход защиты CloudFlare

API
-Возможность интегрировать и управлять парсером из своих программ и скриптов
-Полная автоматизация бизнес-процессов
-Клиенты для PHP, Perl, Python и NodeJS
-Производительное API на основе Redis для продвинутого использования

Постоянные улучшения и исправления
С 2012 года выпущено более 140 новых версий, включающих множество улучшений и исправлений
A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей

Техническая поддержка
-Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
-Создана подробная документация по A-Parser'у, открыт форум для пользователей, Ютуб канал, а также Телеграм чат
-Специалисты технической поддержки готовы ответить любым удобным способом: чат на сайте, Telegram, тикеты, e-mail
-Разработчики A-Parser'а готовы ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера

Более подробно ознакомится с возможностями парсера можно в полноценной документации


Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, Visa, MasterCard, Paxum, Яндекс.Деньги, ApplePay.

Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com/ и перейти на страницу оплаты.

Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку

Вступить в наш Telegram чат (2000+ человек)


Рекомендуй A-Parser друзьям и зарабатывай!]]> <![CDATA[ICQ - прошлый век?]]> http://sitesco.ru/thread-12375.html Fri, 16 Aug 2013 20:58:55 +0300 http://sitesco.ru/thread-12375.html Оно то понятно, существует скайп, социальные сети, мэйл агент и прочие программы для общения.. Но умерла ли аська? Как по мне - так она живее всех живых...]]> Оно то понятно, существует скайп, социальные сети, мэйл агент и прочие программы для общения.. Но умерла ли аська? Как по мне - так она живее всех живых...]]> <![CDATA[Браузер Google Chrome]]> http://sitesco.ru/thread-5264.html Mon, 28 Dec 2009 21:00:15 +0200 http://sitesco.ru/thread-5264.html Не пора ли прикрутить плавную прокрутку страниц?

AlexEs писал(а):Расширения проходят бета тест, для них сейчас разрабатываются программы. Вот способ включения:
Чтобы включить расширения есть несколько путей:
Установить dev сборку:
Теперь по пунктам, как обновиться до dev сборки, и чтобы браузер сам обновлялся Smile
1. Скачать и запустить Google Chrome Channel Changer (http://chromium.googlecode.com/files/chr...-2.0.exe).
2. Выбрать dev (для сборок для разработчиков, возможны ошибки, но это самые последние версии) или beta для бета сборок (более стабильные)
3. Нажать Update для выбора
4. Нажать Close.
5. В Google Chrome, нажать Настройки Google Chrome и выбрать О браузере Google Chrome...
6. Подождать пока пройдет проверка обновления и нажать Установить Сейчас.
7. Перезапустить Google Chrome.

Если вылазит "Обновление сервера недоступно (Ошибка: 3)", значит вы ставили с оффлайн установщика, в котором нет GoogleUpdater, обновление при его установке не возможно. Необходимо поставить Онлайн установщик.

Если все работает и в браузере версия 4, то расширения уже включены по умолчанию Smile Для установки расширений достаточно запустить скаченное расширение или перетащить его в открытое окно браузера. Установлены ли расширения можно проверить, введя в строке адреса сhrome://extensions.

В версиях 4 можно включить синхронизацию закладок с сервисом Google Docs, чтобы на разных компьютерах были одни и те же закладки и изменения закладок на одном отражались на другом (у меня например 2 компьютера). Для этого надо в ярлыке в поле Объект приписать -enable-sync, т.е. примерно так: C:\Users\%YouUser%\AppData\Local\Google\Chrome\Application\chrome.exe --enable-extensions --enable-sync

И вот тут я подошел к включению расширений на старых сборках: как видите у меня в ярлыке есть надпись --enable-extensions, которая включает расширения на старых сборках.
А вообще рекомендую использовать dev сборки, т.к. в таком случае вы сможете увидеть все нововведения Google Chrome.
]]> Не пора ли прикрутить плавную прокрутку страниц?

AlexEs писал(а):Расширения проходят бета тест, для них сейчас разрабатываются программы. Вот способ включения:
Чтобы включить расширения есть несколько путей:
Установить dev сборку:
Теперь по пунктам, как обновиться до dev сборки, и чтобы браузер сам обновлялся Smile
1. Скачать и запустить Google Chrome Channel Changer (http://chromium.googlecode.com/files/chr...-2.0.exe).
2. Выбрать dev (для сборок для разработчиков, возможны ошибки, но это самые последние версии) или beta для бета сборок (более стабильные)
3. Нажать Update для выбора
4. Нажать Close.
5. В Google Chrome, нажать Настройки Google Chrome и выбрать О браузере Google Chrome...
6. Подождать пока пройдет проверка обновления и нажать Установить Сейчас.
7. Перезапустить Google Chrome.

Если вылазит "Обновление сервера недоступно (Ошибка: 3)", значит вы ставили с оффлайн установщика, в котором нет GoogleUpdater, обновление при его установке не возможно. Необходимо поставить Онлайн установщик.

Если все работает и в браузере версия 4, то расширения уже включены по умолчанию Smile Для установки расширений достаточно запустить скаченное расширение или перетащить его в открытое окно браузера. Установлены ли расширения можно проверить, введя в строке адреса сhrome://extensions.

В версиях 4 можно включить синхронизацию закладок с сервисом Google Docs, чтобы на разных компьютерах были одни и те же закладки и изменения закладок на одном отражались на другом (у меня например 2 компьютера). Для этого надо в ярлыке в поле Объект приписать -enable-sync, т.е. примерно так: C:\Users\%YouUser%\AppData\Local\Google\Chrome\Application\chrome.exe --enable-extensions --enable-sync

И вот тут я подошел к включению расширений на старых сборках: как видите у меня в ярлыке есть надпись --enable-extensions, которая включает расширения на старых сборках.
А вообще рекомендую использовать dev сборки, т.к. в таком случае вы сможете увидеть все нововведения Google Chrome.
]]> <![CDATA[Кнопки для браузера Opera]]> http://sitesco.ru/thread-4688.html Thu, 17 Sep 2009 12:20:30 +0300 http://sitesco.ru/thread-4688.html здесь и здесь

Ещё я переделал одну из тамошних кнопок - Translate Page (Using Babelfish). Сделал чтобы там сразу, вместо перевода с английского на французский, был перевод с английского на русский:

Translate

При желании можно ещё сделать чтобы использовался вместо переводчика Babelfish, переводчик от Гугла.]]> здесь и здесь

Ещё я переделал одну из тамошних кнопок - Translate Page (Using Babelfish). Сделал чтобы там сразу, вместо перевода с английского на французский, был перевод с английского на русский:

Translate

При желании можно ещё сделать чтобы использовался вместо переводчика Babelfish, переводчик от Гугла.]]> <![CDATA[Сравнение браузеров Mozilla Firefox и Maxthon]]> http://sitesco.ru/thread-4491.html Thu, 13 Aug 2009 10:16:44 +0300 http://sitesco.ru/thread-4491.html
Hide Caption Titlebar Plus (Smart) 0.9.0.3p
Hide Chrome 1.1.3]]>
Hide Caption Titlebar Plus (Smart) 0.9.0.3p
Hide Chrome 1.1.3]]>