Просмотр сообщений

В этом разделе можно просмотреть все сообщения, сделанные этим пользователем.


Темы - parserdevelop

Страницы: [1]
1
У меня информация хранится в куче разных хранилищ. Иногда нужно быстро найти информацию, связанную с конкретным понятием (и лень искать везде: в Evernote, Wrike, Skype, MindMeister, GoogleDocs и так далее). Возникла мысль создать приложение, которое будет позволять одновременно искать информацию в разных локациях. При этом, поиск будет производиться с учетом словоформ, однокоренных слов других частей речи, близких ассоциативных слов и синонимов.

Поддерживаемые площадки для поиска можно будет со временем дорабатывать.

Вопросы
1. Было бы вам интересно подобное приложение?
2. Возможно, подобный функционал уже реализован где-то?
3. На ваш взгляд, имеет ли идея коммерческий потенциал?

2
Парсер яндекс карт - программа для сбора информации об организациях с Яндекс карт. Отличается простотой, высокой скоростью работы и доступной ценой.

Задайте на входе следующие параметры:

  • Запрос (собственно - что ищем);
  • Город (в котором осуществляется поиск);
  • Радиус поиска (радиус поиска от центра города).



После задания входных параметров нажмите кнопку Запуск. В течение нескольких минут вы увидите результаты работы, которые можно выгрузить в Excel.



Скачайте демо версию прямо сейчас. Демо версия ограничена только количеством сохраняемых результатов - до 50 организаций.

Если у вас возникли вопросы или предложения о доработках, пожалуйста, сформулируйте их прямо здесь или на официальном сайте программы.

3
Сменили название улицы, которая была указана в регистрационных данных домена. Нужно ли менять регистрационные данные или можно оставить старое название улицы?

4
Хостинг / Помогите выбрать SSL сертификат
« : 01 Ноябрь, 2016, 12:25:58 »
Здравствуйте!

Планируем понемногу переводить сайты на на протокол https. Будет несколько доменов и субдоменов, зарегистрированных на одно физ. лицо. Через сайты планируется продажа цифрового контента.

Вопросы:
1. Какой тип (или класс) SSL сертификат выбрать, чтобы он решал наши задачи (продажи, валидация домена на физ.лицо) ?
2. Какая минимальная стоимость сертификата?
3. Какой центр сертификации рекомендуете использовать?
4. Кто из дилеров продает сертификаты по наименьшей цене?

5
У меня есть база данных синонимов, состоящая из 2х таблиц:
Таблица words:
id (int)
word (text)


Таблица synonyms:
id (int)
word1_id (int)
word2_id (int)


Несколько уточнений:
1. В таблице synonyms поля word1_id и word2_id - это id записей из таблицы words. Уточню, что оптимальность данного представления базы спорная, однако сейчас это просто пример.
2. В таблице синонимов не может быть двух записей, в которых повторяются id обоих слов одновременно (по крайней мере в одном и том же порядке).

Хочется иметь набор программного обеспечения (без самостоятельной разработки), который позволит:
1. Быстро проектировать структуру подобной базы (уже нашел - WorkBench в виде EER диаграммы);
2. Когда база будет создана (она будет расположена на удаленном сервере), легко сгенерировать форму для добавления в базу новых записей, в частности пар синонимов. При этом если добавляемые синонимы не существуют в базе слов чтобы они автоматически в нее добавлялись. И соответственно с минимумом телодвижений иметь возможность для добавления синонимов через эту форму.
3. В один клик получать выборку синонимов для нужного слова.

В Workbench последние два пункта не нашел как делать быстро (и без написания каждый раз запросов).

Посоветуйте как ПО, позволяющие решить поставленные задачи. Очень желательно, чтобы это ПО было именно для базы Mysql.

6
Интересует методика генерации синонимичных запросов. Сразу уточню что имею ввиду под синонимичными запросами: это запросы, которые по смыслу подразумевают ту же самую сущность, что и исходные. Важно - не путать с производными запросами. Например:

Парсер и парсер контента - здесь второй запрос производный от первого.
Парсер и граббер - вот здесь второй запрос синонимичен первому (по крайней мере одно из его значений)

Как я вижу на данный момент набросок алгоритма, например для фразы “импорт товаров в Joomla”:
1.Подбираем синонимы для каждого слова:
Импорт = загрузка, заливание
Товар = продукт, контент (в данном случае)
Joomla = Virtuemart, Joomshoping (понимаю, вещи разные, но все же в данной ситуации актуально)

2. Генерируем комбинации родственных запросов:
Импорт товаров в Joomla
Загрузка товаров в Joomla
Заливание товаров в Joomla
Импорт продуктов в Joomla
И так далее...


Еще несколько вопросов
1. Какие этапы стоит добавить в алгоритм?
2. Подскажите как более эффективно реализовать тот или иной этап? Например, при подборе синонимов можно использовать синонимические словари (причем желательно и с жаргонными высказываниями), переводчики, поисковые подсказки, сервисы вроде вордстат (поиск что еще искали люди), related searches в гугле, что еще?
3. Насколько понимаю, поисковики также ищут по синонимичным запросам. Где можно почитать об этом подробнее?
4. Я так понимаю, к синонимам стоит добавить транслитерированные варианты ключевиков + ключевики, а также варианты, использованные в неправильных формах или с ошибками?
5. Может то, что я выше описал уже кем то реализовано и автоматизировано? Подскажите готовые решения?

Предложение
Кому интересно поучаствовать в разработке методики и дальнейшей автоматизации, давайте группироваться)


7
Хотим проверить большое количество сайтов и отобрать популярные для дальнейшей работы с ними. Естественно, все будет автоматизировано. Однако хочется понять, какой минимальный набор параметров может хотя бы на 80% достоверно свидетельствовать о популярности (хорошей посещаемости, активности аудитории) вебресурса. Насколько я понимаю, это:
а. Liveinternet посещаемость (открыта далеко не у всех, в бурже у сайтов обычно нет);
б. Alexa (актуальна ли для русских сайтов)?
в. На некоторых движках форумов можно смотреть количество посетителей/тем и т.п.

Вопросы:
1. Может есть еще какие либо параметры, позволяющие произвести оценку?
2. Возможно, есть какие либо сервисы, дающие данную информацию (желательно с API)? Например, раньше в буржнете сталкивался с сервисами, которые по видимости в поисковиках по разным запросам прогнозировали посещалку.

8
Добрый день!

Мы - команда разработчиков универсального парсера Datacol, одного из ведущих парсеров на рынке рунета. Основная задача нашей программы - автоматизировать рутинные задачи наших клиентов по сбору и обработке информации. Многие задачи наших клиентов выходят за рамки простого парсинга, поэтому мы ищем партнеров для взаимовыгодного сотрудничества.

Что мы предлагаем?
  • Клиентов, которым нужны услуги по интеграции парсинга в их бизнес;
  • Четкое ТЗ по нужной задаче;
  • Вся прибыль от проекта остается у Вас - вы озвучиваете цену клиенту и после сдачи работы получаете оплату в полном объеме;
  • Помощь по работе с программой от наших специалистов.

Что мы ожидаем от Вас?
  • Высокого качества работы. Довольный клиент - залог успешного сотрудничества;
  • Соблюдения сроков. Так как сроки устанавливаются Вами самостоятельно, важно их соблюдать.

Требования к кандидату
  • Общее представление о Datacol (минимальная базовая настройка и коррекция) или найти время на получение базовой подготовки;
  • Владение PHP + Mysql;
  • Опыт импорта данных в cms интернет-магазинов. Знаний должно хватить, чтобы самостоятельно организовать импорт результатов парсинга в нужную cms. Эта одна из самых распространенных задач наших клиентов.

9
Здравствуйте! Рады представить новую версию универсального парсера Datacol под названием Easy Action.

Немного формальной информации (для тех, кто нас еще не знает)

Всего за 10-15 минут вы сможете настроить выгрузку:
  • информации о товарах и ценах;
  • объявлений по заданным параметрам;
  • выдачи поисковиков (заголовки, сниппеты, ссылки, контент);
  • ключевых слов;
  • контактов;
  • новостей;
  • справочников;
и многое другое!

Не верите? Тогда смотрите наши видеоинструкции - ИХ ЕСТЬ У НАС!!! Первый видеопример настройки приведен ниже:

https://www.youtube.com/watch?v=7F6-lCeM-Bo

Для самых ленивых мы создали готовые настройки для выгрузки информации с Яндекс Маркета, Aliexpress, Ebay, Olx, поисковой выдачи, Вконтакте, Кинопоиска, Youtube, Яндекс карт,  Merlion, Rutracker, Wikipedia, Wordstat (полуавтоматический), Liveinternet и многих других популярных ресурсов.

Отзывы о прошлых версиях программы доступны здесь (естественно, со ссылочками на источники - все по честному!!!)

Снимем галстуки (для тех, кто с нами уже не первый день)

Ребята, вы нас долго просили сделать программу проще - и мы это сделали! Хотим только извиниться, что не реализовали этого раньше  :( Мы поняли, что добились результата, когда несколько “подопытных” женщин (заядлых блондинок и гуманитариев), освоили новую программу по видеоинструкциям  :)

Подробный перечень нововведений приведен на нашем официальном блоге (+видео-анонс, чтобы глазки не уставали от чтения  :) )

Для покупателей предыдущих версий - обновление бесплатно! Инструкция по обновлению лежит
здесь.

Всем, всем, всем!

Первым 25 покупателям новой версии с webmasters мы дарим промокод на скидку 25%. Чтобы получить промокод, отписывайтесь в теме, отправим в личку или на почту. С промокодом айда сюда покупать!

10
Здравствуйте! Есть хорошая новость для тех, кто планировал приобрести Datacol, но пока не решался.

В связи с приближающимися новогодними праздниками, цена на Datacol снижена и составляет всего лишь 49$. Успейте купить программу по лучшей цене!

Всех С Наступающим!!!

11
Наконец-то вышла новая версия Datacol5 - универсального средства для сбора данных. В течение нескольких лет мы постоянно развивали проект Datacol и на данный момент воплотили все наши наработки в новой версии программы.



Комбинируя различные опции Datacol5, вы можете легко реализовать:


Подробную информацию о преимуществах Datacol5 перед предыдущими версиями можно найти здесь. Главным отличием является простота настройки, продемонстрированная на видео по настройке парсера интернет магазина.

Отзывы о предыдущих версиях Datacol можно найти здесь.

До конца июня действует скидка в 20$ на приобретение программы Datacol5 для участников данного форума. Также актуальны скидки за рекламу.

Чтобы в полной мере оценить возможность нового Datacol5 - скачайте демо версию программы на нашем официальном сайте.

12
Парсер AutoRefresh позволяет легко создавать автообновляемые сайты на Wordpress или DLE (возможна доработка под другие CMS). AutoRefresh запускается кроном и может регулярно «добывать» обновления с набора сайтов-источников и публиковать новые записи на ваш сайт.

Чтобы AutoRefresh начал работать, вам нужно всего лишь задать несколько базовых опций, настроить 5-10 источников парсинга обновлений и добавить задание CRON планировщика на вашем сервере (в этом я вам помогу).

Парсер AutoRefresh состоит из 3 независимых модулей: парсера, публикатора и админки (ниже приведен ее скриншот). Благодаря такому разделению, данный скрипт можно быстро “допилить” для работы в составе любой CMS или прикрутить какие-либо скрипты уникализации контента. Доработка под одну CMS стоит 25-50$ в зависимости от сложности структуры БД.


 
Новогодняя цена самого скрипта составляет 25$ (в стоимость входит помощь в установке скрипта на вашем сервере). Настройка одного источника парсинга (если сами не разберетесь) будет стоить 2$. Также хочу напомнить, что я могу сравнительно недорого осуществить доработки парсера под ваши конкретные нужды или преобразовать его для работы в рамках любой необходимой вам CMS. Более подробную информацию об AutoRefresh можно получить на моем блоге!

Напомню свои координаты:
ICQ: 435268826
Email: isolar2005@gmail.com


Страницы: [1]