(no subject)

[kastaneda]

Мы продолжаем КВН WTF. Из проектной документации:
«This article is available in PDF format. Cost: …»

§508 на них нету.

Comments

[diggya.livejournal.com]

Ху из 508?

[kastaneda]

http://www.section508.gov/
Аналог WCAG WAI, для федералов обязательный.

Предполагается, что на разрабатываемом сайте добрая половина страниц будет густо увешана баннерами, а печатная версия (в PDF) будет продаваться за деньги. Мне это кажется маразмом.

[diggya.livejournal.com]

Левый вопрос. Есть например ссылка на новостную статью, на неизвестном сайте. Как лучше всего отожрать из неё текст новости, и не отожрать рекламу и менюшки? Считается что я знаю что такое перл или ПХП.

links

[ex-greedy-in479.livejournal.com]

хороше, но не по делу :)

[diggya.livejournal.com]

Тут более высокие цели - например прососать новости по RSS с того-же самого корреспондента, или даже например набор новостных ссылок на гугле, собрать до кучи и залить в телефон на почитать.

Re: Хочется логичности

[kastaneda]

Если это ОПРЕДЕЛЁННЫЙ сайт, то пишешь пару регекспов. Или ищещь RSS.

Re: Хочется логичности

[ex-greedy-in479.livejournal.com]

всегда нужно знать свой контент )))
универсальных регекспов нэбува.

Re: хороше, но не по делу :)

[ex-greedy-in479.livejournal.com]

делов на копейку.

вот пристойная парсилка рсс
http://magpierss.sourceforge.net

[kastaneda]

Универсального решения нету. Но от большой потребности попытаться можно. Заранее предупреждаю: обычно студент-копипейстер дешевле.

Есть два варианта: или пообкусывать мусор, или выкусить ценное. Инструменты: популярные ключслова (эбаут / ньюс / контакт ас), популярные паттерны (пять ссылок подряд через символ "|" обычно больше похоже на меню, чем), и тому подобный беспредел. Если у нас есть несколько новостей с одного сайта - то вообще кайф, искать совпадающие фрагменты и вырезать. В общем, почти как самодельный OCR ;) За несколько недель занятного жёсткого траха можно добиться хорошего процента корректно разгрызенного контента на определённых типах сайтов.

Хочется логичности

[diggya.livejournal.com]

Можно ли предполагать что текст новости это больше килобайта текста без разметки? И как тогда искать голову, то есть заголовок?

Re: Хочется логичности

[kastaneda]

Проблем в этом много. Как тебе насчёт "художественно оформленных" новостей с подзаголовками, цитатами экспертов и фотографиями с места событий? Загляни в исходник новости на CNN, ужаснись.

Re: Хочется логичности

[http://users.livejournal.com/_iggi_/]

Скорее уж больше килобайта разметки без текста :)
Заголовок надо искать по заметному отличию стиля. На пару пунктов больше, болд или другой шрифт. Если заголовок вообще текстом дан, а не картинкой или флешем.
P.S. На одном сайте встретил фишку - между буквами в словах спрятаны другие буквы, но с нулевым размером и цветом фона. В результате текстовый copy/paste выдает мусор. Очень интересный способ отпугивать посетителей.

Re: Хочется логичности

[ex-greedy-in479.livejournal.com]

гг выкладывай линку

Re: Хочется логичности

[http://users.livejournal.com/_iggi_/]

Линку не сохранял, ибо противно такое на компе хранить :)

[http://users.livejournal.com/_iggi_/]

Очень близко к OCR. Если вспомнить про моду на представление текста картинками и флешками, использование скриптов, стилей для скрытия или перемещения текста и прочую гадость.

[kastaneda]

Дык, в том-то и дело - "определённый процент". Определённый процент из "умеренно хреновых" сайтов с табличной вёрсткой - это порой можно обработать и вслепую, даже не зная, что именно предстоит разложить на контент и хлам. Ну, это то курево, что я выше описывал.

А такие вот жуткие говносайты можно пытаться побороть, но сначала надо посмотреть в код, присвистнуть и пропустить это через десяток свирепых регекспов. В общем, каждый раз решение требуется отдельное.