Список форумов Шадринский форум -> Программирование -> Delphi, Pascal, C, C# -> А чем лучше обрабатывать логи?
А чем лучше обрабатывать логи?
Автор
Сообщение
| Вот простенькая задача.
Есть большой текстовый лог. В нем всякая муть. Каким языком лучше взяться за его обработку? Есть ли смысл использовать дельфи, либо же можно чем-нить другим? При условии, что необходима потом программа в итоге, приспособленная под эту задачу. |
| если найдешь для дельфи регэкспы, то и им можно. где есть реги штатно: perl, php, c# _________________ Ин дер гросен фамилие нихт клювен клац-клац  |
| регулярные выражения reg exp, regexp и дрррр _________________ Ин дер гросен фамилие нихт клювен клац-клац |
| Ежели лог на серваке - самое то использование РНР. Сам пользую. Изумительно. Дельфи, скажем так, несколько затруднительно, но сделать можно _________________ Йа - водоросль. |
| а, регулярные. в РНР пользовал их. Я про них думал, просто приложение на РНР не создашь - надо обязательно юзать сервак. |
Sels писал(а): просто приложение на РНР не создашь - надо обязательно юзать сервакhttp://forum.shadrinsk.net/viewtopic.php?t=2344  _________________ Ин дер гросен фамилие нихт клювен клац-клац |
| А не кажется ли вам такой подход ммммм тонким извращением? |
| ищи либу для дельфи. есть такая, видел. или C# заюзай. только нужен будет еще .NET Framework, хотя он вроде уже штатно есть в СП2. _________________ Ин дер гросен фамилие нихт клювен клац-клац |
| либа - именно для построения регов? |
| типа того. это обычно просто файл паскалевский с набором функций _________________ Ин дер гросен фамилие нихт клювен клац-клац |
Sels писал(а): А не кажется ли вам такой подход ммммм тонким извращением?нет. у меня в фаре в юзерском меню так пара скриптов прописана. скрипт запускается так: @php.exe -q <script_name> [param] лично мне такой подход нравится - скрипт можно очень быстро изменить под конкретные задачи и после этого не нужно ребилдить проект, как в случаи использования компилируемых языков |
xdsl
просто хороший человек
Пол:
Зарегистрирован: 25.11.2004
Сообщения: 1252
Откуда: shadrinsk
Статус: Offline
просто хороший человек
Пол:
Зарегистрирован: 25.11.2004
Сообщения: 1252
Откуда: shadrinsk
Статус: Offline
| Если лог большого объема (десятки-сотни МБ), то обрабатывать его программой на PHP - оччень долго. Лучше использовать паскаль, си или любой другой язык, программа на котором - исполняемый файл, а не скрипт.
Конкретно по паскалю единственный совет - очень аккуратно при обработке логов использовать длинные строки, ибо, например, S:=S+newS, где S - длинная строка, перераспределяет память для S в большинстве случаев. Получаем 20% времени на обработку лога, 80% - на перераспределение памяти (утрирую немножко). Модуль обработки рег.выражений для object pascal прикрепляю. Там-же тестовая программа для проверки регэкспов, помощь и все такое. |
xdsl писал(а): Если лог большого объема (десятки-сотни МБ), то обрабатывать его программой на PHP - оччень долговроде не оччень _________________ Ин дер гросен фамилие нихт клювен клац-клац |
| xdsl
спасибо за архивчик, пойду погляжу. Надо проверить - что быстрее обработает огромный тестовик. оффтоп: один из немногих нормальных преподавателей, благодаря которым я получил нужные знания - это вот xdsl. Спасибо. |
Slider
Заслуженный писатель
Пол:
Зарегистрирован: 13.11.2006
Сообщения: 6289
Откуда: Екатеринбург&Шадринск
Статус: Offline
Заслуженный писатель
Пол:
Зарегистрирован: 13.11.2006
Сообщения: 6289
Откуда: Екатеринбург&Шадринск
Статус: Offline
Sels писал(а): Вот простенькая задача.
Есть большой текстовый лог. В нем всякая муть. Каким языком лучше взяться за его обработку? Есть ли смысл использовать дельфи, либо же можно чем-нить другим? При условии, что необходима потом программа в итоге, приспособленная под эту задачу. задаем макс размер лога и исп пхп для его анализа естессно... при привышении заданаго размера - в архив текущие данные, анализируем новые. **************************************************** а ешо интересней хранить логи в бд... токда и с анализом проблем нет... _________________ накапливаю джедайскую силу http://booking.com/ http://bookingb2b.com/ http://www.aicgroup.biz http://www.gta-travel.com/en/home |
Цитата
а ешо интересней хранить логи в бд... токда и с анализом проблем нет... ИМХО такого точно не стоит делать _________________ ТюмГНГУ |
Xak писал(а): ИМХО такого точно не стоит делатьА народ то не знает... . _________________ Йа - водоросль. |
| Xak
обоснуй, а то видать я что-то не то делаю _________________ Ин дер гросен фамилие нихт клювен клац-клац |
andy ice писал(а): Xak
обоснуй, а то видать я что-то не то делаю Ну ты представь если посещаемость сайта в сутки огромная, а ты собираешь логи в базе. Ладно если у тя обработка логов элементарная типа выбрать то, где..... А если взять сложную обработку? _________________ ТюмГНГУ |
Xak писал(а): А если взять сложную обработку?Примеры в студию. Что является "сложной обработкой"? _________________ Йа - водоросль. |
| Это конечно не сложная обработка, но вот пример: представим что у сайт в сутки посещает сотни миллионов человек, и в сутки остаются 1-2 террабайта, а может и больше логов. Если в качестве БД использовать мускул, то в ней есть какой-то ограничитель на максимальный размер таблицы.
Впринципе можно попытаться хранить в базе логи, но тогда иметь БД надо хотя бы postgre, тогда хоть можно юзать tablespace, а то какой бы не был винт или raid из винтов место всеравно кончится рано или поздно. _________________ ТюмГНГУ Последний раз редактировалось: Xak (2007.01.16 12:02.40), всего редактировалось 2 раз(а) |
| Xak
а. ну вот когда у тебя будет сайт с сотней миллионов человек, тогда придешь, поговорим про базы данных _________________ Ин дер гросен фамилие нихт клювен клац-клац |
| 1-2 террабайта логов в сутки? ..... Ё-моё, а сколько ж тогда ТРАФИКА в сутки уходит с этого ресурса????????
Давайте о реальном. |
| а что тебе мешает делать новые таблицы? |
| Я говорю про общий случай, а не про какой-то конкретный сайт в сети _________________ ТюмГНГУ |
VolF писал(а): а что тебе мешает делать новые таблицы?Хоть ежеминутно. Xak писал(а): представим что у сайт в сутки посещает сотни миллионов человек, и в сутки остаются 1-2 террабайта, а может и больше логовсферический конь в вакууме? _________________ Йа - водоросль. |
Xak писал(а): Впринципе можно попытаться хранить в базе логи, но тогда иметь БД надо хотя бы postgre, тогда хоть можно юзать tablespace, а то какой бы не был винт или raid из винтов место всеравно кончится рано или поздно.Вот _________________ ТюмГНГУ |
| ИМХО, опять-же ТАКИЕ "сайты" нечто большее нежели персоналка _________________ Йа - водоросль. |
Ну да, врядли такие сайты моно назвать домашней страничкой  _________________ ТюмГНГУ |
Страница 1 из 3
Список форумов Шадринский форум -> Программирование -> Delphi, Pascal, C, C# -> А чем лучше обрабатывать логи?
| |
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах Вы не можете вкладывать файлы Вы можете скачивать файлы |