кодировки

[Сигурд Лис]

Есть скрипт который преобразует много страниц на сайте из win1251 в UTF-8 но возникает такая трудность, преобразует он их в UTF8 с BOM, из-за этого возникает трудность в отображении некоторых элементов сайта... Кто-нибудь подскажет есть ли возможность задать кодировку UTF8 без BOM, через сам скрипт, а не в ручную через редакторы.


на всякий случай привожу текст скрипта

#!/bin/bash

FILES=`find -iname '*.php'`
for i in $FILES
do
echo "Converting $i to UTF-8 encoding..."
mv $i $i.icv
iconv -f WINDOWS-1251 -t UTF-8 $i.icv > $i
rm -f $i.icv
done

@темы: Вопрос, C++, *nix, Интернет

Comments

[Скептичный циник]

BOM в utf-8 – три байта в начале файла: xEF, xBB, xBF (для других кодировок могут быть другие).
Следовательно, их можно убрать скриптом/командой на чём угодно: python, tail, sed, php, awk, perl, ...
Ну вот, например:

dd bs=1 skip=3 if=input_file.php of=output_file.php

[CD_Eater]

1) ставишь Lua (в обычном линухе пакет называется Lua5.1 или Lua5.2)
2) скачиваешь файл, называешь его, например, convertor, даёшь права на запуск
3) заменяешь строку
iconv -f WINDOWS-1251 -t UTF-8 $i.icv > $i
на
./convertor $i.icv > $i

[Сигурд Лис]

Скептичный циник, Спасибо, сейчас попробую...

[Сигурд Лис]

CD_Eater, вам тоже, попробую и как вы сказали

[CD_Eater]

Сигурд Лис, не, не пробуйте. Вариант Сценичного киптика проще. ))

[Сигурд Лис]

Спасибо за советы. В общем и целом с вашей помощью сумели накатать програмулину которая убирает именно эти три бита в PHP, с рекурсией и так далее. Если кому интересно могу поделиться.

[Скептичный циник]

Сигурд Лис, Если оно отличается чем-то от рекурсивного вызова preg_replace() / str_replace() / mb_substr() / usw, то интересно, делитесь – кому-то да пригодится в такой же ситуации.