Под катом находится небольшое, но полезное описание того, как быстро и просто превратить пришедший JSON-ответ в набор объектов. Никакого ручного парсинга. А если вы сталкивались с OutOfMemory проблемой на старых смартфонах – и для этого есть решение, поддерживающее Android 2.X версий.Кроме того, под катом будет ссылка на репозиторий на гитхабе с примером кода. А вот картинок не будет, зато найдётся место для небольшой таблички.
Итак, на текущем проекте у меня возникла необходимость парсить ответ сервиса, состоящий из пачки вложенных друг в друга объектов, внутри которых могли быть объекты, внутри которых… Данные были в формате JSON, кроме того, было использовано gzip-сжатие сервером, всё-таки разница в размере переданных данных была значительна (4 мегабайте против 300 килобайт в сжатом виде – для мобильной связи это не шутка).
Как человеку ленивому, парсить руками каждое поле и объект мне было совсем не с руки… Таким образом, была задействована библиотека Gson, судя по тестом – быстрейший десериализатор из формата JSON. Ну а теперь, приступим, и начнём сразу с кода. Для простоты весь вывод ведём в консоль, что бы не думать о вьюшках и прочем.
Вот так выглядят объекты, которые прилетают нам из сети:
public class HumorItem {
public String text;
public String url;
}
public class HumorItems {
List<HumorItem> Items; //тут может быть больше списков, и не только списки, для примера упростим.
}
А вот так – код, который его скачивает и десериализует.
public class LoadData extends AsyncTask<Void, Void, Void> {
String _url="";
public LoadData(String url){
_url=url;
}
@Override
protected Void doInBackground(Void... voids) {
try {
//скачивание данных
HttpClient httpclient = new DefaultHttpClient();
HttpPost httppost = new HttpPost(_url);
HttpResponse response = httpclient.execute(httppost);
HttpEntity httpEntity=response.getEntity();
InputStream stream = AndroidHttpClient.getUngzippedContent(httpEntity); //для скачивания gzip-нутых данных
BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(stream));
StringBuilder responseBuilder= new StringBuilder();
char[] buff = new char[1024*512];
int read;
while((read = bufferedReader.read(buff)) != -1) {
responseBuilder.append(buff, 0, read) ;
Log.d("скачано " + PrepareSize(responseBuilder.length()));
}
//парсинг полученных данных
HumorItems list= Gson.fromJson(responseBuilder.toString(),HumorItems.class);
//тестовый вывод
for (HumorItem message:list.Items){
Log.d("Текст: "+message.text);
Log.d("Ссылка: "+message.url);
Log.d("-------------------");
}
Log.d("ВСЕГО СКАЧАНО "+list.Items.size());
} catch (IOException e) {
e.printStackTrace();
Log.e("ошибка "+e.getMessage());
}
return null;
}
}
public class Log {
public static final String TAG="hhh";
public static void d(String text){
android.util.Log.d(TAG,text);
}
public static void e(String text){
android.util.Log.e(TAG,text);
}
}
public String PrepareSize(long size){
if (size<1024){
return size+" б.";
}else
{
return size/1024+" кб.";
}
}
И это решение отлично работало! До поры до времени. Ответ для одной из комбинации параметров весил порядка 8 мегабайт. При тестировании на части телефонов – программа падала, где на пятом скачанном мегабайте, где на третьем.
Гугл подсказал сначала простое решение — выставить largeHeap в фале AndroidManifest.
<application [...] android:largeHeap="true">
Этот параметр позволяет приложению выделить под себя больше оперативной памяти. Вариант конечно ленивый и простой, но телефонами на Android ниже 3й версии не поддерживается. Да и в целом подход какой-то пораженческий – “зачем оптимизировать, если можно купить ещё железа?”
Далее, после нескольких попыток был выбран такой, простой вариант:
- Не наполняем файлом переменную, нет – скачиваем данные непосредственно на флешку (ну или внутреннюю память, что под руку подвернётся).
- Натравливаем Gson на этот файл. Проблема в парсинге и занимаемой файлом памяти не возникает.
Сказано-сделано:
public class LoadBigDataTmpFile extends AsyncTask<Void, Void, Void> {
String _url="";
File cache_dir;
public LoadBigDataTmpFile(String url){
_url=url;
cache_dir = getExternalCacheDir();
}
@Override
protected Void doInBackground(Void... voids) {
try {
//скачивание данных
HttpClient httpclient = new DefaultHttpClient();
HttpPost httppost = new HttpPost(_url);
HttpResponse response = httpclient.execute(httppost);
HttpEntity httpEntity=response.getEntity();
InputStream stream = AndroidHttpClient.getUngzippedContent(httpEntity);
//нечто новое - открываем временный файл для записи
BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(stream));
File file = new File(cache_dir, "temp_json_new.json");
if (file.exists()){ //если таковой уже есть - удаляем и создаём новый
file.delete();
}
file.createNewFile();
FileOutputStream fileOutputStream=new FileOutputStream(file,true);
BufferedWriter bufferedWriter=new BufferedWriter(new OutputStreamWriter(fileOutputStream));
char[] buff = new char[1024*1024];
int read;
long FullSize=0;
while((read = bufferedReader.read(buff)) != -1) {
bufferedWriter.write(buff,0,read); //запись в файл
FullSize+=read;
Log.d("скачано " + PrepareSize(FullSize));
}
bufferedWriter.flush();
fileOutputStream.close();
//парсинг из файла
Log.d("начали парсинг...");
FileInputStream fileInputStream=new FileInputStream(file);
InputStreamReader reader = new InputStreamReader(fileInputStream);
HumorItems list= Gson.fromJson(reader,HumorItems.class);
Log.d("закончили парсинг.");
/тестовый вывод
for (HumorItem message:list.Items){
Log.d("Текст: "+message.text);
Log.d("Ссылка: "+message.url);
Log.d("-------------------");
}
Log.d("ВСЕГО СКАЧАНО "+list.Items.size());
} catch (IOException e) {
e.printStackTrace();
Log.e("ошибка "+e.getMessage());
}
return null;
}
}
Вот и всего-то. Код проверен в боевых условиях, работает стабильно на ура. Впрочем, можно сделать ещё проще и обойтись без временного файла.
public class LoadBigData extends AsyncTask<Void, Void, Void> {
String _url="";
public LoadBigData(String url){
_url=url;
}
@Override
protected Void doInBackground(Void... voids) {
try {
//скачивание данных
HttpClient httpclient = new DefaultHttpClient();
HttpPost httppost = new HttpPost(_url);
HttpResponse response = httpclient.execute(httppost);
HttpEntity httpEntity=response.getEntity();
InputStream stream = AndroidHttpClient.getUngzippedContent(httpEntity);
//открывам потом на чтение данных
BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(stream));
//и сразу направляем его в десериализатор
InputStreamReader reader = new InputStreamReader(stream);
HumorItems list= Gson.fromJson(reader,HumorItems.class);
//тестовый вывод
for (HumorItem message:list.Items){
Log.d("Текст: "+message.text);
Log.d("Ссылка: "+message.url);
Log.d("-------------------");
}
Log.d("ВСЕГО СКАЧАНО "+list.Items.size());
} catch (IOException e) {
e.printStackTrace();
Log.e("ошибка "+e.getMessage());
}
return null;
}
}
Минус – не удастся контролировать процесс скачивания (прервать его адекватным способом), а так же – неизвестно, сколько уже скачано данных. Красивый прогресс-бар не нарисуешь.
Есть ещё один вариант, приведённый в документации, позволяющий последовательно вытаскивать объекты и тут же их обрабатывать, но с ним проблематично работать, если у вас объект разных массивов объектов, а не просто массив однотипных. Впрочем, если у вас есть красивое решение – с удовольствием увижу его в комментариях, и обязательно включу в статью в update’е!
В качестве бонуса – немного статистики.
| Размер файла | Число объектов внутри | Время десериализации на эмуляторе | Время десериализации на Highscreen Boost |
| 5.79 МБ | 4000 | 35 секунд | 2 секунды |
| 13.3 МБ | 9000 | 1 минута 11 секунд | 5 секунд |
Пример использования – на гитхабе, тестовые файлы там же.
Ссылка на библиотеку Gson.
Если кому будет интересна тема разработки под андроид, то впереди как минимум посты о push-нотификациях (серверная и клиентская сторона – на хабре были статьи на эту тему, но они все несколько устарели), о работе с базой и иные на тему разработки под Android.
This entry passed through the Full-Text RSS service — if this is your content and you're reading it on someone else's site, please read the FAQ at fivefilters.org/content-only/faq.php#publishers. Five Filters recommends:
- Massacres That Matter - Part 1 - 'Responsibility To Protect' In Egypt, Libya And Syria
- Massacres That Matter - Part 2 - The Media Response On Egypt, Libya And Syria
- National demonstration: No attack on Syria - Saturday 31 August, 12 noon, Temple Place, London, UK
Комментариев нет:
Отправить комментарий